近期「Agent 時代來臨」的討論相當熱烈,但當企業真正想導入 AI Agent 時,往往會撞上最痛的現實:如果 Agent 讀不懂企業內部的資料,它根本無法做事。
這不僅是 AI 面臨的困境,也是企業內部資料科學家長期的切身之痛。企業資料常散落在各專案與系統中,缺乏統一的商業邏輯介面,也讓資料使用邏輯難以傳承。對資料科學家來說,想做分析建模,卻得先耗費大半時間確認「這份資料在哪裡、能不能信、能不能拿到」,而且每次都得跨團隊詢問才能得到答案。這場分享要談的,是我們如何在 GCP 上打造一個「讓 AI 跟人都能看懂資料」的自助資料平台。
我們深知,要讓 Agent 發揮價值,「資料治理」是無可迴避的硬功夫。我們以 GCP Knowledge Catalog 為核心,建立中央化資料平台,並搭建了一系列自助化工具,讓資料科學家能夠輕鬆協作來豐富 Metadata。首先我們統一資料查找入口,並把資料的來源、品質、個資標記等屬性都攤在 Metadata 上;同時,把 Data Quality 規則、PII 遮罩、Data Access 權限,設計成讓資料負責人可以自助上架的平台能力。規則一旦上架就會自動執行,治理在這裡變成了背景設施,不再是資料科學家要面對的關卡。
當底層的基礎建設與 Metadata 逐步完善後,我們試著基於這個平台架設 Agent,現在的 KC (Knowledge Catalog) Agent 能基於 Metadata 的資料,理解並回應基本的問答與查找需求。我們進一步將原本仰賴人力的合規與維運工作,轉化成血緣分析、營運衝擊分析、個資盤點等 Agent 服務。
這次分享將走過我們團隊的真實歷程:從如何搭建自助化工具給大家用,到最後由 Agent 串聯起一切價值。希望能藉此鼓勵正在這條路上的平台工程師:雖然搭建基礎建設與推動治理非常辛苦,但當你看到 Agent 終於能看懂資料,讓使用者用自然語言就能自助完成工作的那一刻,你會覺得這一切的努力都值得。
聽完這場分享,你會掌握一套打造自助資料平台的方法與歷程: