嗨,我是大門,最近同時在讀資料管理書籍與孫子兵法,我發現這本古書藏的智慧若用在資料治理,可以協助拓展全新的視野,因為商場如戰場,資料治能順利推動會需要各種不同的因素,分為內部、外部、自身條件、領導者與法規,這與孫子兵法的『道、天、地、將、法』不謀而合。
《孫子兵法》中的「始計篇」強調了戰爭作為國家存亡大事時,如何在戰前進行周全的評估與計劃,並提出了五個要素來衡量成功與否。
資料治理始於企業競爭力的增進,例如
- 判斷決策鏈迅速精準
- 聊天機器人降低客服成本
- 推薦系統帶來產品更高的黏著度
- 智能銷售機器人帶來新的業績
- 管理層在資料應用的策略
- …
而當資訊安全無法抵禦外敵或者資料應用能力落後於對手,都會對企業組織帶來風險,
因此,不論你正面臨怎樣的資料治理問題,都可以嘗試透過以下原則,去思考看看。
資料治理與始計第一
1. 道:一致的治理目標
孫子提到「道」是指讓上下同心同德,能在危難中共同進退。在資料治理中,這可以解釋為:
- 資料治理的目標與企業目標一致:資料治理必須服務於企業的整體戰略。這意味著資料治理的計劃需要得到企業上下的認同,讓資料治理不只是技術部門的工作,而是全公司的共同任務。
- 建立治理文化:要確保員工在資料使用、合規和保護方面有共同的價值觀,讓每個人都認識到資料是企業資產,並有責任去妥善管理和保護。
2. 天:資料治理的外部環境
孫子將「天」定義為陰陽、寒暑、時製,代表了外部環境的變化。在資料治理中,這可以對應到:
- 外部合規環境:資料治理需要考慮法律法規的變化,如 GDPR、CCPA 等資料隱私法規。這些外部規則影響著資料收集、處理、存儲和使用的方式,因此在治理策略中必須考慮如何合規。
- 市場趨勢和技術變化:資料治理也應隨著技術的發展和市場需求的變化而靈活調整。例如,隨著雲端技術的普及,資料治理策略必須涵蓋雲上資料的安全性和合規性。
3. 地:資料治理的內部條件
「地」在戰爭中代表的是地理條件,而在資料治理中,可以理解為內部的技術環境和資源狀況:
- 產業:金融控股、電子商務與政府和零售的資料型態與要求截然不同。
- 資料的儲存和架構:企業的資料存儲方式、資料庫結構等都會影響治理策略的制定。例如,分散的資料源與集中化資料倉庫需要不同的治理模式。
- 資料的質量與可用性:治理計劃應考慮資料的質量和管理流程,包括資料清理、資料標準化,以及如何確保資料的完整性和準確性。
4. 將:領導與治理執行力
孫子將「將」的品質定義為「智、信、仁、勇、嚴」,反映了領導者的能力和品德。在資料治理中,這指的是領導團隊的專業能力與決策力:
- 資料治理領導的專業能力:治理領導者應具備對數據技術、合規需求和企業戰略的深刻理解,能夠制定有效的治理政策並推動其落實。
- 跨部門協作能力:領導者需要有能力促進跨部門的合作,確保資料治理策略能夠貫徹在不同部門中。
5. 法:治理規範與執行
「法」指的是戰爭中的制度、規章和資源分配。在資料治理中,這可以理解為:
- 資料治理的政策與標準:企業應該制定清晰的資料管理政策和標準,涵蓋資料的分類、使用權限、資料共享流程等,確保所有人都能依規行事。
- 執行和監控機制:資料治理的執行需要依靠嚴格的監控和審計機制,確保資料的使用遵循企業的政策,並且不會出現違規行為。
最後,孫子進一步提出了五個具體問題來衡量勝敗,這些維度就可以轉化為資料治理中的關鍵評估指標:
- 治理目標是否明確?(主孰有道)
- 領導團隊是否具備能力?(將孰有能)
- 技術與資源是否充分?(天地孰得)
- 治理政策是否有效執行?(法令孰行)
- 資料安全與治理體系是否穩固?(兵眾孰強)
在真實世界的資料治理規劃
企業做資料治理應要保持彈性,如同我在為什麼上雲做資料治理更容易所提到,使用雲服務作為倚靠,在落實道天地將法等原則會更加容易,因為這些雲服務商如 Google Cloud / AWS 面對著全世界各式各樣的企業資料治理需求。
像是在 2024 年,國泰金控成為國內首間將 Data Lakehouse 上雲的金融控股公司,從地端到雲端這樣規模的資料治理,再加上金融業的特殊性質,就必須倚靠紮實的『道與法』作為基底,可以看到在國泰技術年會上國泰金控法遵部門也一同參與,並作為金管會與內部溝通的核心,可以點擊看座談會回放。
接著再利用『天地將』作為實現目標的手段,例如其中一個治理目標,是要讓客服機器人的精準度提高,由於地端限制,因此藉由上雲獲得彈性運算力並降低資料基礎建設管理成本,再搭配熟悉最新技術以及資料管理知識的資料經理人,想了解技術細節可以點擊看回放。
而 Data Lakehouse 有機會我們再來詳談,簡言之是結合了 Data Warehouse 運算效能與 Data Lake 儲存成本優勢等特性,為將來的 ML、AI 與 BI 應用提供了個堅固的技術建設。
資料治理 | 結語
要開始進行資料治理規劃不容易,但也沒有想像那麼難,資料治理不一定要去解決巨大難題,也可以從小專案著手,也就是我們不一定要從應用 AI 開始,才開始做資料治理,我們可以從隨處可見的 BI 亦或者是資料品質、資料分析、資料專案規劃等能夠立即產生穩定效益的地方著手也可以。
近期我也正在為企業導入現代化的資料棧,以 Data Quality 為目標,搭配 Google Cloud 生態系,像是 Google Analytics 與 BigQuery 進行資料串流以及地端資料庫的串接,搭配 Data Modeling、Data Quality 與 Metadata Management 等資料管理作為,讓該企業在數位轉型的路上光速前進中。
在企業資料治理的規劃上遇到任何問題,歡迎你與大門聯繫。