AI 時代來臨，當你面對既有的資料系統，又要帶來突破性的進步，需要看顧到各個角落，這也是我參與發起台灣資料管理協會 (TDAMA) 的初心 — 資料管理知識必須被普及，我自己從 2018 年開始，建置過 50、100 與 500 人規模企業的資料基礎建設，我發現在關鍵決策點的戰略思考重要性，因此寫了這則孫子兵法謀攻篇之資料治理。
《孫子兵法》的「謀攻篇」提到以下重點
- 通過策略與智慧，而非直接衝突來達成勝利。
- 打仗時要靈活運用戰術。
- 好的將領讓國家強大，不好的將領讓國家衰弱。
在資料治理中，這些思想同樣能夠指引我們如何有效地數據管理，避免耗費過多的資源，並通過最佳策略來實現目標。
1. 不戰而屈人之兵：以策略取勝
孫子認為，真正高明的戰略家能在不需付出戰爭代價的情況下，讓敵人屈服，分層 4 種層次
- 最好是不打仗就贏，用計謀讓敵人投降。
- 其次是打敗敵人的外交關係，讓他們失去盟友。
- 再次是打敗敵人的軍隊。
- 最後是攻城，攻城很費時費力，要花好幾個月準備，還可能損失很多士兵。
如果將資訊安全與資料品質，當作假想敵，那就會是，企業不應該等到數據問題變成巨大難題再來解決，而是應該通過先發制人的策略和規劃來避免問題的產生：
- 預防性治理：通過事先的數據標準化、分類與權限管理來降低資料問題的發生。像是不戰而屈人之兵的概念一樣，企業應該在資料治理策略上建立強大的規範，避免將來出現不必要的合規和隱私風險。
- 智能與自動化：透過自動化工具和 AI 技術來預防潛在問題，這就像提前掌握敵人的弱點一樣，通過自動化流程和持續監控，可以減少後期手動修正的成本。
規劃將資料上雲端或者開始做資料管理，即算是一種謀略，與其被動的等待，不如主動出擊。
像是國泰世華金融控股在 2024 下半年，成功將 Data Lakehouse 上雲端，成為國內第一家將資料全數上雲的金融控股公司，對於 AI 應用的佈局已相當完善，因為在 Data Lakehouse 在處理非結構化資料 (影片、聲音、圖片與文本) 上是非常有優勢的。
2. 伐謀為上：智慧的資料治理策略
孫子強調，在用兵上，伐謀是最高明的方式，攻城則是下策；將領必須根據情勢使用對的戰術：
- 當兵力是敵人 10 倍時可以包圍
- 5 倍時可以進攻
- 2 倍時可以分兵作戰
- 勢均力敵時要能打仗
- 兵力少時要能撤退
- 實力不如敵人時要避開正面衝突
在資料專案中，靈活的策略，能夠事半功倍，除了能夠應對突發情況，也能夠穩定前進，我們一樣以同步資料模型為例，例如我希望將網站資料庫同步到 BigQuery 上，有些表格資料量很小且不常變動，可以單純採取整張讀取整張寫入 (Truncated)，比較大且頻繁更新，例如訂單資料採取增量寫入 (Incremental append)，如果資料量很大或者有即時性數據需求則採取串流寫入(Change Data Capture)；像是 Google Analytics 4 同步到 BigQuery 就有每日與串流兩種不同的模式可以選擇，而串流模式是會被額外收費的。
又如果完全自建 AI 聊天機器人會帶來成本較低的成本，則應該先對預估效益與開發維護成本做完善的評估，先做概念驗證，或者利用現成服務，如 Dify 等，讓此專案可以靈活與穩定的前進。
3. 上下同欲：全員參與資料治理
孫子提到，「上下同欲者，勝」，意思是軍隊內部目標一致，才能提高勝算。在資料治理中，企業的不同部門必須達成一致，才能夠確保治理的成功：
- 建立資料治理文化：資料治理不應只是 IT 部門的工作，應該讓全公司都認識到資料是企業的資產，並共同為其努力。上下同心才能確保資料治理的有效推行。
- 明確責任和目標：各部門之間應該清楚了解其在資料治理過程中的角色和責任，並共同追求統一的治理目標，這樣才能避免混亂和矛盾。
在 Data Governance: The Definitive Guide 中，人與流程 (People and Process) 是一個獨立章節，資料專案容易落入一個三不管地帶，也可能涉及廣泛，在組織內如何使相關利益者能共同面對資料治理，是一個成敗與否的必經考驗。
我自己就是在資料治理專案中，發現有些問題不在技術上，有些問題你無法控制，甚至有些問題不是你的職責範圍，這需要搭配適當的資料管理作為來凝聚大家。
例如資料品質問題，除了把眼前的錯誤修改，如果還能讓利益相關者知道現況，甚至讓資料源頭的問題得以修正，就有機會能凝聚各方一同前進。
4. 知己知彼：掌握數據與市場
最後，孫子提出的「知己知彼」是戰爭中最重要的原則之一，同樣地，在資料治理中，也需要深入了解企業內部數據情況及外部需求和風險：
- 知己：數據管理：企業必須嘗試了解自己擁有的數據，包括它們的質量、結構和流動情況。這樣才能制定有針對性的治理策略，避免資源浪費。
- 知彼：外部競爭與合規：企業還需要掌握外部市場和法規變化，確保資料治理策略能夠應對未來的挑戰。
必須說，就連 Google 也無法完全辨識所有手上的資料，要獲取資料價值，仰賴對於資料的評估。
5. 將能而君不御：授權專業團隊主導資料治理
孫子在「謀攻篇」中提到，能夠取得勝利的將領是具備能力的，並且國君不會過度干涉其指揮。同樣的道理適用於資料治理，這裡強調的是專業性和授權的重要性。
在資料治理中，專業的資料治理團隊應該被賦予足夠的自主權來主導相關策略的設計和執行：
- 授權專業團隊：企業領導層應充分信任資料治理專家與團隊，賦予他們獨立決策的權限。過度的干預和控制會導致決策效率降低，甚至錯過最佳的時機。
- 專業性至關重要：資料治理不僅僅是技術問題，還牽涉到合規、隱私保護和業務需求的平衡。資料治理團隊具備的專業知識是企業成功實施資料治理的基礎，無論是技術細節還是合規需求，都需要專業的人才來主導。
- 避免過度管控：企業的高層領導應該設定資料治理的戰略方向，提供資源支持，而不是過度干涉具體的操作，這樣能夠確保專業團隊發揮最佳實力，快速應對變化和挑戰。
資料治理 | 總結
「謀攻篇」強調智慧和策略的重要性，在實施資料治理時；在資料治理時不僅需要依賴技術實現，更重要的是制定長遠的戰略，通過預防性措施、全員參與和靈活等全局考量做出決定。
如果你對台灣資料管理協會 (TDAMA) 有興趣，可以點擊這裡參考我做的簡報。
