數據成為現代企業的重要資產,資料治理的重要性不言而諭,更具體的說,是企業第一方數據,是人工智慧與機器學習的一種寶貴養分。
因此資料治理已不再僅僅是確保合規與安全,而是幫助企業最大化數據的價值。而在這個過程中,越來越多的企業選擇將資料治理遷移至公有雲平台,因為上雲使資料治理變得更加容易和有效。
雲上什麼都有,不論是運算(GPU 與 SSD)、數據分析 (BigQuery 與 Google Analytics) 甚至 AI (Gemini) 與機器學習模型一應俱全,就連資料治理也有相應的工具,只要上了雲就能開始使用。
我過去在組織內專注在資料治理的雲端基礎建設,一開始就在雲裡是幸運的,但七年前我不知道的,是上雲的時候做好更完善規劃,在協助組織上雲的過程,以下是我一開始就考慮進去的。
公有雲如何簡化資料治理
1. 減少資料治理的複雜性:
公有雲提供了更簡單的基礎設施管理。 有些企業依靠地端設備來存儲和處理數據,這意味著需要維護昂貴的應以設備,並解決資源限制和流量尖峰時段的問題。雲端的出現讓這些變得不再是障礙。借助無伺服器架構,企業可以在雲端中靈活擴展,並根據實際需求動態分配資源,無需為過載或閒置的設備擔憂。
更關鍵的是,許多公有雲平台,如 Google Cloud,提供了具備高自動化功能的工具,這些工具能夠幫助企業實施資料治理,如數據標籤、分類、數據血緣圖監控等。這讓企業可以輕鬆應對法規要求,並確保資料在整個生命週期中始終保持一致性和透明度。
例如 BigQuery 可以承受 PB 等級的資料儲存與運算量,只需要做好預算規劃,即可開始使用,想針對 Google Analytics 導入 BigQuery 的可以使用費用計算機,直接估算出未來一年的成本。
2. 提供一致的安全性與合規性:
在資料治理中,一致性是至關重要的。企業需要確保不同部門、不同系統和不同地點的數據治理策略都能保持一致,這在傳統的地端環境中實現起來極具挑戰性。然而,公有雲平台提供了一個統一的安全框架,讓企業能夠通過單一的控制台實施和監控安全策略。
無論是數據的存儲、傳輸還是處理,雲端平台都能根據企業的需求進行精確配置。例如,雲端可以幫助企業應對不同司法管轄區的數據本地化要求,如 GDPR 規定的數據主權政策,確保敏感數據存儲在指定地區內,並且數據訪問權限能夠根據合規要求靈活設定。
3. 支持靈活的數據處理架構:
在雲端,企業可以將計算與存儲分離,這意味著可以根據業務需求,動態擴展計算能力而不受限於存儲資源。
例如,對於需要大規模運算力的資料市集(Data Marts),企業可以仰賴雲端提供的臨時計算資源(On-Demand)來動態產生,再也不需要產生多餘的資料副本,從而減少管理的複雜性。同時,這些沒有被重複 Copy 的數據市集可以更簡單地遵守數據刪除等合規要求,只需在企業數據倉庫層面實施治理規則即可。
再也不會因為某台主機擁有較多的 CPU,為了運算快速,或者哪裡儲存比較便宜,就把資料搬來搬去。
4. 應對複雜的混合雲環境:
對於一些仍需維持本地設施的企業來說,混合雲成為了一個自然的選擇。企業可以根據需求,將部分應用和數據放置在本地運行,而其他部分則依賴公有雲平台進行計算和存儲。公有雲提供了統一的管理工具,讓企業能夠在混合環境中實施一致的資料治理策略,確保不同位置的數據能夠被同樣有效地管理和監控。
透過這樣的方式,企業可以在保留對本地數據和應用的控制的同時,享受雲端的靈活性和高效性。對於那些有嚴格法規要求的企業,例如需要對某些設備進行物理控制,混合雲允許他們同時滿足合規和業務需求。
像是 Google Cloud 在 BigQuery 可以使用企業自行管理的金鑰加密,在與地端的傳輸則使用 Cloud VPN,確保數據的移動過程安全無虞。
上雲資料治理的未來展望
隨著數據量和數據種類的不斷增加,公有雲在資料治理中將扮演越來越重要的角色。未來,企業將不再僅僅依賴於單一的數據中心或內部資源,而是會將數據分散於全球不同的雲端環境中進行處理。這樣的變化要求企業在資料治理上更加靈活,同時也提供了更多機會讓資料的價值得以最大化。
到2025年,超過25%的企業數據將會是流動中的數據,這進一步強調了雲端資料治理的必要性。企業需要有效治理從來源到目的地的數據,並確保在流動過程中的每一步都符合規範。同時,隨著數據處理技術的進步,企業將能更好地應對數據延遲和不一致的挑戰,確保所有數據處理流程的準確性。
資料治理 | 結語
總結來說,將資料治理遷移至雲端是一個使資料管理更加高效、靈活並具有更高合規性的有效作法。
可是必須妥善規劃預算,以及在一開始就做好資料治理計畫,否則以後要重來一遍,將耗費巨大的資源,例如在選擇 BigQuery 區域時,產品、用戶在台灣,但卻選了美國區的資料中心,以後要面對的跨區域資料傳輸費用。
Google Cloud 提供各項資料治理服務,如果能一開始就用上,整個企業的上雲計畫會加速 200%,任何上雲的資料治理問題,都歡迎你找 Damon 聊聊。