Skip to main content

數據成為現代企業的重要資產,資料治理的重要性不言而諭,更具體的說,是企業第一方數據,是人工智慧與機器學習的一種寶貴養分。

因此資料治理已不再僅僅是確保合規與安全,而是幫助企業最大化數據的價值。而在這個過程中,越來越多的企業選擇將資料治理遷移至公有雲平台,因為上雲使資料治理變得更加容易和有效。

雲上什麼都有,不論是運算(GPU 與 SSD)、數據分析 (BigQuery Google Analytics) 甚至 AI (Gemini) 與機器學習模型一應俱全,就連資料治理也有相應的工具,只要上了雲就能開始使用。

我過去在組織內專注在資料治理的雲端基礎建設,一開始就在雲裡是幸運的,但七年前我不知道的,是上雲的時候做好更完善規劃,在協助組織上雲的過程,以下是我一開始就考慮進去的。

公有雲如何簡化資料治理

1. 減少資料治理的複雜性:

公有雲提供了更簡單的基礎設施管理。 有些企業依靠地端設備來存儲和處理數據,這意味著需要維護昂貴的應以設備,並解決資源限制和流量尖峰時段的問題。雲端的出現讓這些變得不再是障礙。借助無伺服器架構,企業可以在雲端中靈活擴展,並根據實際需求動態分配資源,無需為過載或閒置的設備擔憂。

更關鍵的是,許多公有雲平台,如 Google Cloud,提供了具備高自動化功能的工具,這些工具能夠幫助企業實施資料治理,如數據標籤、分類、數據血緣圖監控等。這讓企業可以輕鬆應對法規要求,並確保資料在整個生命週期中始終保持一致性和透明度。

例如 BigQuery 可以承受 PB 等級的資料儲存與運算量,只需要做好預算規劃,即可開始使用,想針對 Google Analytics 導入 BigQuery 的可以使用費用計算機,直接估算出未來一年的成本

2. 提供一致的安全性與合規性:

在資料治理中,一致性是至關重要的。企業需要確保不同部門、不同系統和不同地點的數據治理策略都能保持一致,這在傳統的地端環境中實現起來極具挑戰性。然而,公有雲平台提供了一個統一的安全框架,讓企業能夠通過單一的控制台實施和監控安全策略。

無論是數據的存儲、傳輸還是處理,雲端平台都能根據企業的需求進行精確配置。例如,雲端可以幫助企業應對不同司法管轄區的數據本地化要求,如 GDPR 規定的數據主權政策,確保敏感數據存儲在指定地區內,並且數據訪問權限能夠根據合規要求靈活設定。

3. 支持靈活的數據處理架構:

在雲端,企業可以將計算與存儲分離,這意味著可以根據業務需求,動態擴展計算能力而不受限於存儲資源。

例如,對於需要大規模運算力的資料市集(Data Marts),企業可以仰賴雲端提供的臨時計算資源(On-Demand)來動態產生,再也不需要產生多餘的資料副本,從而減少管理的複雜性。同時,這些沒有被重複 Copy 的數據市集可以更簡單地遵守數據刪除等合規要求,只需在企業數據倉庫層面實施治理規則即可。

再也不會因為某台主機擁有較多的 CPU,為了運算快速,或者哪裡儲存比較便宜,就把資料搬來搬去。

4. 應對複雜的混合雲環境:

對於一些仍需維持本地設施的企業來說,混合雲成為了一個自然的選擇。企業可以根據需求,將部分應用和數據放置在本地運行,而其他部分則依賴公有雲平台進行計算和存儲。公有雲提供了統一的管理工具,讓企業能夠在混合環境中實施一致的資料治理策略,確保不同位置的數據能夠被同樣有效地管理和監控。

透過這樣的方式,企業可以在保留對本地數據和應用的控制的同時,享受雲端的靈活性和高效性。對於那些有嚴格法規要求的企業,例如需要對某些設備進行物理控制,混合雲允許他們同時滿足合規和業務需求。

像是 Google Cloud 在 BigQuery 可以使用企業自行管理的金鑰加密,在與地端的傳輸則使用 Cloud VPN,確保數據的移動過程安全無虞。

上雲資料治理的未來展望

隨著數據量和數據種類的不斷增加,公有雲在資料治理中將扮演越來越重要的角色。未來,企業將不再僅僅依賴於單一的數據中心或內部資源,而是會將數據分散於全球不同的雲端環境中進行處理。這樣的變化要求企業在資料治理上更加靈活,同時也提供了更多機會讓資料的價值得以最大化。

到2025年,超過25%的企業數據將會是流動中的數據,這進一步強調了雲端資料治理的必要性。企業需要有效治理從來源到目的地的數據,並確保在流動過程中的每一步都符合規範。同時,隨著數據處理技術的進步,企業將能更好地應對數據延遲和不一致的挑戰,確保所有數據處理流程的準確性。

資料治理 | 結語

總結來說,將資料治理遷移至雲端是一個使資料管理更加高效、靈活並具有更高合規性的有效作法。

可是必須妥善規劃預算,以及在一開始就做好資料治理計畫,否則以後要重來一遍,將耗費巨大的資源,例如在選擇 BigQuery 區域時,產品、用戶在台灣,但卻選了美國區的資料中心,以後要面對的跨區域資料傳輸費用。

Google Cloud 提供各項資料治理服務,如果能一開始就用上,整個企業的上雲計畫會加速 200%,任何上雲的資料治理問題,都歡迎你找 Damon 聊聊。

資料治理 | 相關文章

Damon Liao

嗨,我是大門,我是大朵數位創辦人,我同時擁有網路行銷以及資訊背景,在 2014 年我開始使用 Google Analytics 與 Ads 並且獲得認證證書,在 2015 年我開始使用 Google Tag Manager,在 2017 年我開始使用 BigQuery,每年經手超過千萬預算,規劃商業智慧與行銷自動化應用。