嗨我是大門,想要開始使用 BigQuery 服務,但又擔心費用超出預算嗎? 這篇文章我將與你聊聊如何估算 BigQuery 的費用,讓你在開始使用 BigQuery 前就能簡單估算出每月的使用費用。
Google BigQuery 簡介
在開始計算價格前,我們先簡單的介紹一下 Google BigQuery。
它可以幫助你快速處理和分析大量數據,且不需要自己管理伺服器或技術細節。它會自動備份資料並保持服務穩定,讓你專注於從數據中找到有用的資訊。這個工具還可以整合來自不同來源的數據,例如與 Google Analytics 4 的整合,能夠幫助企業或團隊迅速做出更好的決策。
Google BigQuery 計價方式
BigQuery 計價方式主要分為 2 個類別:資料存儲與查詢分析。
並依據實際的使用量來收費,其中資料存儲的部份又分為動態儲存以及長期儲存兩個部份,在下面我將會一一的說明。
Google BigQuery 儲存定價 (Storage pricing)
儲存定價是將資料儲存在 BigQuery 中的費用。有兩種類型的儲存方式:動態儲存 & 長期儲存。兩種方式的效能、耐用性或可用性都沒有任何差異,並且也都提供每個月前 10 GB 儲存空間免費額度。
- 動態儲存包含過去 90 天內修改過的任何資料表或資料表分區。
- 長期儲存包含任何連續 90 天未經修改的資料表或資料表分區。這類資料表的儲存費用會自動調降約 50%。
如果資料表經過任何修改編輯,就會恢復為動態儲存價格,先前累計的 90 天閒置期也會歸零並重新開始計算。 但是以下幾項作業是不會讓計時歸零的:
– 查詢資料表
– 建立可查詢資料表的檢視表
– 從資料表匯出資料
– 將資料表複製到另一個目的地資料表
– 修補或更新資料表資源
Google BigQuery 動態儲存
這是 BigQuery 定價中最簡單的部分,目前所有儲存的資料費用為每月 $0.02 per GB。
只需查看 BigQuery 資料集中各個表的大小,就可以大致估算你使用的「儲存資料」。例如,public-data:samples.gsod 表的總大小約為 16.1 GB,擁有 1.14 億行。這樣看似資料量很大的表,每月的儲存費用也只有大約 $0.3 美元。
如果我們有一個總共 500 TB 的資料集,只需將其乘以 1000(轉換為 GB),然後將結果乘以每 GB 0.02 美元的費用。
500 TB * 1000 = 500,000 GB 500,000 GB * 0.02 美元 = 每月 10,000 美元
即使儲存了高達 500 TB 的資料,BigQuery 最多也只需要每月大約 10,000 美元。
Google BigQuery 長期儲存
而當資料在連續 90 天內未被更新,資料的儲存價格將減少一半,從 每月 $0.02 per GB 降至每月 $0.01 per GB。
從功能上看,被標記為長期儲存的資料表與正常資料表是一模一樣的。關鍵考慮因素在於「更新」這個關鍵詞。如果僅是從資料表中查詢、手動導出或複製數據是不會被紀錄為資料表數據更新的,因此可以繼續累計天數或保持長期儲存的狀態。不過如果進行資料載入、寫入、資料複製到資料表… 等動作,這個資料表就會恢復為動態儲存計費,並且 90 天計時器將重置為零。
就像是一篇部落格文章只要未被修改,只單純被讀取,就符合這個範疇。
如果我們估計上述示例中的 25% 資料集規劃為**長期儲存的資料表,**僅用於查看或查詢,則每個月可以節省 $1,250 的資料存儲費用。
500 TB * 1000 = 500,000 GB
500,000 GB * 25% = 125,000 GB
動態儲存:375,000 * 0.02 美元 = 每月 7,500 美元
長期儲存:125,000 GB * 0.01 美元 = 每月 1,250 美元
每月總存儲費用降為 8,750 美元
Google BigQuery 分析定價 (Compute (analysis) pricing)
BigQuery 的費用中比價格比較高的就是分析與資料查詢,但 Google 提供了每月查詢前 1000 GB 免費。 要計算查詢資料使用量,我們需要先估算出一些基本參數,再使用這些資訊來推估每個月的費用。
基本參數包含:
每天的使用者數量
每個使用者每天的查詢數量
每個查詢的平均資料使用量
接著,我們可以使用這些參數進行基本計算,推估出每月的查詢資料使用量:
每月查詢資料使用量 = 每天的使用者數量 × 每個使用者每天的查詢數量 × 每個查詢的資料使用量 × 每月天數
如果我們估計 每天會有大約 150 個使用者 每個使用者每天運行 50 個查詢 每個查詢的平均資料使用量為 5GB
我們只需將這些值代入計算:
150 × 50 × 5 GB × 30 = 1,125,000 GB = 1,125 TB = 每月查詢資料使用量
根據我們估計的每月約 1125 TB 的查詢資料使用量,我們只需將此數值乘以 BigQuery 目前每月 6.25 per TB,就可以估算出每月約 7032 美元的查詢資料使用費用。
如果你正在評估 Google Analytics 4 與 BigQuery 的整合會產生多少成本,可以看看這篇完整的分析。
Google Cloud Platform 價格計算機
如果你想要在公司內提案,做正式的成本估算,可以使用 Google Cloud Platform 價格計算機。
進去網站後,選擇 BigQuery,再輸入你的儲存資料和查詢定價的各個細節,就搞定啦!
Google Analytics 與 BigQuery 專屬費用計算機
在上面我們提到了儲存費用是浮動的,部分資料存放一段時間後會變得更便宜,目前官方計算機,無法幫你計算出浮動的狀態,以 Google Analytics 4 資料為例,我做了一個可以精確估算未來一年費用的計算機,歡迎來試試看。