BigQuery 價格解析:一次搞懂儲存與查詢價格,打造成本效益最大化!

嗨我是大門,想要開始使用 BigQuery 服務,但又擔心費用超出預算嗎? 這篇文章我將與你聊聊如何估算 BigQuery 的費用,讓你在開始使用 BigQuery 前就能簡單估算出每月的使用費用。

Google BigQuery 簡介

在開始計算價格前,我們先簡單的介紹一下 Google BigQuery。 這是一個強大的雲端資料倉儲服務,提供無伺服器數據倉儲、使用列式儲存格式,自動複製資料以確保高可用性,並支持資料庫交易語義(ACID),讓使用者能專注於洞察力而不是基礎架構。同時,也借助 Google 搜尋引擎的成熟技術基礎,提供用戶整合多管道資料存儲、查詢和分析的解決方案,幫助使用從數據中獲得深入的洞察和價值。

Google BigQuery 計價方式

BigQuery 計價方式主要分為兩大方式:資料存儲 & 查詢分析,並依據實際的使用量來收費。
其中資料存儲的部份又分為動態儲存以及長期儲存兩個部份,在下面我將會一一的說明。

Google BigQuery 儲存定價 (Storage pricing)

儲存定價是將資料加載到 BigQuery 中的成本。有兩種類型的儲存方式:動態儲存 & 長期儲存。兩種方式的效能、耐用性或可用性都沒有任何差異,並且也都提供每個月前 10 GB 儲存空間免費額度。

  • 動態儲存包含過去 90 天內修改過的任何資料表或資料表分區。
  • 長期儲存包含任何連續 90 天未經修改的資料表或資料表分區。這類資料表的儲存費用會自動調降約 50%。
    如果資料表經過任何修改編輯,就會恢復為動態儲存價格,先前累計的 90 天閒置期也會歸零並重新開始計算。 但是以下幾項作業是不會讓計時歸零的:
    – 查詢資料表
    – 建立可查詢資料表的檢視表
    – 從資料表匯出資料
    – 將資料表複製到另一個目的地資料表
    – 修補或更新資料表資源

Google BigQuery 動態儲存

這是 BigQuery 定價中最簡單的部分,目前所有儲存的資料費用為每月 $0.02 per GB。
只需查看 BigQuery 資料集中各個表的大小,就可以大致估算你使用的「儲存資料」。例如,public-data:samples.gsod 表的總大小約為 16.1 GB,擁有 1.14 億行。這樣看似資料量很大的表,每月的儲存費用也只有大約 $0.3 美元。

如果我們有一個總共 500 TB 的資料集,只需將其乘以 1000(轉換為 GB),然後將結果乘以每 GB 0.02 美元的費用。
500 TB * 1000 = 500,000 GB 500,000 GB * 0.02 美元 = 每月 10,000 美元
即使儲存了高達 500 TB 的資料,BigQuery 最多也只需要每月大約 10,000 美元。

Google BigQuery 長期儲存

當我們計算完上述總儲存資料大小後,可以進一步的再預估有多少資料可以做為長期儲存使用。所謂的「長期儲存」是 BigQuery 裡的一個自動標記,適用於連續 90 天內未更新的任何資料表將自動標記,而這個資料表的儲存資料價格將減少一半,從 每月 $0.02 per GB 降至每月 $0.01 per GB。

從功能上看,被標記為長期儲存的資料表與正常資料表是一模一樣的。關鍵考慮因素在於「更新」這個關鍵詞。如果僅是從資料表中查詢、手動導出或複製數據是不會被紀錄為資料表數據更新的,因此可以繼續累計天數或保持長期儲存的狀態。不過如果進行資料載入、寫入、資料複製到資料表… 等動作,這個資料表就會恢復為動態儲存計費,並且 90 天計時器將重置為零。

如果我們估計上述示例中的 25% 資料集規劃為**長期儲存的資料表,**僅用於查看或查詢,則每個月可以節省 $1,250 的資料存儲費用。

500 TB * 1000 = 500,000 GB
500,000 GB * 25% = 125,000 GB
動態儲存:375,000 * 0.02 美元 = 每月 7,500 美元
長期儲存:125,000 GB * 0.01 美元 = 每月 1,250 美元
每月總存儲費用降為 8,750 美元

Google BigQuery 分析定價 (Compute (analysis) pricing)

BigQuery 的費用中比價格比較高的就是分析處理資料查詢的這個部份,但 Google 提供了每月查詢前 1000 GB 免費。 要計算查詢資料使用量,我們需要先估算出一些基本參數,再使用這些資訊來推估每個月的費用。

基本參數包含:

每天的使用者數量
每個使用者每天的查詢數量
每個查詢的平均資料使用量

接著,我們可以使用這些參數進行基本計算,推估出每月的查詢資料使用量:
每月查詢資料使用量 = 每天的使用者數量 × 每個使用者每天的查詢數量 × 每個查詢的資料使用量 × 每月天數

如果我們估計 每天會有大約 150 個使用者 每個使用者每天運行 50 個查詢 每個查詢的平均資料使用量為 5GB
我們只需將這些值代入計算:

150 × 50 × 5 GB × 30 = 1,125,000 GB = 1,125 TB = 每月查詢資料使用量
根據我們估計的每月約 1125 TB 的查詢資料使用量,我們只需將此數值乘以 BigQuery 目前每月 6.25 per TB,就可以估算出每月約 7032 美元的查詢資料使用費用。

Google Cloud Platform 價格計算機

從前面的文章可以讓你用最簡單的方式計算出 BigQuery 的費用,不過如果你想要更仔細的計算出每個使用費的話 Google 提供了一個很方便的定價計算器工具,讓你可以估算成本。Google Cloud Platform 價格計算機,進去網站後,選擇 BigQuery,再輸入你的儲存資料和查詢定價的各個細節,就搞定啦!

需要更詳細說明或客製化顧問服務?

看完了前面的文章,如果你需要更多的幫助,我們可以安排一個 30 分鐘線上會議,讓我瞭解目前的狀況,看能如何提供協助。

可以透過此連結來預約你方便線上聊聊的時間。