同一款 NVIDIA H100,公開時租價從 2.69 美元到 12.29 美元。但總帳單不能只看單價,還要計算 I/O、等待、搶占與任務型態帶來的成本。
GPU 租賃頁面上,最先看到的通常是每小時價格。
真正該問的是:一項實驗跑完要花多少錢?一批請求處理完要花多少錢?任務失敗後,重跑又會增加多少成本?
根據 datareceipts/data-receipts 的 109-gpu-pricing 目錄,同一款 NVIDIA H100 的公開時租價從 2.69 美元到 12.29 美元,最高相差約 4.57 倍。
這些數據顯示,市場上的掛牌價格存在明顯落差,但不能直接證明較便宜的方案實際總成本較低。
同一款 H100,價格為何相差 4.57 倍
先算清楚價格:
- 低價檔:2.69 美元/小時
- 高價檔:12.29 美元/小時
- 倍數:
12.29 / 2.69 ≈ 4.57
這裡比較的是同一款 H100,並非 H100、H200 或其他型號。
價格也不只由 GPU SKU 決定。供應地點、機器配置、供應商策略與交易時間,都可能影響最終報價。GPU 相同,不代表運算環境相同。
另一個容易忽略的問題是,頁面上的「每卡每小時」通常只涵蓋 GPU 租金。
如果兩台機器分別按秒計費與按整點計費,同樣執行 20 分鐘的任務,帳單可能完全不同。若遇到搶占型實例,還得計入任務中斷、checkpoint 重寫與資料重傳的代價。
因此,4.57 倍不代表所有情境中的實際成本差距。它首先說明的是:GPU 掛牌價並不是穩定且同質的產品價格。
別只看 GPU 單價
評估方案時,通常會先把總成本拆開:
總成本 = GPU 占用時間
+ 磁碟與網路費用
+ 等待與任務啟動损耗
+ 搶占或故障造成的重跑成本
+ 資料準備與遷移成本
1. 磁碟與 I/O
訓練資料集通常遠大於模型 checkpoint。物件儲存流量、暫存磁碟容量、讀寫速度與初始化時間,都可能讓 GPU 等待資料。
假設使用較便宜的實例,每輪實驗還得額外等待 30 分鐘才能準備好資料。按 2.69 美元/小時計算,每次會增加:
2.69 × 0.5 = 1.345 美元
若任務執行 2 小時,單價優勢已經被資料準備成本吃掉一部分。
2. CPU、記憶體與網路
訓練前的 tokenizer 處理、資料清洗或資料平行作業,不只需要 GPU。CPU 核心數、記憶體頻寬與節點間互連,都會影響多卡訓練能否充分利用 H100。
推理端也是一樣。模型載入、首個 token 延遲、請求排隊、動態批次處理與 KV Cache 佔用,都會影響單一實例的實際處理量。
標示為 8 卡,不代表這台 8 卡機器具備相同的資料吞吐能力。
3. 搶占策略
Spot 實例適合具備容錯能力、可重試的批次工作,例如批次產生 embedding、離線評測與參數掃描。
不要將唯一的 checkpoint 放在暫存磁碟,等實例被回收後才處理。
較穩妥的做法是定期儲存 checkpoint,並將復原邏輯寫進任務:
from pathlib import Path
import json
checkpoint_dir = Path("checkpoints")
checkpoint_dir.mkdir(parents=True, exist_ok=True)
payload = {
"step": 12000,
"loss": 0.184,
"model_state": model.state_dict(),
}
checkpoint_path = checkpoint_dir / "step-12000.pt"
torch.save(payload, checkpoint_path)
Path("checkpoints/latest.json").write_text(
json.dumps({"path": str(checkpoint_path)}),
encoding="utf-8",
)
這段程式碼只展示 checkpoint 的基本儲存形式。正式環境還要處理原子寫入、物件儲存上傳與狀態驗證。檔案存在,不代表復原一定能成功。
4. 計費粒度與最低消費
選擇供應商前,先問四個問題:
- 按秒、按分鐘,還是按小時結算?
- 不足一小時是否仍按一小時計費?
- 是否有最低消費或最低承諾?
- 磁碟、流量與公網 IP 是否另行收費?
如果一項實驗只需要 12 分鐘,最低消費可能就是 1 小時。單價便宜 5 倍,不代表短期任務也便宜 5 倍。
訓練與推理,不該用同一把尺衡量
訓練與推理都能使用 H100,但最佳化目標不同。
訓練:重視穩定吞吐與故障損失
訓練適合用下列方式估算單輪成本:
單輪成本 = GPU 小時單價
× GPU 數量
× 實際執行小時
× 有效執行比例
有效執行比例要扣除初始化、等待資料、儲存 checkpoint 與故障重跑的時間。
連續執行數小時後的有效吞吐,比峰值 FLOPS 更值得參考。便宜的實例若頻繁遭搶占,損失的不只是當前運算步驟,還包括重新載入資料與重建通訊緩衝區的成本。
可以用一道簡單門檻判斷是否值得遷移:
cheap_rate = 2.69
expensive_rate = 12.29
cheap_overhead_hours = 0.5
expensive_overhead_hours = 0.05
cheap_runtime_hours = 2.0
expensive_runtime_hours = 2.0
cheap_cost = cheap_rate * (cheap_runtime_hours + cheap_overhead_hours)
expensive_cost = expensive_rate * (
expensive_runtime_hours + expensive_overhead_hours
)
assert expensive_cost < cheap_cost
在這組假設中,12.29 美元的實例因為額外開銷較少,反而可能更便宜。這些數字只用於示範演算法,並非對任何供應商報價的判斷。
推理:重視延遲與並行量
推理更适合計算「每百萬 token」或「每千次請求」的成本:
每百萬 token 成本
= (實例總成本 + 附加資源成本) / 有效處理 token 數
這裡最容易漏掉三個變數:
- batch size 是否穩定;
- 首個 token 延遲是否影響使用者等待;
- GPU 是否因流量不足而長期閒置。
線上推理不能只追求最低延遲,還要滿足 p95、p99 與並行量目標。訓練則更在意任務能否連續完成。
同一家便宜的 GPU 供應商,可能適合離線批次推理,卻不適合線上服務。
如何運用公開價格表
109-gpu-pricing 目錄適合用於第一輪篩選,但不應直接當成採購合約。
通常會分成五步處理:
- 統一單位:換算為美元/GPU/小時,並記錄是否包含磁碟、網路與公網 IP。
- 統一規格:確認 GPU 型號、顯示記憶體、CPU、記憶體、節點數與網路條件。
- 加入任務參數:填入預估執行時間、啟動時間、容錯要求與延遲目標。
- 計算有效成本:納入等待、搶占、資料遷移與失敗重跑。
- 小規模壓測:以真實 workload 執行一輪,再決定長期資源。
如果公開資料提供 CSV 或 JSON,可以先做欄位正規化。下列 Python 程式可讀取 CSV,並依 GPU 小時價格排序:
import csv
from pathlib import Path
path = Path("gpu_pricing.csv")
rows = []
with path.open(newline="", encoding="utf-8") as file:
for row in csv.DictReader(file):
if row.get("gpu") != "H100":
continue
rate = float(row["price_per_hour"])
rows.append({
"provider": row["provider"],
"region": row.get("region", ""),
"price_per_hour": rate,
})
for item in sorted(rows, key=lambda item: item["price_per_hour"]):
print(
f'{item["provider"]:20} '
f'{item["region"]:12} '
f'${item["price_per_hour"]:.2f}/h'
)
這支腳本依賴 CSV 中存在 gpu、price_per_hour 與 provider 欄位。若儲存庫採用的欄位名稱不同,應先建立對應。不要為了讓腳本成功執行而將價格寫死。
評估結果最好保留三欄:掛牌價、預估有效成本與風險調整後成本。真正的決策依據是最後一欄。
編輯觀察
這件事的重要性,不只在于 H100 報價相差 4.57 倍,而是 GPU 租賃市場正在呈現明顯分層。頁面上的時租價看似標準化,實際提供的卻是能否持續使用的運算時間。訓練買的是穩定性,推理買的是延遲與吞吐,批次工作則著重可中斷但能復原的算力。
未來的報價可能會逐步納入等待時間、搶占率、實例規格與資料傳輸費用。平台若只列最低時租價,卻不說明完成任務的總成本,就會流失一部分大型客戶。供應商也可能推出依完成時間、有效 token 數或任務成功率結算的產品。
這與過去單純比較雲端廠商實例清單的做法不同。公開價格快照容易看出價差,卻無法涵蓋即時庫存、所有地區與附加費用。它適合找候選方案,不能取代壓測與合約條款。價格是否真的划算,最終仍須使用自己的 workload 實測。