實戰

H100 租價最高相差 4.57 倍,便宜真的比較省嗎?

NVIDIA H100 的公開時租價從 2.69 美元到 12.29 美元,差距可達 4.57 倍。評估實際成本時,還須納入 I/O、等待時間、搶占風險與計費方式,才能比較訓練與推理方案的效益。

字級

同一款 NVIDIA H100,公開時租價從 2.69 美元到 12.29 美元。但總帳單不能只看單價,還要計算 I/O、等待、搶占與任務型態帶來的成本。

GPU 租賃頁面上,最先看到的通常是每小時價格。

真正該問的是:一項實驗跑完要花多少錢?一批請求處理完要花多少錢?任務失敗後,重跑又會增加多少成本?

根據 datareceipts/data-receipts 的 109-gpu-pricing 目錄,同一款 NVIDIA H100 的公開時租價從 2.69 美元到 12.29 美元,最高相差約 4.57 倍。

這些數據顯示,市場上的掛牌價格存在明顯落差,但不能直接證明較便宜的方案實際總成本較低。

同一款 H100,價格為何相差 4.57 倍

先算清楚價格:

  • 低價檔:2.69 美元/小時
  • 高價檔:12.29 美元/小時
  • 倍數:12.29 / 2.69 ≈ 4.57

這裡比較的是同一款 H100,並非 H100、H200 或其他型號。

價格也不只由 GPU SKU 決定。供應地點、機器配置、供應商策略與交易時間,都可能影響最終報價。GPU 相同,不代表運算環境相同。

另一個容易忽略的問題是,頁面上的「每卡每小時」通常只涵蓋 GPU 租金。

如果兩台機器分別按秒計費與按整點計費,同樣執行 20 分鐘的任務,帳單可能完全不同。若遇到搶占型實例,還得計入任務中斷、checkpoint 重寫與資料重傳的代價。

因此,4.57 倍不代表所有情境中的實際成本差距。它首先說明的是:GPU 掛牌價並不是穩定且同質的產品價格。

別只看 GPU 單價

評估方案時,通常會先把總成本拆開:

總成本 = GPU 占用時間
       + 磁碟與網路費用
       + 等待與任務啟動损耗
       + 搶占或故障造成的重跑成本
       + 資料準備與遷移成本

1. 磁碟與 I/O

訓練資料集通常遠大於模型 checkpoint。物件儲存流量、暫存磁碟容量、讀寫速度與初始化時間,都可能讓 GPU 等待資料。

假設使用較便宜的實例,每輪實驗還得額外等待 30 分鐘才能準備好資料。按 2.69 美元/小時計算,每次會增加:

2.69 × 0.5 = 1.345 美元

若任務執行 2 小時,單價優勢已經被資料準備成本吃掉一部分。

2. CPU、記憶體與網路

訓練前的 tokenizer 處理、資料清洗或資料平行作業,不只需要 GPU。CPU 核心數、記憶體頻寬與節點間互連,都會影響多卡訓練能否充分利用 H100。

推理端也是一樣。模型載入、首個 token 延遲、請求排隊、動態批次處理與 KV Cache 佔用,都會影響單一實例的實際處理量。

標示為 8 卡,不代表這台 8 卡機器具備相同的資料吞吐能力。

3. 搶占策略

Spot 實例適合具備容錯能力、可重試的批次工作,例如批次產生 embedding、離線評測與參數掃描。

不要將唯一的 checkpoint 放在暫存磁碟,等實例被回收後才處理。

較穩妥的做法是定期儲存 checkpoint,並將復原邏輯寫進任務:

from pathlib import Path
import json

checkpoint_dir = Path("checkpoints")
checkpoint_dir.mkdir(parents=True, exist_ok=True)

payload = {
    "step": 12000,
    "loss": 0.184,
    "model_state": model.state_dict(),
}

checkpoint_path = checkpoint_dir / "step-12000.pt"
torch.save(payload, checkpoint_path)

Path("checkpoints/latest.json").write_text(
    json.dumps({"path": str(checkpoint_path)}),
    encoding="utf-8",
)

這段程式碼只展示 checkpoint 的基本儲存形式。正式環境還要處理原子寫入、物件儲存上傳與狀態驗證。檔案存在,不代表復原一定能成功。

4. 計費粒度與最低消費

選擇供應商前,先問四個問題:

  • 按秒、按分鐘,還是按小時結算?
  • 不足一小時是否仍按一小時計費?
  • 是否有最低消費或最低承諾?
  • 磁碟、流量與公網 IP 是否另行收費?

如果一項實驗只需要 12 分鐘,最低消費可能就是 1 小時。單價便宜 5 倍,不代表短期任務也便宜 5 倍。

訓練與推理,不該用同一把尺衡量

訓練與推理都能使用 H100,但最佳化目標不同。

訓練:重視穩定吞吐與故障損失

訓練適合用下列方式估算單輪成本:

單輪成本 = GPU 小時單價
         × GPU 數量
         × 實際執行小時
         × 有效執行比例

有效執行比例要扣除初始化、等待資料、儲存 checkpoint 與故障重跑的時間。

連續執行數小時後的有效吞吐,比峰值 FLOPS 更值得參考。便宜的實例若頻繁遭搶占,損失的不只是當前運算步驟,還包括重新載入資料與重建通訊緩衝區的成本。

可以用一道簡單門檻判斷是否值得遷移:

cheap_rate = 2.69
expensive_rate = 12.29

cheap_overhead_hours = 0.5
expensive_overhead_hours = 0.05
cheap_runtime_hours = 2.0
expensive_runtime_hours = 2.0

cheap_cost = cheap_rate * (cheap_runtime_hours + cheap_overhead_hours)
expensive_cost = expensive_rate * (
    expensive_runtime_hours + expensive_overhead_hours
)

assert expensive_cost < cheap_cost

在這組假設中,12.29 美元的實例因為額外開銷較少,反而可能更便宜。這些數字只用於示範演算法,並非對任何供應商報價的判斷。

推理:重視延遲與並行量

推理更适合計算「每百萬 token」或「每千次請求」的成本:

每百萬 token 成本
= (實例總成本 + 附加資源成本) / 有效處理 token 數

這裡最容易漏掉三個變數:

  1. batch size 是否穩定;
  2. 首個 token 延遲是否影響使用者等待;
  3. GPU 是否因流量不足而長期閒置。

線上推理不能只追求最低延遲,還要滿足 p95、p99 與並行量目標。訓練則更在意任務能否連續完成。

同一家便宜的 GPU 供應商,可能適合離線批次推理,卻不適合線上服務。

如何運用公開價格表

109-gpu-pricing 目錄適合用於第一輪篩選,但不應直接當成採購合約。

通常會分成五步處理:

  1. 統一單位:換算為美元/GPU/小時,並記錄是否包含磁碟、網路與公網 IP。
  2. 統一規格:確認 GPU 型號、顯示記憶體、CPU、記憶體、節點數與網路條件。
  3. 加入任務參數:填入預估執行時間、啟動時間、容錯要求與延遲目標。
  4. 計算有效成本:納入等待、搶占、資料遷移與失敗重跑。
  5. 小規模壓測:以真實 workload 執行一輪,再決定長期資源。

如果公開資料提供 CSV 或 JSON,可以先做欄位正規化。下列 Python 程式可讀取 CSV,並依 GPU 小時價格排序:

import csv
from pathlib import Path

path = Path("gpu_pricing.csv")
rows = []

with path.open(newline="", encoding="utf-8") as file:
    for row in csv.DictReader(file):
        if row.get("gpu") != "H100":
            continue

        rate = float(row["price_per_hour"])
        rows.append({
            "provider": row["provider"],
            "region": row.get("region", ""),
            "price_per_hour": rate,
        })

for item in sorted(rows, key=lambda item: item["price_per_hour"]):
    print(
        f'{item["provider"]:20} '
        f'{item["region"]:12} '
        f'${item["price_per_hour"]:.2f}/h'
    )

這支腳本依賴 CSV 中存在 gpu、price_per_hour 與 provider 欄位。若儲存庫採用的欄位名稱不同,應先建立對應。不要為了讓腳本成功執行而將價格寫死。

評估結果最好保留三欄:掛牌價、預估有效成本與風險調整後成本。真正的決策依據是最後一欄。

編輯觀察

這件事的重要性,不只在于 H100 報價相差 4.57 倍,而是 GPU 租賃市場正在呈現明顯分層。頁面上的時租價看似標準化,實際提供的卻是能否持續使用的運算時間。訓練買的是穩定性,推理買的是延遲與吞吐,批次工作則著重可中斷但能復原的算力。

未來的報價可能會逐步納入等待時間、搶占率、實例規格與資料傳輸費用。平台若只列最低時租價,卻不說明完成任務的總成本,就會流失一部分大型客戶。供應商也可能推出依完成時間、有效 token 數或任務成功率結算的產品。

這與過去單純比較雲端廠商實例清單的做法不同。公開價格快照容易看出價差,卻無法涵蓋即時庫存、所有地區與附加費用。它適合找候選方案,不能取代壓測與合約條款。價格是否真的划算,最終仍須使用自己的 workload 實測。

來源: https://github.com/datareceipts/data-receipts/tree/main/109-gpu-pricing