実践

H100の租金には4.57倍の差がある。安さだけでは判断できない

H100の公開料金のTIME pricesには2.69ドルから12.29ドルまで大きな差があります。I/O、待ち時間、抢占、課金単位を 포함한コスト計算IUなため,培训と推論のそれぞれで適切な評価が必要です。

文字サイズ

同じNVIDIA H100でも、公開されている時間 rental 料は2.69ドルから12.29ドルまであります。しかし、最終請求額は単価だけでは決まりません。I/O、待ち時間、抢占、ジョブの特性も考慮する必要があります。

GPUの租赁页面で最も目を引くのは、通常1時間あたりの価格です。

本来計算すべきなのは、1回の実験にいくらかかるか、1つのリクエスト群を処理するのにいくらかかるか、そして失敗後に再実行するとコストがどれだけ増えるかです。

datareceipts/data-receiptsの109-gpu-pricingディレクトリによると、同じNVIDIA H100の公開されている時間 rental 料は2.69ドルから12.29ドルまでで、最大で約4.57倍の差があります。

このデータは、表示価格に大きな差があることを示しています。ただし安いプラン在实际的な合計コストで便宜的だと直接証明するものではありません。

同じH100で価格に4.57倍の差が生じる理由

まず価格を整理すると、次のようになります。

  • 低価格側:2.69ドル/時間
  • 高価格側:12.29ドル/時間
  • 倍率:12.29 / 2.69 ≈ 4.57

比較しているのは同じ型のH100であり、H100、H200、その他のモデルを比較しているわけではありません。

価格を決めるのはGPUのSKUだけではありません。供給地域、マシンの構成、供給元の戦略、取引sadimeはすべて最終価格に影響する可能性があります。GPUが同じでも、計算環境が同じとは限りません。

見落としがちな点として、ページに表示される「1カード1時間」の価格は、通常GPUの rental 料金だけを表しています。

2台のマシンの片方が秒単位、もう片方が1時間単位で課金される場合、20分だけ実行する同じジョブでも請求額がまったく異なる可能性があります。抢占インスタンスの場合、ジョブの中断、checkpointの再保存、データの再転送もコストに含める必要があります。

したがって、4.57倍という数字がすべての场景で実際のコスト差になるわけではありません。まず言えるのは、GPUの表示価格は安定.itemsで画一的ではないということです。

GPU単価だけで選ばない

選定時は、まず合計コストを次のように分解します。

总成本 = GPU 占用时间
       + 磁盘与网络费用
       + 排队和任务启动损耗
       + 抢占或故障造成的重跑成本
       + 数据准备与迁移成本

1. ディスクとI/O

訓練データセットは通常、モデルのcheckpointよりかなり大きくなります。オブジェクトストレージへの転送量、一時ディスクの容量、读写速度、initialization timeのすべてが、GPUがデータを待つ原因になり得ます。

安いインスタンスを使う場合、毎回の実験でデータの準備に30分余分がかかるとします。2.69ドル/時間で計算すると、1回あたりの増加額は次のようになります。

2.69 × 0.5 = 1.345 美元

ジョブが2時間動くなら、単価の優位性Already、データ準備コストによって一部 相殺されます。

2. CPU、メモリ、ネットワーク

訓練前のtokenizer処理、データクリーニング、データ並列化にはGPUだけが必要です。CPUコア数、メモリ帯域、ノード間のinterconnectが、multi-GPU訓練でH100を最大限,充分利用できるかを左右します。

推論側も同様です。モデルのロード、首token遅延、リクエストの待ち行列、dynamic batching、KV Cacheの占有量,都会影响单个实例的实际处理量。

8枚のカードと表示されていても、8カード構成のマシンのデータスループットが同じとは限りません。

3. 抢占戦略

Spotインスタンスは、障害を許容でき、再試行できるバッチ処理に適しています。たとえば、embeddingのバッチ生成、オフライン評価、パラメータ探索などです。

唯一のcheckpointを一時ディスクに保存し、インスタンスが回収されるまで処理しない、という運用は避けてください。

より安全な方法は、checkpointを定期的に保存し、復旧ロジックをジョブに組み込むことです。

from pathlib import Path
import json

checkpoint_dir = Path("checkpoints")
checkpoint_dir.mkdir(parents=True, exist_ok=True)

payload = {
    "step": 12000,
    "loss": 0.184,
    "model_state": model.state_dict(),
}

checkpoint_path = checkpoint_dir / "step-12000.pt"
torch.save(payload, checkpoint_path)

Path("checkpoints/latest.json").write_text(
    json.dumps({"path": str(checkpoint_path)}),
    encoding="utf-8",
)

このコードはcheckpointの基本的な保存形式を示しているだけです。本番環境では、atomic write、オブジェクトストレージへのアップロード、状態検証も必要です。ファイルが存在することは、復旧が必ず成功することを意味しません。

4. 課金単位と最低契約金額

供給元を選ぶ前に、4つの質問を確認します。

  • 秒単位、分単位、時間単位のどれで结算されますか?
  • 1時間未満の場合、1時間分として課金されますか?
  • 最低消費額や最低契約金額はありますか?
  • ディスク、転送量、public IPは別途課金されますか?

12分しか必要のない実験では、最低課 Boucherが1時間分になる可能性があります。単価が5倍安いからといって、短時間のジョブも5倍安くなるわけではありません。

訓練と推論では同じ基準を使わない

訓練でも推論でもH100は使えますが、最適化の目標は異なります。

訓練:安定したthroughputと障害損失を見る

1回の訓練コストは、次のように見積もると適しています。

单轮成本 = GPU 小时单价
         × GPU 数量
         × 实际运行小时
         × 有效运行比例

有効運行比率から、initialization、データの待ち時間、checkpointの保存、障害による再実行を差し引きます。

数時間連続して動かしたときの有効なthroughputは、ピーク時のFLOPSよりも重要です。安いインスタンスが頻繁に抢占される場合、損失するのは現在のstepだけではありません。データロードやcommunication bufferの再起動コストも発生します。

移行する価値があるかを判断するには、簡単なthresholdを使えます。

cheap_rate = 2.69
expensive_rate = 12.29

cheap_overhead_hours = 0.5
expensive_overhead_hours = 0.05
cheap_runtime_hours = 2.0
expensive_runtime_hours = 2.0

cheap_cost = cheap_rate * (cheap_runtime_hours + cheap_overhead_hours)
expensive_cost = expensive_rate * (
    expensive_runtime_hours + expensive_overhead_hours
)

assert expensive_cost < cheap_cost

この仮定の計算では、追加コストが少ない12.29ドルのインスタンス反而、安くなる可能性があります。この数値はアルゴリズムの例示であり、特定の供給元の报价を評価するものではありません。

推論:遅延と並行性を見る

推論では、「100万token当たり」または「1,000リクエスト当たり」のコストを計算すると適しています。

每百万 token 成本
= (实例总成本 + 附加资源成本) / 有效处理 token 数

ここで尤其是見落としやすい変数が3つあります。

  1. batch sizeが安定しているか。
  2. 首token遅延がユーザーの待ち時間に影響するか。
  3. 流量不足によりGPUが長時間アイドル状態になっていないか。

オンライン推論では、最低遅延だけでなく、p95、p99、並行性の目標も満たす必要があります。訓練ではimportant、ジョブを連続して完了できるかどうかが重視されます。

同じ安いGPU供給元でも、オフラインのバッチ推論には適しても、オンラインサービスには適さない場合があります。

公開価格表の使い方

109-gpu-pricingディレクトリは、最初の候補選びには適していますが、purchase contractとしてそのまま使うことはできません。

通常は次の5段階で整理します。

  1. 単位を統一する:ドル/GPU/時間へ換算し、ディスク、ネットワーク、public IPを含むかどうかを記録します。
  2. 仕様を統一する:GPU型号、VRAM、CPU、メモリ、ノード数、ネットワーク条件を確認します。
  3. ジョブ条件を反映する:予定実行時間、起動時間、障害耐性、遅延目標を入力します。
  4. 実効コストを計算する:待ち時間、抢占、データ移行、失敗後の再実行を含め />
  5. 小規模なload testを行う:実際のworkloadで1回動かし、長期的な資源を決定します。

公開データがCSVまたはJSONで提供されている場合は、まずフィールドを統一できます。次のPythonコードはCSVを読み込み、GPU時間当たり,价格順に並び替えます。

import csv
from pathlib import Path

path = Path("gpu_pricing.csv")
rows = []

with path.open(newline="", encoding="utf-8") as file:
    for row in csv.DictReader(file):
        if row.get("gpu") != "H100":
            continue

        rate = float(row["price_per_hour"])
        rows.append({
            "provider": row["provider"],
            "region": row.get("region", ""),
            "price_per_hour": rate,
        })

for item in sorted(rows, key=lambda item: item["price_per_hour"]):
    print(
        f'{item["provider"]:20} '
        f'{item["region"]:12} '
        f'${item["price_per_hour"]:.2f}/h'
    )

このスクリプトは、CSVにgpu、price_per_hour、providerフィールドがある前提です。リポジトリ内のフィールド名が異なる場合は、先にマッピングしてください。スクリプトを通すために価格をハードコードしてはいけません。

選定結果には、表示価格、想定実効コスト、リスク調整後コストの3列を残しておくとよいでしょう。意思決定に使うのは、最後の列です。

編集者の視点

この問題の重要さは、H100の报价に4.57倍の差があることだけではありません。GPU rentalがlayer型の市場になりつつあることにもあります。ページ上の時間 rental 料は標準化されているように見えて、実際に提供されるのは継続的に利用できる計算時間です。訓練では安定性を買い、推論では遅延とthroughputを買い、バッチ処理では中断できても復旧できるcomputing powerを買います。

今後、报价には待ち時間、抢占率、インスタンス仕様、データ転送費用が少しずつ加わでしょう。最低の時間 rental 料だけを提示し、ジョブ完了までのコストを示さないプラットフォームは、一部の大口顧客を失う可能性があります。供給元も、完了時間、有効token数、ジョブ成功率に基づく结算 상품을Patent能满足する可能性があります。

これは過去にクラウドベンダーのインスタンス一覧だけを比較する三角形とは異なります。公開価格のスナップショットは価格差を見つけやすい一方、リアルタイムの在庫、すべての地域、追加費用まではカバーできません。候補の抽出には適していますが、load testやcontract条項を代替することはできません。実際安いかどうかは、最後は自分のworkloadで測定して判断する必要があります。

出典: https://github.com/datareceipts/data-receipts/tree/main/109-gpu-pricing