实战

H100 租价相差 4.57 倍,便宜未必更划算

H100 公开时租价从 2.69 美元到 12.29 美元。本文拆解 I/O、排队、抢占和计费粒度,给出训练与推理的成本估算方法。

字号

同一款 NVIDIA H100,公开时租价从 2.69 美元到 12.29 美元。但总账单不只看单价,还要算 I/O、排队、抢占和任务形态。

GPU 租赁页面上,最先看到的通常是每小时价格。

真正该算的是:一个实验跑完要多少钱?一批请求处理完要多少钱?任务失败后,重跑会增加多少成本?

根据 datareceipts/data-receipts 的 109-gpu-pricing 目录,同一款 NVIDIA H100 的公开时租价从 2.69 美元到 12.29 美元,最高相差约 4.57 倍。

这里列出的数据说明挂牌价存在明显差异。它不能直接证明便宜方案的实际总成本更低。

同一块 H100,为什么贵 4.57 倍

先把价格算清楚:

  • 低价档:2.69 美元/小时
  • 高价档:12.29 美元/小时
  • 倍数:12.29 / 2.69 ≈ 4.57

这里比较的是同一款 H100,不是 H100、H200 或其他型号。

价格也不会只由 GPU SKU 决定。供应地点、机器配置、供应方策略和交易时间,都可能进入最终报价。GPU 相同,不代表计算环境相同。

另一个容易忽略的问题是,页面上的“每卡每小时”通常只描述 GPU 租金。

如果两台机器分别按秒计费和按整点计费,同一个运行 20 分钟的任务,账单可能完全不同。遇到抢占实例,任务中断、checkpoint 重写和数据重传也要算进去。

所以,4.57 倍不是所有场景中的实际成本差。它首先说明:GPU 挂牌价不是稳定、同质的产品价格。

别只看 GPU 单价

选型时,我会先把总成本拆开:

总成本 = GPU 占用时间
       + 磁盘与网络费用
       + 排队和任务启动损耗
       + 抢占或故障造成的重跑成本
       + 数据准备与迁移成本

1. 磁盘与 I/O

训练数据集通常远大于模型 checkpoint。对象存储流量、临时盘容量、读写速度和初始化时间,都可能让 GPU 等待数据。

假设使用便宜实例,每轮实验要额外等 30 分钟才能准备好数据。按 2.69 美元/小时计算,单次增加:

2.69 × 0.5 = 1.345 美元

若任务运行 2 小时,单价优势已经被数据准备成本吃掉一部分。

2. CPU、内存与网络

训练前处理 tokenizer、清洗数据或做数据并行,不只需要 GPU。CPU 核数、内存带宽和节点间互联,会影响多卡训练能否把 H100 吃满。

推理侧也一样。模型加载、首 token 延迟、请求排队、动态批处理和 KV Cache 占用,都会影响单个实例的实际处理量。

标称 8 卡,不代表 8 卡机器拥有相同的数据吞吐能力。

3. 抢占策略

Spot 实例适合容错、可重试的批处理。例如批量生成 embedding、离线评测和参数扫描。

不要把唯一 checkpoint 放在临时盘,等实例被回收后再处理。

更稳妥的做法是定期保存 checkpoint,并把恢复逻辑写进任务:

from pathlib import Path
import json

checkpoint_dir = Path("checkpoints")
checkpoint_dir.mkdir(parents=True, exist_ok=True)

payload = {
    "step": 12000,
    "loss": 0.184,
    "model_state": model.state_dict(),
}

checkpoint_path = checkpoint_dir / "step-12000.pt"
torch.save(payload, checkpoint_path)

Path("checkpoints/latest.json").write_text(
    json.dumps({"path": str(checkpoint_path)}),
    encoding="utf-8",
)

这段代码只展示 checkpoint 的基本保存形式。生产环境还要处理原子写入、对象存储上传和状态校验。文件存在,不等于恢复一定成功。

4. 计费粒度与最低承诺

选供应商前,先问四个问题:

  • 按秒、按分钟,还是按小时结算?
  • 不足一小时是否按一小时收费?
  • 是否有最低消费或最低承诺?
  • 磁盘、流量和公网 IP 是否另收费?

如果一个实验只需要 12 分钟,最低消费可能就是 1 小时。单价低 5 倍,不代表短期任务便宜 5 倍。

训练与推理,不该用同一把尺子

训练和推理都能使用 H100,但优化目标不同。

训练:看稳定吞吐和故障损失

训练更适合这样估算单轮成本:

单轮成本 = GPU 小时单价
         × GPU 数量
         × 实际运行小时
         × 有效运行比例

有效运行比例要扣除初始化、数据等待、checkpoint 保存和故障重跑。

连续数小时后的有效吞吐,比峰值 FLOPS 更值得看。便宜实例如果频繁抢占,损失的不只是当前一步,还包括数据加载和通信缓冲区的重启成本。

可以用一个简单的门槛判断是否值得迁移:

cheap_rate = 2.69
expensive_rate = 12.29

cheap_overhead_hours = 0.5
expensive_overhead_hours = 0.05
cheap_runtime_hours = 2.0
expensive_runtime_hours = 2.0

cheap_cost = cheap_rate * (cheap_runtime_hours + cheap_overhead_hours)
expensive_cost = expensive_rate * (
    expensive_runtime_hours + expensive_overhead_hours
)

assert expensive_cost < cheap_cost

在这组假设计算中,12.29 美元的实例因为额外开销更少,反而可能更便宜。数字只演示算法,不是对任何供应商的报价判断。

推理:看延迟与并发

推理更适合计算“每百万 token”或“每千次请求”的成本:

每百万 token 成本
= (实例总成本 + 附加资源成本) / 有效处理 token 数

这里最容易漏掉三个变量:

  1. batch size 是否稳定;
  2. 首 token 延迟是否影响用户等待;
  3. GPU 是否因流量不足长期闲置。

在线推理不能只追求最低延迟,还要满足 p95、p99 和并发目标。训练更关心任务能否连续完成。

同一个便宜 GPU 供应商,可能适合离线批量推理,却不适合在线服务。

公开价格表怎么用

109-gpu-pricing 目录适合做第一轮筛选,不适合直接当采购合同。

我通常按五步处理:

  1. 统一单位:换算成美元/GPU/小时,并记录是否含磁盘、网络和公网 IP。
  2. 统一规格:确认 GPU 型号、显存、CPU、内存、节点数量和网络条件。
  3. 加入任务参数:填写预计运行时间、启动时间、容错要求和延迟目标。
  4. 计算有效成本:把排队、抢占、数据迁移和失败重跑纳入。
  5. 小规模压测:用真实 workload 跑一轮,再决定长期资源。

如果公开数据提供 CSV 或 JSON,可以先做字段归一化。下面这段 Python 可以读取 CSV,并按 GPU 小时排序:

import csv
from pathlib import Path

path = Path("gpu_pricing.csv")
rows = []

with path.open(newline="", encoding="utf-8") as file:
    for row in csv.DictReader(file):
        if row.get("gpu") != "H100":
            continue

        rate = float(row["price_per_hour"])
        rows.append({
            "provider": row["provider"],
            "region": row.get("region", ""),
            "price_per_hour": rate,
        })

for item in sorted(rows, key=lambda item: item["price_per_hour"]):
    print(
        f'{item["provider"]:20} '
        f'{item["region"]:12} '
        f'${item["price_per_hour"]:.2f}/h'
    )

脚本依赖 CSV 中存在 gpu、price_per_hour 和 provider 字段。若仓库字段名不同,应先映射字段。不要为了跑通脚本而把价格写死。

选型结果最好保留三列:挂牌价、预计有效成本和风险调整后成本。最后一列才用于决策。

编辑思考

这件事的重要性,不只是 H100 报价差了 4.57 倍,而是 GPU 租赁正在暴露成一个分层市场。页面上的时租价看似标准化,实际交付的是能否持续使用的计算时间。训练买稳定性,推理买延迟和吞吐,批处理则买可中断但能恢复的算力。

我的判断是,未来报价会逐步加入排队时间、抢占率、实例规格和数据传输费用。只给最低时租价,但不说明任务完成成本,平台会失去一部分大客户。供应商也可能增加按完成时间、有效 token 或任务成功率结算的产品。

这和过去只比较云厂商实例列表不同。公开价格快照更容易发现价差,却无法覆盖实时库存、所有地区和附加费用。它适合找候选,不适合替代压测与合同条款。目前是否真便宜,最终还是要用自己的 workload 测。

来源: https://github.com/datareceipts/data-receipts/tree/main/109-gpu-pricing