同一款 NVIDIA H100,公开时租价从 2.69 美元到 12.29 美元。但总账单不只看单价,还要算 I/O、排队、抢占和任务形态。
GPU 租赁页面上,最先看到的通常是每小时价格。
真正该算的是:一个实验跑完要多少钱?一批请求处理完要多少钱?任务失败后,重跑会增加多少成本?
根据 datareceipts/data-receipts 的 109-gpu-pricing 目录,同一款 NVIDIA H100 的公开时租价从 2.69 美元到 12.29 美元,最高相差约 4.57 倍。
这里列出的数据说明挂牌价存在明显差异。它不能直接证明便宜方案的实际总成本更低。
同一块 H100,为什么贵 4.57 倍
先把价格算清楚:
- 低价档:2.69 美元/小时
- 高价档:12.29 美元/小时
- 倍数:
12.29 / 2.69 ≈ 4.57
这里比较的是同一款 H100,不是 H100、H200 或其他型号。
价格也不会只由 GPU SKU 决定。供应地点、机器配置、供应方策略和交易时间,都可能进入最终报价。GPU 相同,不代表计算环境相同。
另一个容易忽略的问题是,页面上的“每卡每小时”通常只描述 GPU 租金。
如果两台机器分别按秒计费和按整点计费,同一个运行 20 分钟的任务,账单可能完全不同。遇到抢占实例,任务中断、checkpoint 重写和数据重传也要算进去。
所以,4.57 倍不是所有场景中的实际成本差。它首先说明:GPU 挂牌价不是稳定、同质的产品价格。
别只看 GPU 单价
选型时,我会先把总成本拆开:
总成本 = GPU 占用时间
+ 磁盘与网络费用
+ 排队和任务启动损耗
+ 抢占或故障造成的重跑成本
+ 数据准备与迁移成本
1. 磁盘与 I/O
训练数据集通常远大于模型 checkpoint。对象存储流量、临时盘容量、读写速度和初始化时间,都可能让 GPU 等待数据。
假设使用便宜实例,每轮实验要额外等 30 分钟才能准备好数据。按 2.69 美元/小时计算,单次增加:
2.69 × 0.5 = 1.345 美元
若任务运行 2 小时,单价优势已经被数据准备成本吃掉一部分。
2. CPU、内存与网络
训练前处理 tokenizer、清洗数据或做数据并行,不只需要 GPU。CPU 核数、内存带宽和节点间互联,会影响多卡训练能否把 H100 吃满。
推理侧也一样。模型加载、首 token 延迟、请求排队、动态批处理和 KV Cache 占用,都会影响单个实例的实际处理量。
标称 8 卡,不代表 8 卡机器拥有相同的数据吞吐能力。
3. 抢占策略
Spot 实例适合容错、可重试的批处理。例如批量生成 embedding、离线评测和参数扫描。
不要把唯一 checkpoint 放在临时盘,等实例被回收后再处理。
更稳妥的做法是定期保存 checkpoint,并把恢复逻辑写进任务:
from pathlib import Path
import json
checkpoint_dir = Path("checkpoints")
checkpoint_dir.mkdir(parents=True, exist_ok=True)
payload = {
"step": 12000,
"loss": 0.184,
"model_state": model.state_dict(),
}
checkpoint_path = checkpoint_dir / "step-12000.pt"
torch.save(payload, checkpoint_path)
Path("checkpoints/latest.json").write_text(
json.dumps({"path": str(checkpoint_path)}),
encoding="utf-8",
)
这段代码只展示 checkpoint 的基本保存形式。生产环境还要处理原子写入、对象存储上传和状态校验。文件存在,不等于恢复一定成功。
4. 计费粒度与最低承诺
选供应商前,先问四个问题:
- 按秒、按分钟,还是按小时结算?
- 不足一小时是否按一小时收费?
- 是否有最低消费或最低承诺?
- 磁盘、流量和公网 IP 是否另收费?
如果一个实验只需要 12 分钟,最低消费可能就是 1 小时。单价低 5 倍,不代表短期任务便宜 5 倍。
训练与推理,不该用同一把尺子
训练和推理都能使用 H100,但优化目标不同。
训练:看稳定吞吐和故障损失
训练更适合这样估算单轮成本:
单轮成本 = GPU 小时单价
× GPU 数量
× 实际运行小时
× 有效运行比例
有效运行比例要扣除初始化、数据等待、checkpoint 保存和故障重跑。
连续数小时后的有效吞吐,比峰值 FLOPS 更值得看。便宜实例如果频繁抢占,损失的不只是当前一步,还包括数据加载和通信缓冲区的重启成本。
可以用一个简单的门槛判断是否值得迁移:
cheap_rate = 2.69
expensive_rate = 12.29
cheap_overhead_hours = 0.5
expensive_overhead_hours = 0.05
cheap_runtime_hours = 2.0
expensive_runtime_hours = 2.0
cheap_cost = cheap_rate * (cheap_runtime_hours + cheap_overhead_hours)
expensive_cost = expensive_rate * (
expensive_runtime_hours + expensive_overhead_hours
)
assert expensive_cost < cheap_cost
在这组假设计算中,12.29 美元的实例因为额外开销更少,反而可能更便宜。数字只演示算法,不是对任何供应商的报价判断。
推理:看延迟与并发
推理更适合计算“每百万 token”或“每千次请求”的成本:
每百万 token 成本
= (实例总成本 + 附加资源成本) / 有效处理 token 数
这里最容易漏掉三个变量:
- batch size 是否稳定;
- 首 token 延迟是否影响用户等待;
- GPU 是否因流量不足长期闲置。
在线推理不能只追求最低延迟,还要满足 p95、p99 和并发目标。训练更关心任务能否连续完成。
同一个便宜 GPU 供应商,可能适合离线批量推理,却不适合在线服务。
公开价格表怎么用
109-gpu-pricing 目录适合做第一轮筛选,不适合直接当采购合同。
我通常按五步处理:
- 统一单位:换算成美元/GPU/小时,并记录是否含磁盘、网络和公网 IP。
- 统一规格:确认 GPU 型号、显存、CPU、内存、节点数量和网络条件。
- 加入任务参数:填写预计运行时间、启动时间、容错要求和延迟目标。
- 计算有效成本:把排队、抢占、数据迁移和失败重跑纳入。
- 小规模压测:用真实 workload 跑一轮,再决定长期资源。
如果公开数据提供 CSV 或 JSON,可以先做字段归一化。下面这段 Python 可以读取 CSV,并按 GPU 小时排序:
import csv
from pathlib import Path
path = Path("gpu_pricing.csv")
rows = []
with path.open(newline="", encoding="utf-8") as file:
for row in csv.DictReader(file):
if row.get("gpu") != "H100":
continue
rate = float(row["price_per_hour"])
rows.append({
"provider": row["provider"],
"region": row.get("region", ""),
"price_per_hour": rate,
})
for item in sorted(rows, key=lambda item: item["price_per_hour"]):
print(
f'{item["provider"]:20} '
f'{item["region"]:12} '
f'${item["price_per_hour"]:.2f}/h'
)
脚本依赖 CSV 中存在 gpu、price_per_hour 和 provider 字段。若仓库字段名不同,应先映射字段。不要为了跑通脚本而把价格写死。
选型结果最好保留三列:挂牌价、预计有效成本和风险调整后成本。最后一列才用于决策。
编辑思考
这件事的重要性,不只是 H100 报价差了 4.57 倍,而是 GPU 租赁正在暴露成一个分层市场。页面上的时租价看似标准化,实际交付的是能否持续使用的计算时间。训练买稳定性,推理买延迟和吞吐,批处理则买可中断但能恢复的算力。
我的判断是,未来报价会逐步加入排队时间、抢占率、实例规格和数据传输费用。只给最低时租价,但不说明任务完成成本,平台会失去一部分大客户。供应商也可能增加按完成时间、有效 token 或任务成功率结算的产品。
这和过去只比较云厂商实例列表不同。公开价格快照更容易发现价差,却无法覆盖实时库存、所有地区和附加费用。它适合找候选,不适合替代压测与合同条款。目前是否真便宜,最终还是要用自己的 workload 测。