工具

Grace Blackwell 调度实战:同机架多榨出 27% GPU

SkyPilot 调整 Grace Blackwell 集群调度后,可用 GPU 资源增加 27%。本文拆解这个数字的计算口径、适用边界和复现方法。

字号

SkyPilot 调整调度策略后,同一批 Grace Blackwell 机架的可用 GPU 资源增加 27%。对负责算力采购和集群运营的人,这比单卡跑分更值得看。

Grace Blackwell 的瓶颈,可能不在 GPU,而在调度。

SkyPilot 在文章 Grace Blackwell needs a new scheduler 中提出:NVIDIA Grace Blackwell 集群需要新的调度方式。

它给出的数字是:对同一批机架调整调度策略后,可用 GPU 资源提升 27%。

这不是单卡跑分增加 27%,也不是模型训练速度提高 27%。它衡量的是集群级资源利用率。

同样一套硬件,原本有一部分时间无法被任务有效使用。调度改进后,这部分资源被重新利用起来。

这件事登上 Hacker News 首页时,获得 101 分和 15 条评论。讨论地址是 HN item 50290912。

27% 到底来自哪里

先看最容易误读的地方。

27% 来自同一批 Grace Blackwell 机架。调整调度策略后,可用 GPU 资源增加。它不是芯片规格变化,也不是 CUDA kernel 优化,而是任务与硬件匹配方式的变化。

可以把集群看成两种账本。

第一本是硬件账:机架里有多少张 GPU,每张卡有多少显存,GPU 之间如何连接。

第二本是时间账:某张卡在某个时间点究竟有没有被任务占用。

Grace Blackwell 更贵,不代表调度更简单。当 GPU、CPU、内存、网络和机架拓扑都成为约束后,任务能否启动、能否跑满,取决于调度器能否把资源切到合适的粒度。

旧式调度常见做法是按整节点分配。一个训练任务需要 8 张卡,就等 8 张卡都空闲。一个推理任务只需要 2 张卡,却可能因为节点按整机出租而等待更久。

静态装箱看起来整齐,实际会留下大量无法组合的碎片。

这类碎片在实验任务混跑时尤其明显。一个任务需要 4 张卡,另一个需要 6 张卡。单个任务都能启动,但节点里可能只剩 3 张和 5 张。两边都不够,整体却仍有不少空闲 GPU。

所以,SkyPilot 的 27% 更像是一个集群调度实验结果。它展示调度改造后的资源可用量变化,不是一个适用于所有集群的固定折扣。

不同模型、任务组合和租户策略,结果都会变。

旧调度器为什么失灵

传统调度器通常围绕“节点”,而不是“资源片段”工作。

常见模式有三种。

  • 整节点分配:任务提交后等待完整节点,资源利用率依赖装箱算法的运气。
  • 静态装箱:按固定组合预先划分资源,适合长期稳定的工作负载,不适合任务需求变化。
  • 粗粒度抢占:抢占整个节点或整个任务,释放资源多,但重启成本也高。

这些方式在单租户、同构、长期运行的训练任务上还能工作。到了 Grace Blackwell 机架,问题会变得更尖锐。

原因不只是 GPU 数量更多。一个机架里的资源约束,可能同时包括 GPU 数量、GPU 拓扑、显存容量、CPU、内存和节点间网络带宽。

任务需要的资源组合也不再只是“有没有卡”。而是“这些卡是否以合适的拓扑和速度一起可用”。

于是会出现一个反直觉现象:集群的峰值硬件能力很高,但有效吞吐并不高。

GPU 在等待,任务在等待。调度器却只能告诉它们“再等等”。

这也是为什么“买更快的卡”不能自动解决利用率问题。新硬件扩大了资源池,但没有改变资源被分配的方式。

SkyPilot 的调度思路

SkyPilot 的出发点,是把调度对象从固定节点改成更贴近任务需求的资源组合。

原文讨论 NVIDIA Grace Blackwell GPU 的机架级部署,以及异构工作负载管理。核心问题不是让所有任务使用同一种配置,而是根据任务需求、GPU 数量和资源约束,安排合适的运行位置。

在 SkyPilot 这类云抽象层里,任务通常先描述自己需要什么:几个 GPU、多少显存、是否要求特定实例或加速器类型。

系统寻找满足约束的可用资源,再决定放置位置。

这带来两个变化。

第一,资源匹配从“节点级别”下沉到“GPU 和资源约束级别”。小任务不必等完整大节点,调度器可以寻找更小的可用组合。

第二,异构任务可以放进同一个资源池。训练、推理、在线服务和实验任务不必各自维护一套互相隔离的集群。调度器需要处理不同任务的生命周期、抢占边界和优先级。

不过,27% 不能直接当成部署收益承诺。复现时必须确认三件事:

  1. “可用 GPU”具体如何定义?是空闲、已分配,还是完成任务所需的有效资源?
  2. 对照组和实验组是否使用完全相同的机架、任务集合与运行时间?
  3. 是否把任务排队时间、GPU 实际执行时间和迁移或重启成本纳入统计?

只看 GPU 利用率曲线,很容易忽略排队。

一个节点显示 100% GPU 忙,不代表所有请求都得到低延迟服务。反过来,短任务快速完成后,GPU 利用率也可能被低估。

从案例看 AI 基础设施瓶颈

把视角从单卡峰值拉到机架级吞吐,AI 基础设施的瓶颈会换一副面孔。

训练任务通常持续数小时甚至数天,资源形状稳定。推理任务生命周期短,显存和延迟约束更紧。在线服务需要保证容量。实验任务则可能几分钟就结束,还要求特定 GPU 型号。

这些任务混在同一批机架时,最容易被浪费的不是某个固定的大块资源,而是各种大小的“剩余片段”。

可以留下 5 个可复核的工程判断。

  • 先统计 GPU 空闲原因。不要只记 utilization,至少区分等待资源、等待队列、数据准备、进程启动和通信阻塞。
  • 观察任务粒度。大量小任务和大任务混跑时,按节点分配的等待成本通常会被放大。
  • 把有效吞吐当成核心指标。比较每次任务完成时间、GPU-time 消耗和实际完成任务数,比比较单卡 FLOPS 更接近集群价值。
  • 检查拓扑约束。GPU 数量相同,跨 NUMA、跨节点和跨机架的通信成本可能完全不同。
  • 把失败和抢占成本算进去。调度器释放了更多资源,但若频繁迁移任务,收益可能被检查点恢复抵消。

还有一个常见误区:把 GPU 利用率直接当成业务利用率。

100% utilization 只说明设备在计算,不说明计算是否服务于有价值的请求。资源碎片、排队和小任务启动开销,都可能让这项指标看起来很漂亮,业务吞吐却没有同步增加。

因此,27% 更适合被当成调度设计的实验信号。同样的机器,可能藏着比想象中更多的可用容量。

它不适合被写成“买 Grace Blackwell 后自动省 27% 成本”的账单结论。

这套方法适合谁

三类环境的优先级不同。

多租户集群

多租户集群的核心是隔离和公平。细粒度切分很有价值,但不能让一个租户通过提交大量短任务占住资源。

需要重点观察:租户级 GPU-time、抢占次数、任务等待时间和资源碎片率。调度策略应同时限制单任务上限和租户并发上限。

内部共享集群

内部团队通常更在意总吞吐。训练、评测和推理任务往往来自不同项目,任务形状差异明显。

这里适合采用优先级队列、抢占或 backfill。但要记录被抢占任务的恢复成本。

对已经完成大量训练步的任务,直接杀掉重启可能比继续排队更贵。

单一团队

单一团队不代表工作负载单一。团队内部也可能有长期训练和临时评测两类任务。

如果资源类型有限,整节点分配可能足够简单。如果 GPU 型号和拓扑变多,就值得引入按 GPU 数量与资源约束匹配的调度。

复现实验时,应同时记录任务完成数、总 GPU-time、平均排队时间和 P95 等待时间。

无论哪类环境,都建议先做一个小规模对照实验。

固定任务列表,固定资源池,只替换调度策略,再用同一套指标比较。不要先改硬件,也不要先改模型。否则无法判断收益究竟来自调度,还是来自其他变量。

编辑思考

27% 的意义不只是“多用几张 GPU”,而是提醒基础设施团队重算扩容账本。过去扩容通常先问:性能瓶颈是否需要更快的芯片?如果任务仍在等待、碎片仍无法组合,再快的单卡也可能被调度损耗吃掉。

这次不同的地方,是 SkyPilot 把讨论锚定在 Grace Blackwell 机架和异构工作负载上。它没有只展示更漂亮的模型 benchmark,而是把资源利用率放回系统层面。我的判断是,下一轮集群优化会从“按卡型分池”转向“按任务资源形状分池”。调度器要理解的不只是 GPU 数量,还有显存、拓扑和任务时长。

不过,我不会把 27% 当作普适增益。它来自特定文章和特定对照方法。对长训练、强拓扑绑定或高隔离要求的环境,收益可能小得多,抢占甚至会增加恢复成本。下一步应验证等待时间、任务吞吐和恢复成本是否同步改善。只有这些指标一起变好,27% 才能进入扩容账本。

来源

https://skypilot.ai/blog/grace-blackwell-needs-a-new-scheduler

来源: https://skypilot.ai/blog/grace-blackwell-needs-a-new-scheduler