SkyPilot がスケジューリング戦略を調整すると、同じ Grace Blackwell ラックのグループで利用できる GPU リソースが 27% 増えました。GPU の調達やクラスタ運用を担当する関係者にとって、単-card benchmark 以上に注目できる数字です。
Grace Blackwell のボトルネックは、GPU ではなくスケジューリングにある可能性があります。
SkyPilot は記事 Grace Blackwell needs a new scheduler で、NVIDIA Grace Blackwell クラスタには新しいスケジューリング手法が必要だと指摘しています。
提示された数字は、同じラックのグループに対してスケジューリング戦略を調整したところ、利用可能な GPU リソースが 27% 増えたというものです。
単-card benchmark が 27% 向上したわけでも、モデルの学習速度が 27% sped up したわけでもありません。測定対象はクラスタ全体のリソース利用率です。
同じハードウェアでも、例えば一定時間タスクに有効利用できない状態 existed します。スケジューリングを改善すると、この部分が再利用可能になります。
この話が Hacker News のトップページに載った際は、101 ポイントと 15 件のコメントが集まりました。議論は HN item 50290912 で確認できます。
27% の正体
まず、最も誤読されやすい点を確認します。
27% は同じ Grace Blackwell ラックのグループから算出されています。スケジューリング戦略を調整した結果、利用可能な GPU リソースが増えたという値です。チップの仕様変更や CUDA kernel の最適化ではなく、タスクとハードウェアの組み合わせ方が変わった効果です。
クラスタには、2 種類の「台帳」があると考えます。
1 つ目はハードウェア台帳です。ラック内に何枚の GPU があるか、各カードに何 GB のメモリがあるか、GPU 同士はどのように接続されているか。
2 つ目は時間台帳です。特定の時刻に、特定のカードが実際にタスクに使用されているか。
Grace Blackwell は高価格ですが、スケジューリングが単純になるわけではありません。GPU、CPU、メモリ、ネットワーク、ラックのトポロジーがすべて制約になると、タスクが起動できるか、制約をすべて満たして実行できるかは、スケジューラが適切な粒度でリソースを割り当てられるかどうかに左右されます。
従来型のスケジューリングでは、ノード単位の割り当てが一般的です。8 枚のカードを必要とする学習ジョブは、8 枚すべてが空くまで待ちます。2 枚だけでよい推論ジョブでも、ノード単位しか出租できない場合、より長い待ち時間が発生します。
静的ビ Astrophysicsは整然として見えますが、実際には組み合わせられない大量の小断片Bornを残します。
このような断片は、異なる実験ジョブを並行して実行する場合に特に目立ちます。1 つのジョブに 4 枚、別のジョブに 6 枚必要だとします。それぞれは単独で起動できますが、ノード内に 3 枚と 5 枚しか残っていなければ、どちらのジョブも不足しますDespite には、全体として使われていない GPU が多数あります。
したがって、SkyPilot の 27% はクラスタスケジューリングの実験結果と捉えるのが適切です。スケジューリング改善による利用可能なリソース量の変化を示すもので、すべてのクラスタに一律で適用できる割引率ではありません。
モデル、ジョブの組み合わせ、テナント運用の方針が異なれば、結果も変わります。
旧来のスケジューラが機能しない理由
従来のスケジューラは、通常、「ノード」ではなく「リソース断片」を対象として設計されています。
代表的なパターンは 3 つです。
- ノード単位の割り当て:ジョブの投入後、完全に空いたノードを待ちます。利用率には bin packing アルゴリズムの運任せに依存します。
- 静的 bin packing:固定の組み合わせで事前にリソースを分割します。長期的に安定したワークロードには向きますが、リクエストの変動には適しません。
- 粗粒度なプリエンプション:ノード全体またはジョブ全体を奪取してリソースを解放します。解放できる量は多い一方、再起動コストも大きくなります。
これらの方式は、単一テナントで、均質_surface を塔尔,长期稼働する学習ジョブにはまだ機能します。Grace Blackwell のラックでは、問題がより深刻になります。
理由は GPU が増えたことだけではありません。1 つのラック内の制約には、GPU 数、GPU トポロジ、メモリ容量、CPU、メモリ、ノード間ネットワーク帯域が同時に含まれる可能性があります。
ジョブに必要なリソースの組み合わせも、「カードがあるか」だけでは足りません。「必要なカードが、適切なトポロジと速度で同時に使えるか」が問題になります。
その結果、HW 上のピーク性能は高い一方で、実効スループットは伸びないという逆直觉的な状況が生じます。
GPU は待機し、ジョブも待機します。しかしスケジューラにできることegravingは「もう少し待ってください」と伝えることだけです。
这也是「より高速なカードを買う」だけでは利用率問題が解決しない理由です。新しいハードウェアはリソースプールを広げますが、リソースの割り当て方式は変えていません。
SkyPilot のスケジューリング思路
SkyPilot の出発点は、スケジューリング対象を固定ノードから、ジョブのニーズに沿ったリソースの組み合わせへ移すことです。
元の記事では、NVIDIA Grace Blackwell GPU のラック単位での展開と、heterogeneous ワークロード管理が議論されています。 핵심(target) は、すべてのジョブに同じ構成を使わせることではなく、ジョブの要件、GPU 数、リソース制約に応じて適切な実行位置を割り当てすることです。
SkyPilot のようなクラウド抽象化レイヤーでは、ジョブはまず自身に必要な条件を記述します。必要な GPU 数、メモリ量、特定のインスタンスやアクセラレータタイプが要求されるかどうかなどです。
システムは条件を満たす利用可能なリソースを探し、その上で配置先を決めます。
これにより 2 つの変化が生まれます。
1 つ目は、リソースマッチングが「ノード単位」から「GPU とリソース制約の単位」へ細分化されることです。小規模なジョブは大きなノード全体を待つ必要がなく、スケジューラはより小さい利用可能な組み合わせを探せます。
2 つ目は、異なる種類のジョブを同じリソースプールに配置できることです。学習、推論、オンボーディングサービス、実験ジョブが、それぞれ分離されたクラスタを維持する必要はなくなります。スケジューラは、異なるジョブのライフサイクル、プリエンプション境界、優先度を扱う必要があります。
ただし、27% をそのままデプロイ効果として提示することはできません。再現 experiment 至少有 3 つの条件を確認する必要があります。
- 「利用可能 GPU」の定義は何か。アイドル状態、割り当て済み、またはジョブの実行に有効なリソースのいずれを意味するか。
- control 群と experimental 群で、同じラック、同じジョブ集合、同じ稼働時間_cond を使ったか。
- ジョブの queueing 時間、GPU の実際の実行時間、移行や再起動のコストを統計に含めているか。
GPU utilization のグラフだけを見ると、待機を見落としたりがちです。
ノードの GPU utilization が 100% でも、すべてのリクエストが低レイテンシで処理されたことを意味しません。逆に、短命なジョブが素早く終了すれば、GPU utilization は過小評価されることもあります。
AI インフラのボトルネックをケースから読む
単-card のピーク性能からラック単位のスループットへ視点を移すと、AI インフラのボトルネックは別の姿を示します。
学習ジョブは通常、数時間から数日にわたり、リソース形状は安定しています。推論ジョブのライフサイクルは短く、メモリとレイテンシの制約はより厳しいです。オンラインサービスは容量保証が必要で、実験ジョブは数分で終わる一方、特定の GPU 型号が要求されることもあります。
これらを同じラックで運用した場合、最にもった浪费される ressources は、特定の大きな固定ブロックではなく、サイズが異なる「残り断片」です。
実務で検証できる 5 つの engineering 判断が perlahanあります。
- まず GPU が空闲している理由を統計する。 utilization だけを記録せず、リソース待ち、キュー待機、データ準備、プロセス起動、通信ブロックを区別します。
- ジョブの粒度を観察する。 大量の小ジョブと大ジョブを混在させる場合、ノード単位の割り当てによる待機コストは増幅されがちです。
- 実効スループットを主要指標にする。 単-card の FLOPS ではなく、ジョブ完了までの時間、GPU-time の消費、完了ジョブ数の比較のほうがクラスタの価値に近くなります。
- トポロジ制約を確認する。 GPU 数が同じでも、NUMA 間、ノード間、ラック間の通信コストはまったく異なる可能性があります。
- 失敗とプリエンプションのコストも計上する。 スケジューラがより多くのリソースを解放しても、ジョブを頻繁に移行するなら、检查_point からの復旧で利得が相殺されます。
もう 1 つの典型的な誤解は、GPU utilization をそのまま業務利用率とみなすことです。
utilization が 100% であることは、デバイスが計算中であることを示すだけで、その計算が価値のあるリクエストに使われていることを意味しません。リソース断片、待機、短命なジョブの起動オーバーヘッドにより、この指標は良く見えても、業務スループットは同じように伸びていません。
したがって、27% はスケジューリング設計に関する実験的なシグナルとして捉えるのが適切です。同じマシンには、想定以上の利用可能キャパシティが潜んでいる可能性があります。
ただし、「Grace Blackwell を購入するとコストが自動的に 27% 下がる」という結論には使えません。
この手法が向いている環境
環境の種類によって優先順位は異なります。
マルチテナント クラスタ
マルチテナント クラスタの中心となるのは、分離と公平性です。細粒度な分割は有用ですが、1 つのテナントが大量の短命なジョブでリソースを占有してはいけません。
重点的に確認すべきなのは、テナント単位の GPU-time、プリエンプション回数、ジョブ待機時間、リソース断片率です。スケジューリング戦略は、単一ジョブの上限とテナント同時実行数の上限を両方設ける必要があります。
社内共有クラスタ
社内チームでは、通常、全体のスループットを重要視します。学習、評価、推論の各ジョブは異なるプロジェクトから発生し、リソース形状の差も明確です。
ここでは priority queue、プリエンプション、backfill の導入が適しています。ただし、プリエンプションされたジョブの復旧コストを記録する必要があります。
すでに大量の学習ステップを進めたジョブでは、いったん停止して再起動するほうが、待機し続けるより高くつく可能性があります。
単一チーム
単一チームでも、ワークロードが単一とは限りません。チーム内にも、長時間の学習と一時的な評価という 2 種類のジョブが混在する場合があります。
リソース種別が限られるなら、ノード単位の割り当てで十分山路をできます。GPU 型号とトポロジが増えていくなら、GPU 数とリソース制約に応じてマッチングするスケジューリングを導入する価値があります。
再現実験では、完了ジョブ数、総 GPU-time、平均待機時間、P95 待機時間を同時に記録してください。
どの環境でも、まず小規模な control experiment を行う안을 권합니다。
ジョブ一覧とリソースプールを固定し、スケジューリング戦略だけを差し替え、同じ指標で比較します。先にハードウェアやモデルを変更してはいけません。そうしないと、効果の源头がスケジューリングにあるのか、別の変数にあるのか切り分けられません。
編集者の考察
27% の意味は、「もっと多くの GPU を使った」ことだけではありません。インフラ担当チームに対し、拡張計画の計算根拠を見直す必要を示しています。従来の拡張では、まず「性能のボトルネックに 더 빠른 チップが必要か」と考えていました。ジョブが待機し、断片が組み合わせられないままなら、より高速な単-card でもスケジューリングの損失に飲まれてしまいます。
今回のポイントは、SkyPilot が Grace Blackwell のラックと異種ワークロードに絞って議論を組み立てたことです。より美しいモデル benchmark を示すだけでなく、リソース利用率をシステム全体の問題に据えました。
次のクラスタ最適化は、「GPU タイプごとにプールを分ける」から「ジョブのリソース形状ごとにプールを分ける」方向へ移ると考えます。スケジューラが理解すべきものは GPU 数だけでなく、メモリ、トポロジ、ジョブの所要時間です。
ただし、27% を普遍的な利得とはみなしません。特定の記事と特定の control 方法から得られた値であり、長時間の学習が強いトポロジに binding される環境や、分離要件が厳しい環境では、効果がはるかに小さくなる可能性があります。プリエンプションによって復旧コストが逆に増えることもあります。
次に確認すべきは、待機時間、ジョブスループット、復旧コストが同時に改善したかどうかです。これらの指標が 함께改善して初めて、27% は拡張計画の根拠にできます。
出典
https://skypilot.ai/blog/grace-blackwell-needs-a-new-scheduler