SkyPilot 調整排程策略後,同一批 Grace Blackwell 機架的可用 GPU 資源增加 27%。對負責算力採購與叢集營運的團隊而言,這項數字比單卡跑分更值得關注。
Grace Blackwell 的瓶頸可能不在 GPU,而在排程。
SkyPilot 在文章 Grace Blackwell needs a new scheduler 中指出,NVIDIA Grace Blackwell 叢集需要新的排程方式。
文中提出的數字是:對同一批機架調整排程策略後,可用 GPU 資源提升 27%。
這不是單卡跑分增加 27%,也不是模型訓練速度提高 27%,而是叢集級資源利用率有所提升。
同一套硬體原本有一部分時間無法有效支援任務;排程方式改進後,這些資源得以重新投入使用。
相關消息登上 Hacker News 首頁時,獲得 101 分與 15 則留言。討論連結為 HN item 50290912。
27% 究竟從哪裡來
先釐清最容易誤讀之處。
27% 來自同一批 Grace Blackwell 機架。調整排程策略後,可用 GPU 資源增加。這不是晶片規格改變,也不是 CUDA kernel 最佳化,而是任務與硬體匹配方式改變所帶來的結果。
可以把叢集想成兩本帳。
第一本是硬體帳:機架內有多少張 GPU、每張卡有多少記憶體,以及 GPU 之間如何連接。
第二本是時間帳:某張卡在某個時間點是否確實被任務占用。
Grace Blackwell 成本更高,不代表排程反而更簡單。當 GPU、CPU、記憶體、網路與機架拓撲全都成為限制條件,任務能否啟動、能否充分利用資源,便取決於排程器能否將資源切分到合適的粒度。
傳統排程常見的做法是按整個節點分配。訓練任務需要 8 張卡,就必須等到 8 張卡全部閒置;推理任務只需要 2 張卡,卻可能因節點以整機形式出租而等待更久。
靜態装箱看似整齊,實際上會留下大量無法組合的零碎資源。
實驗任務混合執行時,這類碎片尤其明顯。一個任務需要 4 張卡,另一個需要 6 張卡。兩個任務各自都能啟動,但節點內可能分別只剩 3 張與 5 張可用。單一任務的資源都不足,整體卻仍有不少閒置 GPU。
因此,SkyPilot 的 27% 更適合視為一項叢集排程實驗結果,呈現排程改造前後可用資源的變化,而不是適用於所有叢集的固定折扣。
不同模型、任務組合與租戶策略,都會改變結果。
舊排程器為何失靈
傳統排程器通常以「節點」為工作單位,而非以「資源片段」為工作單位。
常見模式有三種。
- 整節點分配:任務提交後等待完整節點,資源利用率取決於装箱演算法能否碰巧妥善配置。
- 靜態装箱:依固定組合預先劃分資源,適合長期穩定的工作負載,卻不適合需求多變的任務。
- 粗粒度抢占:抢占整個節點或完整任務,雖然能釋放較多資源,重新啟動的成本也較高。
這些方式在單一租戶、同質且長期運作的訓練任務上仍能奏效。到了 Grace Blackwell 機架,問題便顯得更加尖銳。
原因不只是 GPU 數量增加。單一機架內的資源限制,可能同時包含 GPU 數量、GPU 拓撲、記憶體容量、CPU、系統記憶體與節點間網路頻寬。
任務所需的資源組合也不再只是「有沒有卡」,而是「這些卡是否能以合適的拓撲與速度共同運作」。
於是會出現一個反直覺現象:叢集的硬體峰值效能很高,有效吞吐量卻不一定高。
GPU 在等待,任務也在等待,排程器卻只能告訴兩者「再等一下」。
這也是為何「買更快的卡」無法自動解決利用率問題。新硬體擴大了資源池,卻沒有改變資源分配方式。
SkyPilot 的排程思維
SkyPilot 的核心方向,是將排程對象從固定節點改為更貼合任務需求的資源組合。
原文討論 NVIDIA Grace Blackwell GPU 的機架級部署,以及異質工作負載管理。關鍵不是讓所有任務使用同一種配置,而是依任務需求、GPU 數量與資源限制,安排合適的執行位置。
在 SkyPilot 這類雲端抽象層中,任務通常會先描述自身需求:需要幾張 GPU、多少記憶體,以及是否指定特定實例或加速器類型。
系統找出符合限制的可用資源,再決定任務放置位置。
這帶來兩項變化。
第一,資源匹配從「節點層級」下沉至「GPU 與資源限制層級」。小型任務不必等待完整的大型節點,排程器可以尋找規模更小的可用組合。
第二,異質任務能夠放進同一個資源池。訓練、推理、線上服務與實驗任務不必各自維護互相隔離的叢集,排程器則必須處理不同任務的生命週期、抢占邊界與優先順序。
不過,27% 不能直接視為部署效益的保證。進行重現測試時,必須確認三件事:
- 「可用 GPU」的具體定義為何?是指處於閒置狀態、已分配,還是能夠有效支援任務完成的資源?
- 對照組與實驗組是否使用完全相同的機架、任務集合與執行時間?
- 統計是否納入任務排隊時間、GPU 實際執行時間,以及遷移或重新啟動的成本?
只看 GPU 利用率曲線,很容易忽略排隊時間。
某個節點顯示 100% GPU busy,不代表所有請求都獲得低延遲服務;反過來,短任務迅速完成後,GPU 利用率也可能遭到低估。
從案例看 AI 基礎設施瓶頸
當視角從單卡峰值拉高至機架級吞吐量,AI 基礎設施的瓶頸也會換上不同面貌。
訓練任務通常持續數小時甚至數天,資源需求相對穩定。推理任務生命週期較短,對記憶體與延遲的限制更嚴格。線上服務必須保證容量,實驗任務則可能幾分鐘就結束,同時要求特定 GPU 型號。
這些任務混用同一批機架時,最容易被浪費的往往不是某塊固定的大型資源,而是各種規模的「剩餘片段」。
以下五點可作為可驗證的工程判斷。
- 先統計 GPU 閒置的原因。不要只記錄 utilization,至少應區分等待資源、等待佇列、資料準備、程序啟動與通訊阻塞。
- 觀察任務粒度。大量小型任務與大型任務混合執行時,按節點分配所造成的等待成本通常會被放大。
- 將有效吞吐量視為核心指標。比較每次任務完成時間、GPU-time 消耗與實際完成任務數,比比較單卡 FLOPS 更能反映叢集價值。
- 檢查拓撲限制。即使 GPU 數量相同,跨越 NUMA、節點與機架的通訊成本也可能截然不同。
- 將失敗與抢占成本納入計算。排程器即使釋放更多資源,若任務頻繁遷移,收益也可能被 checkpoint 復原成本抵銷。
另一個常見誤解,是將 GPU 利用率直接等同於業務利用率。
100% utilization 只代表設備正在運算,不代表運算正在服務有價值的請求。資源碎片、排隊與小型任務的啟動成本,都可能讓這項指標看起來很漂亮,業務吞吐量卻未同步增加。
因此,27% 更適合作為排程設計的實驗訊號。同一批機器可能藏有比預期更多的可用容量。
但它不適合被直接寫成「買了 Grace Blackwell 就自動節省 27% 成本」的財務結論。
這套方法適合哪些環境
三類環境各有不同的優先考量。
多租戶叢集
多租戶叢集的核心是隔離與公平。細粒度切分固然有价值,但不能讓單一租戶藉由提交大量短任務占住資源。
需要重點觀察租戶級 GPU-time、抢占次數、任務等待時間與資源碎片率。排程策略應同時限制單一任務上限與租戶並行上限。
內部共享叢集
內部團隊通常更重視總吞吐量。訓練、評測與推理任務往往來自不同專案,任務形狀差異明顯。
這類環境適合採用優先級佇列、抢占或 backfill,但必須記錄被搶占任務的復原成本。
對於已經完成大量 training steps 的任務,直接終止並重新啟動,可能比繼續排隊更昂貴。
單一團隊
單一團隊不代表工作負載也只有一種。團隊內部同樣可能同時存在長期訓練與臨時評測兩類任務。
若資源類型有限,整節點分配可能已經足夠簡單;若 GPU 型號與拓撲變多,就值得導入依 GPU 數量與資源限制匹配的排程方式。
重現實驗時,應同時記錄完成任務數、總 GPU-time、平均排隊時間與 P95 等待時間。
無論屬於哪類環境,都建議先進行小規模對照實驗。
固定任務清單與資源池,只替換排程策略,再使用同一套指標進行比較。不要先改動硬體,也不要先改動模型,否則便無法判斷效益究竟來自排程,還是其他變數。
編輯觀點
27% 的意義不只是「多用了幾張 GPU」,更重要的是提醒基礎設施團隊重新計算擴充帳目。過去進行擴充時,通常先問效能瓶頸是否需要更快的晶片;如果任務仍在等待、碎片仍無法組合,再快的單卡也可能被排程损耗吃掉。
這次不同的是,SkyPilot 將討論聚焦在 Grace Blackwell 機架與異質工作負載上。它沒有只展示更漂亮的模型 benchmark,而是把資源利用率放回系統層面考量。我的判斷是,下一輪叢集最佳化會從「依卡型分池」轉向「依任務資源形狀分池」。排程器需要理解的不只是 GPU 數量,還包括記憶體、拓撲與任務持續時間。
即便如此,也不應把 27% 視為普遍適用的增益。它來自特定文章與特定對照方法。面對長時間訓練、強調拓撲綁定或高度隔離需求的環境,效益可能小得多,抢占甚至會增加復原成本。下一步應驗證等待時間、任務吞吐量與復原成本是否同步改善。只有這些指標一起進步,27% 才能正式納入擴充帳目。