實戰

分散式 GPU 能不能贏超大叢集?Prime Intellect 的 NanoGPT 速度賽實測

Prime Intellect 拿 NanoGPT Speedrun 成績衝上 Hacker News 首頁,127 分熱度。核心問題是:散落在不同地理區域的 8 張 H100,能不能跟 CoreWeave、Modal 這類超大叢集同場較勁?

字級

分散式 GPU 能不能贏超大叢集?Prime Intellect 的 NanoGPT 速度賽實測

127 分、31 則留言。一篇技術文章在 Hacker News 首頁能停留到這個位置,要嘛是議題踩中社群神經,要嘛是數據本身夠硬。Prime Intellect 這篇 NanoGPT Speedrun 兩項都佔了:分散式訓練究竟能不能跑贏單一超大叢集——這個論戰從去年 INTELLECT-2 發表以來就沒停過,這次等於做了一次小規模的實彈測試。

NanoGPT Speedrun 是什麼

Andrej Karpathy 在 2022 年寫的 NanoGPT 是 LLM 圈子裡最被低估的玩具之一。300 行的 PyTorch,從空 checkpoint 開始訓練,最後能產出品質還可以的 GPT-2 規模模型。社群拿它當「訓練速度競速」已經玩超過三年——固定的目標函數、固定的 token 數量,看誰能把 wall-clock 時間壓到最短。

玩法非常硬派:

  • 固定資料集(FineWeb)、固定步數、固定的 val loss 門檻
  • 唯一變數是程式碼 + 硬體調度
  • 任何能跑得起來的人都能提交成績

它的價值不在「訓出好模型」。NanoGPT 規模太小,GPT-2 124M 的 val loss 推到 3.28 之後,邊際效益急劇遞減。它真正的意義是把「優化能力」從「算力規模」裡抽離出來——你沒辦法靠買更多 GPU 解決問題,只能改程式碼、改調度、改 kernel。這幾年保持紀錄的人(Kevin/Franke、@Grad62304977 等)改的不是模型本身,而是 attention 實作、activation checkpointing 策略、參數初始化方案。

最近的紀錄線被壓到 3 分 28 秒——這是 Keller Jordan 在 unsloth 團隊支援下跑出來的成績。@_c_b_std_ 之前在 Modal 上也曾創下接近的水準。換句話說,這個榜單是單一超大叢集工程優化的天花板。

Prime Intellect 的這次成績

Prime Intellect 的成績是 3 分 33 秒,距離紀錄線只差一步。

看他們的部落格,幾個關鍵數字:

  • 8x H100(不是 8 個節點,就是 8 張卡,分散在不同地理區域)
  • 總訓練成本約 $560
  • 端對端 3:33 跑完整個 GPT-2 訓練流程
  • val loss 達到 NanoGPT Speedrun 的標準門檻

對照一下:CoreWeave 那個紀錄用了相當大的叢集規模(具體數字社群沒有完整揭露,但密度上看明顯遠超 8 張卡)。Prime Intellect 用 1/10 到 1/20 的總算力,跑到了距離紀錄 5 秒以內的成績。

這個差距值多少錢?按照雲端 GPU 的市場行情,8x H100 跑 3 分半大約就是 $500-700 這個區間。Prime Intellect 把數字推到 $560,等於直接公開了帳單。

技術上的核心是他們的 PRIME-RL 與 SYNTHETIC-1 風格的協作架構——8 張 H100 之間的通訊走他們自研的 bandwidth-aware scheduler,目的不是把所有卡塞進同一個網路 fabric,而是讓分散在不同機房的卡能彼此協調。這跟 INTELLECT-2(分散式 RL 訓練)共享同一套底層程式碼。

INTELLECT-2 之後的延續

INTELLECT-2 是 Prime Intellect 去年下半年發的專案,目標是讓散佈在世界各地的人把自己家的 GPU 暫時「借」給一個大型模型訓練任務,按貢獻算力分發獎勵。它走的是 RL 路線(基於 DeepSeek-R1 那條思路),跑出了一個 32B 的模型 INTELLECT-2。

這次 NanoGPT 是同一套分散式基礎設施搬到基礎預訓練(pretraining)上的驗證。三個層面是復用的:

  1. 非同步權重同步——每張本地卡不需要等所有人都跑完才能 sync
  2. 頻寬感知的任務分配——網路條件差的卡分到更多本地計算作為補償
  3. 容錯調度——某張卡斷線不會讓整個訓練 deadlock

把這個技術棧從 RL 搬到 pretraining 不是直接的工程拷貝,因為兩邊的優化目標不同(RL 強調 rollout 吞吐量,pretraining 強調梯度同步)。能跑得起來,說明底層抽象做得相當乾淨。

HN 留言區在吵什麼

留言區 31 則大致分成三派:

第一派:「這不是真的去中心化」

最常見的質疑。@tlsigator 這類留言指出:8x H100 從 8 個 cloud region 拉來協調,跟「全球玩家拿家用 GPU 拼叢集」是兩種不同的東西。前者本質上還是大公司在多地部署的私有基礎設施,後者才是 INTELLECT-2 當初宣傳的賣點。

第二派:「3 分 33 秒沒破紀錄」

更技術導向的批評。@adamjstevenson 這類人的看法是:榜單上你得贏才算貢獻,差 5 秒只能說「逼近」,沒有實際超越。CoreWeave / Modal 的程式碼優化積累擺在那裡,去中心化的 overhead 不解決,永遠會差那麼一截。

第三派:「成本才是重點」

@metasim 這條線的人在算帳:如果同樣的 $560 拿到 CoreWeave 上跑,估計 wall-clock 會被叢集規模壓到 1 分鐘以內——也就是說單機時程上你輸了,但單美元產出上你贏了。這個 trade-off 對小團隊與學術界有意義,對頭部實驗室沒意義。

還有一個我在 HN 上沒看到、但很有意思的問題:可重現性。NanoGPT Speedrun 榜單歷來要求開源訓練腳本與精確的環境描述。Prime Intellect 的部落格裡有給程式碼儲存庫,但 HN 留言區有人指出,要從公開程式碼完整重現 3:33 還差幾個關鍵參數(具體來說是 optimizer 的 warmup schedule 和 gradient clipping 門檻)。這些細節如果原作者沒有補上,紀錄的有效性會打折扣。

編輯思考

這件事真正值得關注的不是 3 分 33 秒這五個數字,而是它暴露的分散式訓練的邊界條件。

過去一年,分散式訓練的敘事一直是「我們能把分散算力組織起來跟超大叢集對決」。INTELLECT-2 證明了這件事在 RL 上能跑——因為 rollout 天然平行,對同步沒那麼敏感。NanoGPT 這次告訴我們:一旦面對同步精度要求高的任務(pretraining,特別是需要大批量同步的優化),分散式帶來的網路 overhead 就是硬天花板。3:33 對 3:28,差 5 秒——這 5 秒大概率是節點間網路往返拖出來的,跟演算法無關。

我預測接下來 6 個月內會有兩類後續發展:

  1. 一類是 Prime Intellect 這種「半去中心化」——把核心同步留在好網路內部,只讓少量異質節點參與,做效能與去中心化的妥協。
  2. 另一類是有人會證明純 pretraining 完全去中心化不可能贏過單一叢集,轉頭去做「去中心化資料標註 + 中心化訓練」這類混合架構。

還不確定的部分:

  • Prime Intellect 沒有提供完整的環境細節,重現門檻高於榜單歷史標準。這次成績嚴格來說不算破紀錄,比較像是「能力展示」。
  • INTELLECT-2 的實際經濟效益也尚未被外部稽核過——去中心化給貢獻者分多少錢、設備損耗怎麼算、是淨利還是淨損,沒有公開資料。
  • 8x H100 的「去中心化」這個敘事本身就有灌水嫌疑。從 8 個不同的 AWS region 租卡,跟讓玩家在家裡貢獻 RTX 4090,是天差地遠的兩件事。

社群對這件事的反應不會是「喔,去中心化贏了」,但它會讓「去中心化能贏什麼、不能贏什麼」這個問題變得可量化。這點比紀錄本身更有價值。


來源:Prime Intellect NanoGPT Speedrun

來源: https://www.primeintellect.ai/research/nanogpt-speedrun