実践

分散コンピューティングが大規模クラスタに勝てるのか?Prime Intellect が NanoGPT で実証実験

Prime Intellect が NanoGPT Speedrun の結果を公開し Hacker News で話題に。8 枚の H100 を複数リージョンに分散させて叩き出した 3 分 33 秒という記録は、「分散は単一クラスタに匹敵するのか」という議論に新たな火種を投じた。

文字サイズ

127 ポイント、コメント 31 件。技術ブログが Hacker News のフロントに居座るには、テーマが刺さるか、数字が異次元かのどちらかだ。Prime Intellect が公開した NanoGPT Speedrun の記事は両方を満たしていた。「分散トレーニングは単一の巨大クラスタに勝てるのか」――この論争は去年の INTELLECT-2 以来続いており、今回は小さなスケールで実弾テストを行った形だ。

NanoGPT Speedrun とは何か

Andrej Karpathy が 2022 年に公開した NanoGPT は、LLM 界隈で最も過小評価されている教材のひとつだ。PyTorch 300 行、空の checkpoint から始めて GPT-2 相当のテキスト生成モデルを訓練する。コミュニティはこれを「訓練速度のレース」に使い始めて 3 年以上経つ。固定の目標関数、固定のトークン数、誰が wall-clock time を最短に詰められるか、というシンプルな競技だ。

ルールは硬派そのもの:

  • データセット(FineWeb)、ステップ数、val loss の閾値がすべて固定
  • 唯一の変化要因はコードとハードウェア構成
  • 動けば誰でも記録を提出できる

価値は「良いモデルを訓練できること」ではない。NanoGPT は小さすぎる。GPT-2 124M の val loss を 3.28 まで持っていくと、すぐに収穫逓減が起きる。本当の意味は、「最適化能力」を「計算資源の規模」から切り離せることにある。GPU を買い足すでは解決できず、コードを書き、構成を工夫し、kernel を改良するしかない。これまでの記録保持者(Kevin/Franke、@Grad62304977 など)が手を入れてきたのは attention の実装、activation checkpointing の戦略、パラメータ初期化の手法などだ。

直近の記録は 3 分 28 秒――Keller Jordan が unsloth チームと組んで出した数字だ。@_c_b_std_ が Modal で出した記録も近い水準だった。つまりこのランキングは、単一クラスタによるエンジニアリング最適化の天井を示している。

Prime Intellect の今回の結果

Prime Intellect は 3 分 33 秒。記録にあと一歩のところまで迫った。

ブログから読み取れる主な数字は:

  • 8x H100(8 ノードではなく、地理的に分散した 8 枚のカード)
  • 総コスト約 $560
  • GPT-2 の訓練パイプライン全体を 3:33 で完走
  • val loss は NanoGPT Speedrun の基準閾値をクリア

比較してみよう。CoreWeave の記録はかなり大きなクラスタを使っており(正確な数字はコミュニティに完全には公開されていないが、密度からして 8 枚を大きく超える)。Prime Intellect は計算資源の総量で 1/10 から 1/20を使い、記録に 5 秒差まで詰めた。

この差額はいくらに相当するか。クラウド GPU の相場で 8x H100 を 3 分半回せば $500〜700 程度。Prime Intellect は $560 と、使った金額そのものまで公開している。

技術の中核は PRIME-RL と SYNTHETIC-1 由来のコプロセッシング・アーキテクチャにある。8 枚の H100 間の通信は自社開発の bandwidth-aware scheduler を介し、すべてのカードを同一のネットワーク fabric に押し込めるのではなく、異なるデータセンターに置かれたカードを協調させる。これは INTELLECT-2(分散 RL 訓練)と基盤コードを共有している。

INTELLECT-2 以後の展開

INTELLECT-2 は Prime Intellect が去年の下半期に発表したプロジェクトで、世界中に散らばる個人 GPU を一時的に大きな訓練タスクに"貸してもらい"、貢献した計算量に応じて報酬を分配する。RL 路線(DeepSeek-R1 の流れを踏襲)で、32B の INTELLECT-2 モデルを出力した。

今回の NanoGPT は、同じ分散インフラを pretraining に持ち込んだ検証だ。再利用されている層は 3 つある:

  1. 非同期の重み同期――ローカルカードは全員が終わるのを待つ必要がない
  2. 帯域幅 aware なタスク割り当て――ネットワークが遅いカードにはローカル計算を多めに配る
  3. フォールトトレラントなスケジューリング――カードが 1 枚落ちても訓練全体が deadlock しない

RL のスタックを pretraining に持ってくるのは単純なコピペではいかない。最適化目標が違うからだ(RL は rollout スループット重視、pretraining は勾配同期重視)。それでも動いたということは、基盤の抽象化がうまくできているということだ。

HN のコメント欄で何が議論されているか

コメント 31 件は大まかに 3 派に分かれた。

第一派:「これは本当の分散ではない」

最も多い反論だ。@tlsigator らが指摘するのは、8x H100 を 8 つのクラウドリージョンから調達して調整するのは、"世界中の自宅 GPU を寄せ集める"のとは別物だということ。前者は実質的に大企業のプライベートインフラを複数拠点に展開しているだけで、後者こそが INTELLECT-2 が当初打ち出していた卖点だった。

第二派:「3 分 33 秒は記録更新ではない」

より技術寄りの批判だ。@adamjstevenson らの見立てでは、ランキングは勝って初めて貢献とみなされる。5 秒差は"惜しい"だけで、実質的な前進ではない。CoreWeave / Modal の最適化蓄積が圧倒的で、分散によるオーバーヘッドを潰さない限り、この差は永遠に縮まらない。

第三派:「コストこそが論点」

@metasim らは計算する。同じ $560 を CoreWeave で使えば、wall-clock はおそらくクラスタサイズで 1 分以内に圧縮される。つまり1 台あたりのレイテンシでは負けるが、1 ドルあたりのアウトプットでは勝つ。このトレードオフは小チームや学術界には意味があるが、トップラボには響かない。

もうひとつ、HN では見かけなかったが興味深い論点がある:再現性だ。NanoGPT Speedrun のランキングはこれまで、訓練スクリプトのオープン化と正確な環境記述を求めてきた。Prime Intellect のブログにはコードリポジトリが示されているが、公開コードから 3:33 を完全に再現するにはまだいくつかのパラメータが足りない(具体的には optimizer の warmup schedule と gradient clipping の閾値)。これらが原作者から補足されない限り、記録の信頼性は割り引いて見る必要がある。

編集部の見解

この件で本当に注目すべきは 3 分 33 秒という数字そのものよりも、それが明らかにした分散訓練の境界条件だ。

この 1 年、分散訓練の語り口は常に「散らばった計算資源を組織して超大クラスタと渡り合える」だった。INTELLECT-2 が RL で実証したのは、rollout が自然に並列化され、同期精度への要求がそこまで厳しくないからだ。今回の NanoGPT が示したのは、同期精度がシビアなタスク(pretraining、特に大きなバッチサイズでの最適化)では、分散ネットワークのオーバーヘッドがハードリミットになるということだ。3:33 vs 3:28 の 5 秒差は、ほぼ確実にノード間ネットワークのラウンドトリップ遅延で、アルゴリズムの問題ではない。

今後 6 か月で 2 種類のフォロワーが現れると予想する:

  1. Prime Intellect 型の「準分散」――中核の同期は良質のネットワーク内に残し、少数の異種ノードだけを参加させて、性能と分散性の妥協点を探る。
  2. 「純粋な pretraining を完全分散化して単一クラスタに勝つのは不可能」を証明し、「分散データラベリング + 中央集権的訓練」のようなハイブリッド構成に舵を切るプレイヤー。

不確実な点:

  • Prime Intellect は完全な環境詳細を公開しておらず、再現のハードルはランキングの歴史的水準より高い。今回の結果は厳密には記録更新ではなく「能力の提示」にとどまる。
  • INTELLECT-2 の実際の経済性も外部監査を経ていない――貢献者への報酬配分、機器の減耗償却、利益か損失かの公開データがない。
  • 8x H100 の「分散」という語り口自体にも水増し感がある。AWS の 8 つのリージョンからカードをレンタルするのと、家庭の RTX 4090 を提供してもらうのは、似て非なるものだ。

コミュニティの反応は「分散が勝った」とはならないだろう。だが、「分散が勝てる領域、勝てない領域」が定量化できるようになった。その点こそが、記録そのものより価値がある。

出典: Prime Intellect NanoGPT Speedrun

出典: https://www.primeintellect.ai/research/nanogpt-speedrun