127 ポイント、コメント 31 件。技術ブログが Hacker News のフロントに居座るには、テーマが刺さるか、数字が異次元かのどちらかだ。Prime Intellect が公開した NanoGPT Speedrun の記事は両方を満たしていた。「分散トレーニングは単一の巨大クラスタに勝てるのか」――この論争は去年の INTELLECT-2 以来続いており、今回は小さなスケールで実弾テストを行った形だ。
NanoGPT Speedrun とは何か
Andrej Karpathy が 2022 年に公開した NanoGPT は、LLM 界隈で最も過小評価されている教材のひとつだ。PyTorch 300 行、空の checkpoint から始めて GPT-2 相当のテキスト生成モデルを訓練する。コミュニティはこれを「訓練速度のレース」に使い始めて 3 年以上経つ。固定の目標関数、固定のトークン数、誰が wall-clock time を最短に詰められるか、というシンプルな競技だ。
ルールは硬派そのもの:
- データセット(FineWeb)、ステップ数、val loss の閾値がすべて固定
- 唯一の変化要因はコードとハードウェア構成
- 動けば誰でも記録を提出できる
価値は「良いモデルを訓練できること」ではない。NanoGPT は小さすぎる。GPT-2 124M の val loss を 3.28 まで持っていくと、すぐに収穫逓減が起きる。本当の意味は、「最適化能力」を「計算資源の規模」から切り離せることにある。GPU を買い足すでは解決できず、コードを書き、構成を工夫し、kernel を改良するしかない。これまでの記録保持者(Kevin/Franke、@Grad62304977 など)が手を入れてきたのは attention の実装、activation checkpointing の戦略、パラメータ初期化の手法などだ。
直近の記録は 3 分 28 秒――Keller Jordan が unsloth チームと組んで出した数字だ。@_c_b_std_ が Modal で出した記録も近い水準だった。つまりこのランキングは、単一クラスタによるエンジニアリング最適化の天井を示している。
Prime Intellect の今回の結果
Prime Intellect は 3 分 33 秒。記録にあと一歩のところまで迫った。
ブログから読み取れる主な数字は:
- 8x H100(8 ノードではなく、地理的に分散した 8 枚のカード)
- 総コスト約 $560
- GPT-2 の訓練パイプライン全体を 3:33 で完走
- val loss は NanoGPT Speedrun の基準閾値をクリア
比較してみよう。CoreWeave の記録はかなり大きなクラスタを使っており(正確な数字はコミュニティに完全には公開されていないが、密度からして 8 枚を大きく超える)。Prime Intellect は計算資源の総量で 1/10 から 1/20を使い、記録に 5 秒差まで詰めた。
この差額はいくらに相当するか。クラウド GPU の相場で 8x H100 を 3 分半回せば $500〜700 程度。Prime Intellect は $560 と、使った金額そのものまで公開している。
技術の中核は PRIME-RL と SYNTHETIC-1 由来のコプロセッシング・アーキテクチャにある。8 枚の H100 間の通信は自社開発の bandwidth-aware scheduler を介し、すべてのカードを同一のネットワーク fabric に押し込めるのではなく、異なるデータセンターに置かれたカードを協調させる。これは INTELLECT-2(分散 RL 訓練)と基盤コードを共有している。
INTELLECT-2 以後の展開
INTELLECT-2 は Prime Intellect が去年の下半期に発表したプロジェクトで、世界中に散らばる個人 GPU を一時的に大きな訓練タスクに"貸してもらい"、貢献した計算量に応じて報酬を分配する。RL 路線(DeepSeek-R1 の流れを踏襲)で、32B の INTELLECT-2 モデルを出力した。
今回の NanoGPT は、同じ分散インフラを pretraining に持ち込んだ検証だ。再利用されている層は 3 つある:
- 非同期の重み同期――ローカルカードは全員が終わるのを待つ必要がない
- 帯域幅 aware なタスク割り当て――ネットワークが遅いカードにはローカル計算を多めに配る
- フォールトトレラントなスケジューリング――カードが 1 枚落ちても訓練全体が deadlock しない
RL のスタックを pretraining に持ってくるのは単純なコピペではいかない。最適化目標が違うからだ(RL は rollout スループット重視、pretraining は勾配同期重視)。それでも動いたということは、基盤の抽象化がうまくできているということだ。
HN のコメント欄で何が議論されているか
コメント 31 件は大まかに 3 派に分かれた。
第一派:「これは本当の分散ではない」
最も多い反論だ。@tlsigator らが指摘するのは、8x H100 を 8 つのクラウドリージョンから調達して調整するのは、"世界中の自宅 GPU を寄せ集める"のとは別物だということ。前者は実質的に大企業のプライベートインフラを複数拠点に展開しているだけで、後者こそが INTELLECT-2 が当初打ち出していた卖点だった。
第二派:「3 分 33 秒は記録更新ではない」
より技術寄りの批判だ。@adamjstevenson らの見立てでは、ランキングは勝って初めて貢献とみなされる。5 秒差は"惜しい"だけで、実質的な前進ではない。CoreWeave / Modal の最適化蓄積が圧倒的で、分散によるオーバーヘッドを潰さない限り、この差は永遠に縮まらない。
第三派:「コストこそが論点」
@metasim らは計算する。同じ $560 を CoreWeave で使えば、wall-clock はおそらくクラスタサイズで 1 分以内に圧縮される。つまり1 台あたりのレイテンシでは負けるが、1 ドルあたりのアウトプットでは勝つ。このトレードオフは小チームや学術界には意味があるが、トップラボには響かない。
もうひとつ、HN では見かけなかったが興味深い論点がある:再現性だ。NanoGPT Speedrun のランキングはこれまで、訓練スクリプトのオープン化と正確な環境記述を求めてきた。Prime Intellect のブログにはコードリポジトリが示されているが、公開コードから 3:33 を完全に再現するにはまだいくつかのパラメータが足りない(具体的には optimizer の warmup schedule と gradient clipping の閾値)。これらが原作者から補足されない限り、記録の信頼性は割り引いて見る必要がある。
編集部の見解
この件で本当に注目すべきは 3 分 33 秒という数字そのものよりも、それが明らかにした分散訓練の境界条件だ。
この 1 年、分散訓練の語り口は常に「散らばった計算資源を組織して超大クラスタと渡り合える」だった。INTELLECT-2 が RL で実証したのは、rollout が自然に並列化され、同期精度への要求がそこまで厳しくないからだ。今回の NanoGPT が示したのは、同期精度がシビアなタスク(pretraining、特に大きなバッチサイズでの最適化)では、分散ネットワークのオーバーヘッドがハードリミットになるということだ。3:33 vs 3:28 の 5 秒差は、ほぼ確実にノード間ネットワークのラウンドトリップ遅延で、アルゴリズムの問題ではない。
今後 6 か月で 2 種類のフォロワーが現れると予想する:
- Prime Intellect 型の「準分散」――中核の同期は良質のネットワーク内に残し、少数の異種ノードだけを参加させて、性能と分散性の妥協点を探る。
- 「純粋な pretraining を完全分散化して単一クラスタに勝つのは不可能」を証明し、「分散データラベリング + 中央集権的訓練」のようなハイブリッド構成に舵を切るプレイヤー。
不確実な点:
- Prime Intellect は完全な環境詳細を公開しておらず、再現のハードルはランキングの歴史的水準より高い。今回の結果は厳密には記録更新ではなく「能力の提示」にとどまる。
- INTELLECT-2 の実際の経済性も外部監査を経ていない――貢献者への報酬配分、機器の減耗償却、利益か損失かの公開データがない。
- 8x H100 の「分散」という語り口自体にも水増し感がある。AWS の 8 つのリージョンからカードをレンタルするのと、家庭の RTX 4090 を提供してもらうのは、似て非なるものだ。
コミュニティの反応は「分散が勝った」とはならないだろう。だが、「分散が勝てる領域、勝てない領域」が定量化できるようになった。その点こそが、記録そのものより価値がある。