HN 上で《I trained a small transformer in 1.5hrs and it beats many LLMs》が333ポイント、89コメントを獲得した。作者の mvakde はGPUクラスタも数ヶ月分の予算も使わず、ARC-AGI 1に特化した小型transformerを1.5時間で訓練し、市販されている大半のLLMのスコアを上回った。
この出来事は分解して見る価値がある。
何が起こったのか
mvakde の実験対象はARC-AGI 1——抽象推論のベンチマークだ。氏のやり方は以下の通り。
- 小型transformerを自前で実装(パラメータ数は特に巨大ではない)
- 訓練データはARC-AGI 1付属の訓練セット+自己生成による拡張
- 訓練時間は1.5時間(民生GPUで十分)
- 評価はARC-AGI 1のプライベートテストセットで実施
結果として、ARC-AGI 1で主要なLLMの多数に勝利した。「多数」であって「全部」ではない点に注意されたい——GPT-4やClaudeのようなトップクラスのクローズドモデルが特定のサブタスクでは依然として優位だ。
出典:mvakde ブログ原文
ARC-AGI 1とは
ARC の正式名称は Abstraction and Reasoning Corpus で、François Chollet が2019年に提案した。Chollet はKerasの作者であり、「知能=プログラムの効率」という仮説の主要な提唱者でもある。
タスクはこうだ。3〜5個の入出力グリッドペアが与えられ、変換ルールを推測してテストグリッドに適用する。例えば:
- 入力は3x3グリッド、中央に赤い点
- 出力は5x5、赤い点の周囲に対称的なパターンが展開
- テストグリッドも3x3の赤い点、5x5の拡張を出力する
人間なら一目でわかるが、LLMは長らく苦戦してきた。理由は:
- 必要とされるのは言語の事前知識ではなく構成的汎化(compositional generalization)
- 解题の鍵は短く列挙可能なプログラムであり、統計的なパターンマッチングではない
- テスト時に出現するパターンは訓練時にはほぼ確実に未見
Chollet はかつて100万ドルをかけて賭けをした——純粋なスケーリングでARC-AGIを制する者は現れない、と。2024年末、o3 系モデルがかろうじて迫ったが、膨大な合成データと推論計算力を必要とした。
1.5時間という数字の意味
この数字をスケール感で捉えてみる。
- GPT-4クラス:推定数千万〜数億ドル、数ヶ月
- Llama 3 405B:約3000万ドル+万卡クラスタ、数週間
- DeepSeek V3:約500〜600万ドル、数週間
- mvakde の小型transformer:数ドルの電気代、1.5時間
単位差は6〜7桁にも及ぶ。
この事象を「小型モデルが大型モデルをやっつけた」と読むのは早計だ。より正確な記述はこうなる:高度に構造化された狭いタスクにおいては、専用設計のモデル+良いデータ+適切な帰納バイアスが、汎用大型モデルよりもはるかにコスト効率に優れる。
なぜ小型モデルが勝てたのか
鍵となる設計判断は3つある。
1. プログラム合成的な帰納バイアス
ARC の解は短い記号プログラム(DSL)で表現できる。mvakde のモデルはグリッドを直接出力するのではなく、「中心点を取得→反転→彩色」のような段階的処理を出力する。これはネットワーク構造の中に「これはプログラムである」という前提を一層埋め込んでいるのと同じだ。
LLM にはこのバイアスがない。タスクをトークン列に変換して次のマスを推測する必要があり、難易度は根本的に異なる。
2. データ拡張の重要なトリック
ARC の訓練セットは数百問しかなく、何かを訓練するには足りない。mvakde は幾何変換による拡張(回転、反転、色マッピング、形状再構成)を大規模に実施し、数十万問を合成した。ここに重要なポイントがある:拡張は盲目的に行うのではなく、解法の構造を保つ拡張になっている。图形を回転させれば、解法もそれに合わせて回転する——これはデータ内の対称性に他ならない。
3. 訓練シグナル
教師信号はピクセルレベル(最終グリッドが合っているか)ではなく、プログラムレベル(ステップが正しいか)だ。这种中间监督比端到端监督的样本效率高得多。
类似思路在AlphaCode、FunSearch这些工作里都出现过,但ARC的任务空间更小、更结构化,所以小模型就能cover。
この実験が意味すること
この事象は孤立したものではない。以下の事例と並べて見てほしい。
- AlphaProof / AlphaGeometry:DeepMind がニューラル+記号のハイブリッドシステムで数学オリンピック問題に取り組み、専用モデルが汎用LLMを上回った
- FunSearch:DeepMind が数学発見タスクで、小型モデル+評価器のループがGPT-4の直接出力より信頼できることを示した
- Cursor Tab モデル:コード補完専用に訓練された小型モデルが、当該タスクにおいて汎用モデルより優れた体験を提供する
トレンドは明確だ:「スケール万能」は構造化推論タスクにおいて一貫して成立せず、この事実はこれまで scaling law の成功によって覆い隠されていた。
より現実的な判断:
- 汎用LLMは依然として最も価値ある「スイスアーミーナイフ」であり、チャット、ドキュメント作成、Agentとして機能する
- しかし垂直的で、強く構造化され、列挙可能なタスクにおいては、専用に訓練した小型モデル+少量計算で十分な場合が多い
- 企業がAI製品を開発する際は、まずタスクが狭くて構造化されているかを見極めるべきだ——もしそうなら、まず小型モデル路線を検討する
編集部の考察
なぜmvakdeの実験をわざわざ記事にするのか?それは、繰り返し議論されてきたがクリーンなベンチマークで示されたことがなかった論点に、具体的な数字を提示したからだ:1.5時間、数ドルの電気代、LLMの多数を撃破。
これは「小型モデルがあるタスクでGPT-4に近づいた」という過去の報道とは質が違う。ああいうケースはベンチマークの選び方が巧妙だったり、タスク自体が曖昧だったりすることが多かった。今回はARC-AGI 1という公认难题——Chollet本人が設けた「汎用推論」の試金石——に対して、mvakdeは回り道をせず正面から挑み、スコアで語っている。
反常識的な見解を一つ:業界は「訓練コスト」の定義をずっと過小評価してきた。メディアは「XチームがYドルでZモデルを訓練」と報じるが、それはpretrainingコストにすぎない。本当にモデルの実用性を決めるのはライフサイクル全体のコスト——データクリーニング、反復実験、評価、アライメント、推論だ。推論コストまで含めれば、専用モデルの優位性はさらに大きくなる:小transformerの1回推論の電気代は、GPT-4 API呼び出し価格の1/1000程度かもしれない。
読者に一つ問いを投げかけたい:手元のAIタスクは「汎用LLM+強力なプロンプト」がコスパに優れるのか、それとも「専用小型モデルの訓練」がコスパに優れるのか?多くのチームはこの計算すら真剣に行ったことがない。
参考:mvakde ブログ原文