InnovationEval ベンチマーク:現在AIモデルが人間レベルのアルゴリズム問題を解けない理由
Epoch AIが最近公開した新ベンチマーク「InnovationEval」は、AIが「新しいアルゴリズムを考え出せるか」——つまり既存の定石をなぞるのではなく未知の解法を発見できるかを測るものだ。結果は手厳しい。フロンティアモデルはこのベンチマークで軒並み苦戦し、人間のベースラインすら超えられなかった。
Hacker Newsの元のスレッドは46ポイント・コメント31件でフロントページに並んだ。議論では「モデルに問題を渡すと、即座に全探索を始めて局所最適に固執し、視点を切り替える能力がない」との指摘が相次いだ。
この現象は分解して見てみる価値がある。
InnovationEvalが実際に測っているもの
通常のコード系ベンチマーク(HumanEval、LiveCodeBench、MBPPなど)は「正しく書けるか」を問う。LeetCode風の課題が与えられ、テストケースを通せば勝ちという形式だ。モデルはこの手の問題で96%や97%といった高スコアを連発する。
ただしこれらの問題には前提がある。アルゴリズムの着想はすでに確立済みで、モデルに求められるのは頭の中の定石をコードに翻訳することだけだ。
InnovationEvalはこの枠組みを採用しない。測定対象は「アルゴリズムの革新性」——ゼロから新規性のある計算戦略を思いつけるかどうかだ。具体的な課題形式は以下のとおり。
- 問題文(toy例が付属する場合あり)が与えられる
- 大量の入力データが与えられる(テストサンプルが1000件以上になることもある)
- 各入力に対して正解を返すブラックボックス関数を提出する
- 関数は過去のサンプルを参照できるが、正解例は与えられない
- 本質的な問題文は隠されている:何が問われているかの明示的な記述はなく、データから逆算するしかない
この設定が重要だ。モデルは「何の問題なのか」を自力で悟らなければならない——コンテストで言うところのインタラクティブ問題に近い。解答を提出すれば正誤のフィードバックは得られるが、正解例や解法のヒントは一切もらえない。
具体例を2つ挙げる。
例1(Epoch公開の問題):「Counting Rearrangements」という課題だ。操作列が大量に与えられ、特定のパターンにおける並び替えの総数を予測させる。人間の参加者は3時間で370件以上のサンプルを処理し、O(n log n)の解法に到達。トップの人間は大規模テストで100%を達成した。
例2:ある種のパッキング問題——荷物を容器に詰め、何らかのコストを最小化する。人間は貪欲法とヒューリスティック探索を思いつくが、モデルは全通りの組み合わせを列挙しようとする傾向がある。
Epoch AIは競技プログラミングのコミュニティから参加者を募った。一般ユーザーではなく、ICPC出場者や研究員、コンテスト専門の競技者たちだ。彼らのベースラインが、モデルが超えるべきラインになる。
スコア結果:どのモデルが沈んだか
Epoch AIは複数のフロンティアモデルをテストした。2025年のレポートに記載されている具体的な数値はおおよそ以下のとおり。
- 人間のエキスパート:60%(トップ競技者の大規模データセット平均)
- GPTシリーズ(GPT-4、GPT-4oなど):通過率2〜8%(難易度別4問)
- Claudeシリーズ:GPTをやや上回るが15%以下
- Geminiシリーズ:同程度の水準
つまり、現在最強のLLMでも人間の半分にも届かない。
HNのコメント欄では、モデルが「全探索」モードに陷る現象が指摘されている。明確な問題文がない以上、モデルはデータから目的を逆引きするしかなく、結果として「あり得る組み合わせを片端から試す」戦略を取る。このやり方は簡単なtoy例ではごまかせるが、実規模(数千サンプル)に拡大すると壊滅する。
もうひとつのパターンとして、モデルが「局所最適」にハマる点も指摘されている。とりあえず動く解法を見つけたところで探索を打ち切り、それ以上先に進まない。これを受けて次のような問いが浮上する——LLMはこの能力を構造的に欠いているのか、それとも単なる工学的問題なのか。
LLMがこの種の問題で弱い理由:3つの工学的視点
1. 訓練データに「アルゴリズムの革新」事例がほとんどない
事前学習コーパスはインターネット由来だ。LeetCodeの解説、論文、Stack Overflowの回答は潤沢にある。だが「人間が新しいアルゴリズムを発明する過程」——ホワイトボードの前で3時間、苦悩の末に閃く記録——は、ほとんど公開されていない。
仮に過程のログが存在しても、結果重視の記述(「我々はXXアルゴリズムを発明した」)が中心で、失敗・分岐・巻き戻しといった本来の革新の軌跡は含まれない。モデルが学ぶのは「完成形」のアルゴリズムだけで、「誕生のプロセス」は見ていないことになる。
2. 推論時に体系的な探索戦略が欠けている
LLMの推論はautoregressive——1トークンずつ進むのであり、本当の意味でのバックトラック機構を持たない。Chain-of-ThoughtやSelf-Consistencyといった工夫は「もう一歩先を考える」能力を底上げしたが、本質的には一本鎖に沿って進むものだ。
大量の探索が必要なタスク(解法空間が巨大な革新問題)では、Tree-of-Thoughtやより構造化された探索(モンテカルロ木探索、進化的アルゴリズム)を組み合わせるべきだろう。すでに、LLMをAgent化して長期探索タスクを走らせる試み——自分のコードを自分で書き換えて検証するタイプ——は存在する。だが、フロンティアモデル本来の推論にはこの部分が欠けている。
なお、こうした「モデルに能動的に探索させる」工学的アプローチは、LangGraphの状態機械駆動Agent設計と同じ思想だ。モデルのネイティブな推論の弱点をフレームワークで補おうとする。
3. ベンチマーク自体がモデルにとって不利な可能性がある
一定の余地を残す必要がある。InnovationEvalの評価形式には隠れた落とし穴がある。問題文そのものがプロンプトの一部になっている点だ。「何を問うているか」を人間なら直感的に把握できる(意味理解は人間の得意分野)が、モデルにとっては問題文の曖昧さがそのまま誤読につながる。
Epoch自身も論文で、一部の問題がLLMに優しくないと認めている。たとえば特定の数学的記号への直感が求められる問題は、訓練データが希少な領域だ。これはベンチマーク設計側の問題であり、純粋な能力の問題ではない。
この問題が思った以上に重要な理由
アルゴリズムの創発能力は、AGI論議で繰り返し言及される中核能力だ。OpenAIのo1/o3、Deep Research、Devinといったプロダクトは、本質的に「AIが長鎖推論+自律探索をこなせるか」に賭けている。モデルがコンテスト難易度のアルゴリズム問題すら解けないなら、「AIがプログラマーを置き換える」という物語は割り引いて考える必要がある。
ただし、過度に悲観的になるのも早い。第一に、これらの問題はそもそも人間のコンテスト用に設計されている——トップ選手でも3時間かかる。30秒のタイムバジェットで計測されるモデルは、それだけで不利な条件にある。
第二に、Agent化されたLLM(探索+ツール呼び出し+長期記憶の組み合わせ)にはこの分野でまだ大きな伸び代がある。ARC-AGIのようなベンチマークでは、すでにその可能性が示されている。
したがってより正確な表現はこうだ:現在ネイティブな推論モードのLLMは、この種の問題に対して一時的に苦戦している。しかし「永遠に不可能か」は別の問いだ。
編集部の考察
この事象が示しているのは「能力の天井」ではなく「評価指標のボトルネック」かもしれない。過去2年間のLLM評価ではスコアインフレーションが起きており、そのことが問題を覆い隠してきた。HumanEval、GSM8K、MMLUはいずれも95%以上を叩き出されている。ARC-AGIも2023年にはモデルが30%しか解けなかったが、2025年には一部モデルが50%に到達した。フロンティアモデルと人間を本当に区別できるベンチマークが減り、排行榜の大半は数ポイントの差で推移している。
InnovationEvalはその欠落を埋める試みだ。測っているのは「人間が依然として簡単にリードできる能力」——差がつく設問だ。HumanEvalで96%と97%を争うのは工学的意味では大差ないが、60%と5%の差はモデルがそもそもスタートラインに立てていないことを意味する。
私の予測:3〜5年以内に、モデルはInnovationEvalのスコアを70%、おそらく90%まで引き上げるだろう。その経路は探索+試行錯誤+ツール呼び出しであり、本当のアルゴリズム的直観ではない。データを一目見て構造を推測する、ゼロショットで核心的洞察を得る——こうした能力がautoregressiveモデルから短期的に創発するとは思えない。ベンチマーク設計者がスコアだけを追いかけていると、再び「スコア上昇≠能力向上」の罠に陥るだろう。
今回のラウンドが従来と異なる点はここにある。問われているのは「正しくできるか」ではなく「発想できるか」だ。前者は記憶とパターンマッチでごまかせるが、後者は量を積み上げるだけでは突破できない。ここにこそ、InnovationEvalがLLMの急所を突いた理由がある。
参考:
- InnovationEval 公開ページ
- Hacker News 元スレッド(46ポイント・コメント31件):news.ycombinator.com で「InnovationEval Epoch AI」を検索