見解

AIの数学評価はズレている——陶哲軒が一石を投じる

競技数学で満点近くを取る一方、実研究では使い物にならない。 Fields賞受賞者が内部から指摘したこのギャップは、AI for Scienceという物語の根幹を揺るがす。

文字サイズ

2026年9月11日、陶哲軒が自身のブログに《A severe misalignment》(深刻なズレ)を投稿した。同日、『The Economist』もAIと数学を扱った特集を組んでいる。

Fields賞受賞者と老舗の严肃なメディアが、同じ日に同じ問題を槍玉に挙げた——LLMの数学における実力と喧伝されている内容との間には、深刻な乖離がある。

この議論はHacker Newsで爆発的に拡散した。mathandai.orgのスレッドは403ポイント、467コメントを獲得し、トップページに登場している。数学のような学術寄りの話題で、ここまでの盛り上がりは異例だ。

ブログとEconomistの記事を読み込み、特に注目すべき論点を以下にまとめる。

競技数学と実研究の間にある溝

まず現状を確認する。

AIMEやIMOといった競技大会では、LLMはほぼ満点、あるいはメダルを獲得できるレベルに到達している。GPT-5、Claude Opus 4.5、Gemini 3 Proといったトップモデルが、2025〜2026年のIMOで銀メダルを取っても話題にならず、金メダルで初めてニュースになるほどだ。

しかし、問題が「オープンエンドな研究課題」に変わると——たとえば:

  • ある予想に対して反例を構築する
  • 30ページの証明を読んで、どのステップの「動機」が怪しいか指摘する
  • ある数学分野において、3年かける価値のある研究方向を見極める

モデルは崩壊し始める。「答えを間違える」という崩壊ではなく、「それっぽい回答を生成しているが全く要点を外している」という崩壊だ。

陶哲軒はブログでこの種の問題を「research-flavored but not research-grade」(研究の皮を被った競技問題)と表現している。研究問題のように見えるが、実態は研究の皮を被っただけの競技問題であり、モデルは後者には答えられるが前者には答えられない。

陶哲軒が具体的に指摘する欠陥

陶哲軒は「AIはダメだ」と漠然と批判しているわけではない。彼が指摘しているのは、きわめて具体的な弱点だ。

第一に、数学における「taste」(品味・審美眼)に対する無感覚。

数学者には选题に強い判断力がある。どの問題が「美しい」か、どの方向が「実り多い」か、どの予想が「取り組むに値するか」。こうした感覚は論文内では暗黙的であり、著者がなぜこの問題を選び、別を選ばなかったのかという意思決定の中に埋め込まれている。LLMは1000本の論文を読めば手法を要約できるが、「なぜGrothendieckはschemeを選んだのか」は要約できない。

第二に、証明のエレガントさを評価できない。

同一の問題に対して、5通りの証明が存在しうる。一方はbrute forceで50ページ、もう一方は2ページでエレガントに書ききれる。陶哲軒の言葉を大意すればこうだ——LLMは「証明が正しいか」は伝えられるが、「その証明が良いか」は伝えられない。

第三に、一つの研究方向に時間を費やす価値があるかを判断できない。

これが最も致命的だ。研究の中核能力とは、何を捨てるべきかを判断することにある。90%の試行方向は行き止まりであり、数学者は経験、直感、品味でそれらを選別している。LLMにはこの「捨てる能力」がない。可能な全ての方向に対して、もっともらしい提案を生成できるだけだ。

陶哲軒によれば、この3点が組み合わさることで、「モデルがIMOで金メダルを獲る」と「モデルが研究助手として機能する」の間に、ほぼ越えられない溝が生まれる。

なぜこれがAI for Scienceにとって致命的か

数学は、AI for Scienceにおける最もクリーンな実験場だ。

なぜか:

  • データにノイズがない——生物実験にあるバッチ効果や、材料合成にある機器差異がない
  • 目標が検証可能——証明が正しければ正しい、誤っていれば誤りだ。「大体正しい」は存在しない
  • フィードバックシグナルが明快——Leanのコンパイラなら数秒で検証可能

つまり、AIが数学という「最もクリーンな」領域でオープンエンドな問題を扱えないなら、データが汚く、目標が曖昧で、フィードバックが遅い生物学・材料科学・地球科学といった領域では、もっと惨憺たる結果になる。

ここ2年、「AI for Science」はAI業界で最もセクシーなスライドテーマの一つだった。AlphaFold以降、各社が「AIが研究を加速する」と語ってきた。しかし陶哲軒が今回の指摘で突きつけた事実はこうだ——benchmarkのスコアは研究の価値と等価ではない。AIMEで満点を取れるモデルと、博士課程の研究テーマを推進する手助けができるモデルは、根本的に別の存在だ。

この事実は、改めて確定した。

見落とされがちな逆方向:数学者へのAIの真の効用

陶哲軒はAIが役に立たないと言っているわけではない。むしろ彼は自身のブログで、以下のような用途でAIを使い続けていると明かしている:

  • Leanコードの補助——形式化検証は苦痛を伴う作業だが、AIなら初稿を書ける
  • 文献検索——arXivに毎日200本以上投稿される数学論文の要約と分類
  • 文法チェック、LaTeXのレイアウト修正——こうした退屈な作業はAIの方が人より得意

ズレが生じているのはここだ——現在の製品/評価体系はAIを「数学者」としてパッケージングしているが、実態は「高速化された計算機+文献検索ツール」に過ぎない。

真の問題は、ポジショニングのズレだ。

具体例を挙げよう。LeanとAIを組み合わせて形式化検証を行うと、LLMは確かに優秀なアシスタントだとわかる。形式化言語は文法が厳格で、コンパイラからのフィードバックがあり、目標が明確だからだ。これはAIの得意領域そのものだ。しかし、同じモデルにErdősの論文の「動機」を「理解しろ」と指示した場合、ほぼ確実に、文法は完璧だが完全に的外れな要約が返ってくる。

AIは数学者ではなく、数学者のIDEだ。このポジショニングは市場によって意図的に曖昧にされてきた。IDEとして売っても誰も買わないが、「AI数学家」として売ればVCは喜んで出資するからだ。

編集部の見解

この議論が重要である理由は、「陶哲軒がAIを否定した」ことにはない。具体的な検証可能な領域(数学)を用いて、広く受容された物語(AI=研究助手)を内部から切り崩したことにある。

私の見解では、この議論の影響は数学コミュニティの外にも広く波及する。理由は3つある。

第一に、数学は标杆(ベンチマーク的存在)だ。AIが最もクリーンな領域で「品味」と「捨てる能力」を扱えないなら、AI for Science全体の物語を書き直す必要がある。これはNIH、DARPA、各国の研究資金配分のロジックに直接影響する。彼らは今まさに「AIによる研究加速」に向けた予算配分を真剣に検討している最中だ。

第二に、評価体系が反作用を受ける。AIMEやIMOのような「正解がある」benchmarkと、「研究能力」との間のギャップが、他の領域の人々にも認識されるだろう。SWE-benchやHumanEvalといったコーディングbenchmarkも、本質的にはAIMEと同じだ——これらは「できるかどうか」を測っており、「すべきかどうか」を測っていない。Devinのような製品も、同じ追及に直面することになる。

第三に、製品ポジショニングの強制的なリセットが起きる。陶哲軒の「AIは高速化された計算機+文献検索だ」という言葉は、繰り返し引用されることになる。次の18ヶ月間で、あらゆる「AI Scientist」「AI Researcher」系プロダクトのマーケティングは、「あなたのモデルは『どのパスを捨てるべきか』を判断できるのか?」という同じ質問に答えを迫られる。

今回と過去の違いは何か。過去2〜3年、「AIがXの領域で人間超え」というニュースは数週間おきに出てきた(AlphaFold、IMO金メダル、ICPC優勝)。だが今回の陶哲軒の指摘は、分野の内部から、現在も研究を続けているトップ数学家によって、しかもAI企業の競合ではなく直接的に問題点を突かれたものだ。この批判の重みは、Anthropic CEOが「慎重に進めるべきだ」と述べるのとは根本的に異なる。

不確実な点:陶哲軒は「AIの研究能力をどう測るか」に対する実用的なベンチマークを提供していない。「研究能力は競技スコアとは別だ」と言っているだけで、「では何と等価か」には答えていない。この空白は、今後さまざまな人々によって埋められ、その成果が次のAI for Scienceラウンドにおける資金の流れを決定づけることになるだろう。


参考リンク:

出典: https://mathandai.org/