先週、New Scientistが興味深い事実を報じた。詳しく見ていく価値がある。
OpenAIは以前、LLMを使ってNavier-Stokes方程式の滑らかな解の存在性証明を補助するプロジェクトを公開した。これはクレイ数学研究所のミレニアム懸賞問題の一つであり、その重みは十分大きい。全体構造は2段階に分かれている。第1段階でLLMが数学的推論を行い、第2段階でその数学をLean形式化コードに翻訳する。最終的に崩れたのは推論の段階ではなく、翻訳の段階だった。
この件はHNのフロントページに載り、議論では「LLMがまた幻覚を起こした」という反応が最初に出た。実際はそう単純ではない。
事件の復元:証明はどう2段階に分けられたか
まずOpenAIのプロジェクト構造を明確にしておく。以降の議論はすべてこの構造が前提になっている。
[入力:数学的命題 P]
↓
[段階1: 数学的推論]
→ LLM が非形式的な証明ドラフトを出力(自然言語 + 数学記号)
↓
[段階2: math-to-code 翻訳]
→ 上記の証明を Lean コードに翻訳
→ Lean コンパイラが typecheck し、機械検証済み証明を得る
理論上、これは優れた設計だ。段階1でLLMが得意とする「自由な推論 + パターン認識」を発揮させ、段階2でLeanのような依存型言語を最終チェックとして使う。typecheckを通過したものだけが有効とみなされる。
問題は段階2にあった。
段階1で出力された数学ドラフトは、専門家による査読を経て妥当とされた——論理の連鎖はほぼ繋がっている。誤りが混入したのは、それをLeanコードに書き起こす過程だった。つまり、LLMは数学的推論において頭脳的にはほぼ正しかったが、翻訳作業時に意味を密かにすり替えてしまった。
この種の誤りは、推論そのものが間違っている場合よりも性質が悪い。Leanのtypecheckは通ってしまうからだ。コードの構文が正しければ、型がマッチしていれば、Leanは通してしまう。「このコードが表現している命題と、証明したかった命題が数学的意味において異なる」ということは告げてくれない。
誤り:推論ではなく翻訳の歪み
New Scientistの報道では、典型的な問題がいくつか指摘されている。LLMが形式化タスクで犯しがちな誤りを以下に整理する。
1. 記号のセマンティクスのずれ
数学では同じ記号が文脈によって微妙に異なる意味を持つ。例えば `∀ε>0, ∃δ>0: ...` のような量化子の連鎖は、数学者が書けば明確だが、LLMが翻訳する際に量化子の順序を逆にしたり、存在量化子が束縛する変数の範囲を誤ったりすることがある。
Leanでこれに対応するコードは次のようになる。
-- 数学者が書きたかったもの:
-- ∀ ε > 0, ∃ δ > 0, ...
-- LLMが実際に書いたもの:
∃ δ > 0, ∀ ε > 0, ... -- 量化子の順序が逆
Leanのtypecheckは通る。しかし数学的意味は完全に変わってしまう。
2. 量化子の脱落
最も厄介なタイプの誤りだ。LLMは推論時にはある全称量化子に言及していたが、翻訳時に「これは自明だろう」と判断して省略してしまう。結果として、Lean内で証明された命題は元の命題より弱くなる。
3. 連続から離散への近似が無視される
Navier-Stokesは偏微分方程式であり、その核心は無限次元関数空間上の評価にある。LLMは推論時に「Sobolev埋め込みにより...」と言うかもしれない。一見正しく聞こえるが、Sobolev埋め込みには具体的な次元条件や境界条件の要件がある。LLMが翻訳時にこれらの前提条件を明示的に書き出さなければ、Leanが検証する命題は元の命題とは異なるものになる。
4. 型レベルでの意味のすり替え
より技術的な話だが、Leanで `ℝ` 上で定義された関数空間について、LLMが特定の部分型として書いてしまったり、`Continuous` を `ContinuousOn` と書いてしまったりすることがある。一文字の違いで、数学的意味は変わる。
これらの誤りに共通するのは、人間がこのLLMの生成コードを精査する際、各量化子や型制約を仔细に確認しなければ、「これは正しそうだ」と無意識に思い込んでしまう点だ。形式化タスクにおいて最も危険な部分こそがここにある。
なぜ今回の件が特に重要か:L4レベルの自動推論の境界
OpenAI社内では、自社モデルの推論能力にL1〜L5のグレーディングがある(タスクの難易度と信頼性要件に大まかに対応する)。このグレーディングは同社の安全性・能力評価ドキュメントに登場する。Navier-Stokesのタスクは、目標難易度がL4帯——長期・形式的・厳密な検証が必要な数学的推論——に位置する。
L4は微妙な等級だ。L5(AGIレベル)未満だが、L3(短期タスク・単一ドメイン)を大きく超える。L4を超えたと主張するからには、モデルが長期的かつ継続的な論理的制約のもとで働くことを意味する。形式化証明はまさにL4の典型例である。
今回の事件が示すシグナルは明確だ。L4の敷居を、LLMはまだ越えていない。
しかも、これは「あと一歩」という話ではない。数学的推論自体が一応機能していることは、モデルが相当の数学的能力を備えている証拠だ。しかし「まともな証明ドラフトを書ける」状態から「証明を完全かつ正確に形式化コードに翻訳できる」状態の間には、意味論的な溝がある。この溝は、モデルをスケールしたりデータを追加学習したりすれば自動的に埋まるものではない——本質的に、モデルが各数学的対象、各記号、各量化子に対してピンポイントで正確な理解を持つことが必要であり、統計的に「正しそう見える」だけでは足りない。
形式化コミュニティが最も警戒しているのもこの点だ。彼らは何度も「正しそう見える」失敗を見てきた。Lean、Coq、Isabelleといったシステムの設計思想は「誰も信じず、typecheckerだけを信じる」だ。しかしtypecheckerは、書き下したコードと表現したい意図が一致することしか保証しない——表現した意図そのものが本来表現したかったものかどうかは保証しない。
Lean/CoqコミュニティとAI4Mathへの衝撃
この件が形式化コミュニティに与える衝撃は、「OpenAIが間違えた」こと自体にはない。具体的に解剖可能なケースを提供したことにある。
ここ数年、AI4Mathコミュニティの主流の物語はこうだった。
- LLMが証明ドラフトを書く
- 人間の数学者がレビューする
- Leanコンパイラがtypecheckする
- 三重の保険で安心
今回の事件が暴いたのは、ドラフトレビューという环节が、math-to-code翻訳タスクにおいては人間によるチェックとして機能し得ないということだ。
なぜか。Leanコードは人間に読まれるものではなく、コンパイラに読まれるものだ。経験豊富なLeanプログラマーなら `∃ δ, ∀ ε` と `∀ ε, ∃ δ` の違いを見抜けるかもしれない。しかし証明が数万行に及べば、この種の細部の誤りが発見される確率は急激に下がる。
つまり、人間 + LLM + Leanの組み合わせは、少なくとも翻訳环节においては、単独の人間よりほとんど強くない。
Leanコミュニティは今後、おそらく次のような反応を見せるだろう。
- 「LLMが自動生成したLeanコード」に対してより厳格なprovenance(出自証明)マーキングを行い、人間が書いたものと機械が書いたものを区別する。
- typecheckの上に「意味論層の検証」を行う新しい支援ツールを作る。例えば証明の実際の数学的意味と主張されている命題が一致しているかをチェックする。
- AI4Math論文の査読基準が変わり、査読者は証明ドラフトだけでなくLeanコードの添付を要求するようになるかもしれない。
特に2点目が注目に値する。Semantic diffのようなツールは、LLM翻訳のシナリオにおいて、研究プロトタイプから標準装備へと移行する可能性がある。
編集部の考察
この件の真のシグナルは「AIがまた間違えた」ことではない。LLMはサブステップ単位では問題なく見えるのに、ステップをまたぐと意味が密かにドリフトしていくということだ。この種のドリフトは、直接的な誤りよりも遥かに危険である。誤りなら捕捉できるが、ドリフトの場合、コードはtypecheckを通し、自然言語で読めば滑らかで、量化子も位置が正しそうに見える。何かが間違っていることを示す明らかなシグナルは、最後の最後、特定の数学者や具体的反例によって爆破されるまで現れない。
過去数年のAI4Mathの楽観的な物語とは異なり、今回の事件は亀裂を露出させた。LLMは数学的推論の局所では確かに強い(段階1で崩れていないことが証拠だ)。しかし局所から大局へ、推論から形式化へ、その距離は多くの人々が考えるより遥かに遠い。「人間 + LLM + 形式化システム」が三重の保険として宣伝されてきたが、今や翻訳环节において人間は保険になっていないことが判明した。コードはそもそも人間に読まれるものではないからだ。
逆張り予想:今後12〜18ヶ月のうちに、Lean/Coq界隈でLLM生成コード専用の「意味論検証ツール」が登場する。コンパイラの上位層に位置するlinterのようなものだ。これは、コミュニティが望んで導入するのではなく、不得不已の措置として標準化するだろう。形式化コミュニティは「人間を信じず、typecheckerだけを信じる」から「人間も信じず、typecheckerも信じず、LLMも信じず、意味論層のdiffだけを信じる」へと進化する。
不確定な要素:この件がOpenAI社内でのモデル能力評価にどう影響したかは、外部からは判断しにくい。New Scientistの報道は公開情報に基づいている。OpenAI自身が社内でこれらの問題を発見し、どの程度修正したかは情報がない。もし発見済みだが非公開にしているのであれば、むしろ誠実なシグナルだ——L4の敷居をまだ越えていないことを社内でも認識しているということになる。
参考:
- New Scientist: OpenAI mistranslated mathematics into code for its Navier-Stokes proof
- HN 議論: item?id=50026734