實戰

OpenAI 的 Navier-Stokes 證明翻車:不是推理錯,是翻譯歪了

OpenAI 用 LLM 推導 Navier-Stokes 光滑解存在性,數學推理沒出包,出包的是把數學翻成 Lean 程式碼那一步——形式化驗證最怕的不是錯推,是「看起來對」。

字級

上週 New Scientist 拋出一則報導,值得拆開來看。

OpenAI 先前釋出一個專案,目標是讓 LLM 輔助推導 Navier-Stokes 方程式光滑解存在性的證明——這是克雷數學研究所千禧年七大問題之一,分量夠重。整體架構分兩步:第一階段由 LLM 進行數學推理,第二階段把數學翻譯成 Lean 形式化程式碼。最後出問題的不是推理,是翻譯。

這件事被推上 HN 首頁,討論串裡很多人的第一反應都是「LLM 又在產生幻覺了」。事情沒那麼單純。

事件還原:一個證明是怎麼分兩步完成的

先把 OpenAI 這個專案的架構講清楚,後續所有討論都奠基在這個架構上。

[輸入:數學命題 P]
   ↓
[階段 1: 數學推理]
   → LLM 輸出非形式化的證明草稿(自然語言 + 數學符號)
   ↓
[階段 2: math-to-code 翻譯]
   → 把上面的證明翻譯成 Lean 程式碼
   → Lean 編譯器 typecheck,得到機器驗證過的證明

理論上這是個不錯的設計:階段 1 讓 LLM 發揮它擅長的「自由推理 + 模式辨識」,階段 2 用 Lean 這種依賴型別語言當最後一道關卡,只有 typecheck 過的才算數。

問題出在階段 2。

階段 1 產出的數學草稿經過領域專家審閱,被認定為合理——邏輯鏈大致接得上。錯誤是在把草稿寫成 Lean 程式碼的過程中悄悄混進去的。也就是說,LLM 在做數學推理時腦袋基本是清楚的,但手在翻譯時,某些語義被悄悄偷換了。

這種錯誤比直接推理錯更陰。因為 Lean typecheck 會通過——只要程式碼語法正確、型別對得上,Lean 就放行。它不會告訴你「這段程式碼表達的命題,跟你想證的命題在數學語義上不一樣」。

錯誤長什麼樣:不是推理崩,是翻譯歪

New Scientist 的報導點出了幾類典型問題。我把 LLM 在形式化場景最容易犯的錯整理一下。

1. 符號語義偏移

數學裡同一個符號在不同上下文有細微差別。例如 ∀ε>0, ∃δ>0: ... 這種量詞鏈,數學家寫下來很清楚,但 LLM 翻譯時可能把量詞順序寫反,或是把存在量詞所繫變數的範圍搞錯。

Lean 裡對應的程式碼可能長這樣:

-- 數學家想寫的:
-- ∀ ε > 0, ∃ δ > 0, ...
-- LLM 實際寫的:
∃ δ > 0, ∀ ε > 0, ...   -- 量詞順序反了

Lean typecheck 通過。但數學意涵整個變了。

2. 量詞遺失

最陰的那種錯誤——LLM 推理時提到某個全稱量詞,翻譯時覺得「這個顯然」就省略了。結果 Lean 裡證明的命題比原命題弱。

3. 連續到離散的近似被悄悄忽略

Navier-Stokes 是偏微分方程式,核心在無窮維函數空間上的估計。LLM 推理時可能寫「由 Sobolev 嵌入可知 ...」,聽起來合理,但 Sobolev 嵌入有具體的維度條件、邊界條件限制。LLM 翻譯時若不把這些前置條件明確寫出來,Lean 驗證的命題就不是原本的命題。

4. 型別層面的語義偷換

更技術性一點:Lean 裡 ℝ 上定義的函數空間,LLM 可能寫成某個子型別,或把 Continuous 寫成 ContinuousOn——一個詞之差,數學語義不同。

這幾類錯誤的共同點是:LLM 寫出的程式碼,如果審閱的人沒有仔細盯每個量詞、每個型別限定,會下意識覺得「這看起來對啊」。這才是形式化任務中最危險的地方。

為什麼這次特別值得談:L4 級自動推理的邊界

OpenAI 內部對自家模型的推理能力有個分級(L1 到 L5,大致對應任務難度與可靠度要求)。這個分級在他們的安全 / 能力評估文件裡出現過。Navier-Stokes 這個任務,目標難度大約落在 L4 區間——長期、形式化、需要嚴格驗證的數學推理。

L4 是個微妙的等級:低於 L5(AGI 級),但已遠超 L3(短任務、單一領域)。一旦宣稱跨過 L4,代表模型能做長期的、需要持續邏輯約束的工作。形式化證明就是 L4 的典型代表。

這次事件釋出的訊號很清楚:L4 的門檻,LLM 還沒跨過去。

而且這不是「差一點點」的問題。數學推理本身能跑通,代表模型確實具備相當的數學能力。但從「能寫出像樣的證明草稿」到「能把證明完整、精確地翻譯成形式化程式碼」,中間隔著一道語義鴻溝。這道鴻溝不是靠放大模型或多訓練幾輪資料就能自動補上的——它本質上要求模型對每個數學物件、每個符號、每個量詞都有精準到位的理解,而不是統計意義上的「看起來對」。

形式化社群對此最警覺,是因為他們見過太多次「看起來對」的失敗。Lean、Coq、Isabelle 這類系統的設計哲學就是「不信任何人,只信 typechecker」。但 typechecker 只能保證你寫下的程式碼跟你想表達的意思一致——它不能保證你想表達的意思就是你要表達的意思。

對 Lean/Coq 社群與 AI4Math 的衝擊

這件事對形式化社群的衝擊,不在於「OpenAI 錯了」,而在於提供了一個可以解剖的具體案例。

過去幾年 AI4Math 圈子的主流敘事是:

  • LLM 寫出證明草稿
  • 人類數學家 review
  • Lean 編譯器 typecheck
  • 三重把關,穩了

這次事件掀開的是:草稿 review 這道關卡,在 math-to-code 翻譯任務上,幾乎不可能靠人類守住。

為什麼?因為 Lean 程式碼不是給人讀的——它是給編譯器讀的。一個經驗豐富的 Lean 工程師或許能看出 ∃ δ, ∀ ε 與 ∀ ε, ∃ δ 的差別,但當證明動輒上萬行時,這種細節錯誤被揪出的機率會急速下降。

換句話說,人 + LLM + Lean 的組合,在翻譯環節上並沒有比單獨的人強多少。

Lean 社群接下來高機率會有這些反應:

  1. 對「LLM 自動生成的 Lean 程式碼」做更嚴格的 provenance 標記——區分人工寫的與機器寫的。
  2. 開發新的輔助工具,在 typecheck 之上做「語義層驗證」,例如檢查證明實際的數學意涵與宣稱的命題是否一致。
  3. AI4Math 論文的審稿標準會改——以後審稿人可能會要求附上 Lean 程式碼,不只交證明草稿。

第二點尤其值得關注。Semantic diff 這類工具,在 LLM 翻譯場景下可能會從研究原型變成標配。

編輯觀點

這件事真正的訊號不是「AI 又錯了」,而是LLM 在子步驟表面沒問題的狀況下,跨步驟的語義會悄悄漂移。這種漂移比直接出錯危險得多——出錯時你還能 catch,但漂移時,程式碼 typecheck 過、自然語言讀起來通順、量詞位置看起來對,你沒有任何明顯訊號告訴你「這裡錯了」,直到最後某個數學家或某個反例把它炸出來。

和過去幾年 AI4Math 的樂觀敘事不同,這次事件撕開一道裂縫:LLM 在數學推理的局部確實強(階段 1 沒翻車就是證據),但從局部到全局、從推理到形式化,中間的距離可能比多數人想的遠。「人 + LLM + 形式化系統」被宣傳為三重保險,現在看來,在翻譯這一關,人根本沒發揮保險功能——因為程式碼根本不是給人讀的。

一個反共識的預測:接下來 12-18 個月,Lean / Coq 社群會出現專門針對 LLM 生成程式碼的「語義驗證工具」,類似編譯器上層的 linter。這件事會變成標準動作,不是因為大家想要,而是因為不得不。形式化社群會從「我們不信人,只信 typechecker」演化成「我們不信人、不信 typechecker、不信 LLM,我們只信語義層 diff」。

不確定的地方:這件事對 OpenAI 內部模型能力的實際影響,外人很難判斷。New Scientist 的報導基於公開素材,OpenAI 自己有沒有內部發現這些問題、修到什麼程度,沒有資訊。如果他們已經發現卻選擇不公開,反而是個誠實訊號,代表他們自己也知道 L4 這道門還沒過。

參考:

來源: https://www.newscientist.com/article/2592824-openai-mistranslated-mathematics-into-code-for-its-navier-stokes-proof/