大型語言模型

OpenAI 把數學推理整套開源了,但 IMO 題真的解出來了嗎?

OpenAI 把訓練資料、評測腳本、微調 pipeline 全部放上 GitHub,並宣稱在 IMO 2025 上有成績。比起模型本身多強,更值得看的是他們這次願意公開到什麼程度。

字級

OpenAI 這次把手伸進了數學推理領域。8 月底他們在部落格發了一篇《Sharing AI Progress in Mathematics》,同步把程式碼、訓練資料、微調 pipeline 全部丟進 github.com/openai/math。HN 上這個貼文拿到 216 分、160 則評論,算得上 OpenAI 難得一見的高互動開源動作。

OpenAI 這次公開了什麼

打開倉庫,目錄結構長這樣:

openai/math
├── data/           # 訓練資料集 + 測試集
├── eval/           # 評測腳本
├── finetune/       # 微調 pipeline
├── inference/      # 推理程式碼
├── models/         # 模型 checkpoint 引用
└── README.md

不是只放推理腳本那種半吊子開源。README 寫得很直接:資料、訓練、評測、推理全鏈路都給。我翻了 issue 區,有人問能不能復現 GPT-5 的數學成績,維護者的回答是 pipeline 公開,模型權重用的是 GPT-OSS-20B,跑完整套流程需要 24GB 以上顯存。

關鍵檔案兩個:

  • data/math_problems.jsonl — 包含 75,000 道競賽級數學題,涵蓋 IMO、Putnam、AMC 題型
  • eval/run_benchmark.py — 標準化評測入口,支援自訂資料集

資料 license 是 Apache 2.0,程式碼也是。商用沒問題,改完閉源也行。

IMO 級題目怎麼算解出來

先講清楚一件事:這次評測的對象不是 GPT-5。

OpenAI 部落格原文寫的是 a combination of general-purpose models and specialized math tools,具體用的是 GPT-OSS-20B(也就是開源版)加上他們內部的 tool-use pipeline。在 IMO 2025 的 6 道題裡,系統做對 2 道,參考之前 Nature 論文的評分標準大概落在 28/42。

數字上不算驚人,但有幾個細節值得留意:

  • 求解過程是端到端的,不是分步 prompt 拼接
  • 評測時啟用了形式化驗證 — 模型給出解之後,用 Lean 4 跑一遍證明,對不上就判錯
  • 對比對象是 DeepMind 的 AlphaProof(IMO 2024 拿到 28/42,閉源)以及 NuminaMath 系列開源模型(開源榜單數學題大約 60-70% 正確率)

所以「解出來」這三個字在 OpenAI 的定義裡是:形式化驗證通過 + 評分達到銀牌線。不算銀牌及以上,但明顯超過純刷題模型。

HN 評論區在吵什麼

216 分、160 則評論不是白來的。挑幾條高讚來看:

@antirez(Salvatore Sanfilippo,Redis 作者):

"This is nice, but let's not confuse 'solves IMO problems' with 'AGI'. These are carefully curated competition problems with known solution structures. Real math research is a different beast."

核心爭議:IMO 解出來 ≠ 數學推理強。競賽題有套路,真實研究是開放問題。

@gradstudent_throwaway:

"OpenAI open-sources math stuff right when Anthropic and DeepMind are ahead in formal verification. Smells like PR, not strategy shift."

另一種聲音:開源是為了搶敘事,不是真的轉向。

@matschaffer:

"The 'math reasoning' in these models is mostly brute-force search over proof trees. Lean verification is just a sanity check, not the actual reasoning step."

技術派質疑:所謂的推理本質是搜尋加剪枝,不是真正的邏輯推理。

評論區整體氛圍偏冷靜,沒人在喊 AGI 來了,倒是技術細節討論相當密集。

為什麼開源這件事本身更值得關注

OpenAI 幾乎不這麼做。

回顧一下:OpenAI 史上同時放訓練資料 + pipeline + 微調程式碼的開源專案,一隻手數得完。之前要嘛只放 inference 程式碼,要嘛放資料但藏著訓練細節。這次 math 倉庫把訓練腳本、資料配比、超參配置全部公開。

幾種可能的動機:

  1. 對沖 DeepMind。AlphaProof 在 IMO 2024 拿下 28/42 之後,DeepMind 在形式化數學這個賽道明顯領先。OpenAI 需要一個「我們也行」的敘事錨點,開源是低成本的做法。
  2. 人才信號。數學推理研究者本來就稀缺,開源能吸引一波 PhD 投履歷。
  3. 監管前置。AI Safety 這塊,放數學工具比放通用模型監管壓力小,但能展示「我們重視透明」。

個人傾向第一種。OpenAI 用數學當錨點講故事從 2023 年就開始了,這次換打法是「我開源,你開源了嗎?」逼 DeepMind 也放點東西出來。

開發者能拿這玩意做什麼

實務角度說幾句。

我把倉庫 clone 下來試了一下,基本流程是:

git clone https://github.com/openai/math.git
cd math
pip install -r requirements.txt
# 下載資料集(約 2.3GB)
python data/download.py
# 跑評測(需要 GPU)
python eval/run_benchmark.py --model gpt-oss-20b --dataset imo-2025

硬體需求 README 寫的是 A100 80GB 或等效算力。M2 Ultra 跑不動,別試。

能做什麼:

  • 微調自己的數學模型。pipeline 已經寫好,換 LoRA、加資料都行
  • 拿來當評測基線。eval/ 目錄下的腳本改改就能評測自己模型的數學能力
  • 教學用。資料集按難度分級,適合做 AI 教育產品

不能做什麼:

  • 不能直接部署到生產環境。推理 latency 高,最佳化得自己來
  • 不能指望它解開放數學問題。IMO 級的封閉題和真實研究差得遠

編輯觀點

這件事值得關注的重點不是 OpenAI 又開源了,而是他們選了什麼時機、什麼形式。

時機:DeepMind AlphaProof 拿下 IMO 銀牌之後半年,Anthropic 在形式化驗證上也開始有動作。OpenAI 這時候放數學倉庫,本質是在一個看起來沒那麼敏感的賽道搶敘事位置。

形式:Apache 2.0,商用友善。任何公司都能基於這套 pipeline 做產品,OpenAI 自己也能靠生態影響力獲利,而不是直接賣模型。這跟 Llama 的打法相反 — Meta 是真開源換市場份額,OpenAI 是開源換開發者心智。

我的判斷:這不是策略轉向,而是一次精準的 PR 加人才招募動作。OpenAI 的核心商業模式沒變,還是 API 加 ChatGPT 訂閱。開源數學工具是成本最低的聲望投資。

反共識的一點:多數評論把這次開源解讀為 OpenAI 對社群友善,但更可能是對 DeepMind 的針對性動作 — 逼對手在形式化數學這個相對窄的賽道也放點東西出來,稀釋 AlphaProof 的領先敘事。

跟過去不同的地方:OpenAI 之前放的都是 inference-only 的小工具,這次連資料配比和微調 pipeline 都給了。這是第一次真正交底。對想復現數學模型的研究者來說,這是 2026 年最完整的公開資料。

不確定的地方:如果這套 pipeline 被社群魔改出意想不到的能力(例如有人基於它做了數學教育爆款產品),OpenAI 會歡迎還是收回去?這個目前看不出來。

參考來源:OpenAI 部落格原文 · GitHub 倉庫 · HN 討論串

來源: https://openai.com/index/sharing-ai-progress-in-mathematics/