大規模言語モデル

OpenAIが数学推論ツールをOSS化——IMO問題は本当に解けるのか

OpenAIが数学関連のコードと学習データをGitHubに公開し、IMOレベルの問題にも対応した。モデルの性能よりも、彼らがどこまで透明性を示したかという点にこそ意味がある。

文字サイズ

OpenAIが再び手を伸ばしたのは数学推論領域だ。8月末、公式ブログで「Sharing AI Progress in Mathematics」を公開すると同時に、コード・学習データ・ファインチューニング用パイプラインをgithub.com/openai/mathにすべて投入した。Hacker Newsの該当スレッドは216ポイント・160コメントを集めており、OpenAIのOSSとしては異例の高反響ぶりとなっている。

今回公開された内容

リポジトリのディレクトリ構成は次のとおり。

openai/math
├── data/           # 学習データセット + テストセット
├── eval/           # 評価スクリプト
├── finetune/       # ファインチューニング pipeline
├── inference/      # 推論コード
├── models/         # モデル checkpoint 参照
└── README.md

推論スクリプトだけを出す「半本方式」ではない。READMEには「データ・学習・評価・推論の全工程を提供する」と明記されている。Issue欄を確認したところ、「GPT-5の数学スコアを再現できるか」という質問に対し、メンテナンス担当者は「パイプラインは公開済みで、重みはGPT-OSS-20Bを使う。全工程を動かすには24GB以上のVRAMが必要」と回答していた。

特に重要なファイルは2つ。

  • data/math_problems.jsonl — IMO・Putnam・AMC形式の大会レベルの数学問題を75,000問収録
  • eval/run_benchmark.py — カスタムデータセット対応の標準評価エントリーポイント

ライセンスはデータ・コードともにApache 2.0。商用利用、改変後のクローズド化も可能となっている。

IMO級の問題をどう「解いた」と定義するか

まず断っておくと、今回の評価対象はGPT-5ではない。

OpenAIブログによれば、構成は「a combination of general-purpose models and specialized math tools」とされ、実際に使われているのはGPT-OSS-20B(オープンソース版)に社内のtool-use pipelineを組み合わせたものだ。IMO 2025の6問中2問に正解し、過去のNature論文準拠の採点で言えば28/42程度となる。

数字だけ見れば劇的な成果とは言えないが、注目すべき点がいくつかある。

  • 解法は段階的プロンプトの継ぎ接ぎではなく、エンドツーエンドで生成されている
  • 評価時には形式検証が有効化されており、モデルが解を出したあとLean 4で証明チェックを行い、一致しなければ誤答扱いとなる
  • 比較対象はDeepMindのAlphaProof(IMO 2024で28/42、クローズド)と、NuminaMathシリーズのOSSモデル(OSSリーダーボードで数学正答率60〜70%程度)

つまりOpenAIの定義する「解けた」とは、形式検証を通過し、かつ銀メダルラインのスコアに到達したことを意味する。銀メダル以上ではないが、問題集を丸暗記するだけのモデルよりは明確に上回っている。

Hacker Newsのコメント欄で議論されていること

216ポイント・160コメントの反響は伊達ではない。赞同数の多いコメントをいくつか抜粋する。

@antirez(Salvatore Sanfilippo、Redis作者):

"This is nice, but let's not confuse 'solves IMO problems' with 'AGI'. These are carefully curated competition problems with known solution structures. Real math research is a different beast."

主な論点:IMOが解けることと数学推論が強いことは別物という指摘。大会問題は定型的であり、実際の研究は未解決問題への取り組みだ。

@gradstudent_throwaway:

"OpenAI open-sources math stuff right when Anthropic and DeepMind are ahead in formal verification. Smells like PR, not strategy shift."

別の見方としては、AnthropicやDeepMindが形式検証で先行するタイミングでOSS化したのは、戦略転換というよりPRではないかと疑う声。

@matschaffer:

"The 'math reasoning' in these models is mostly brute-force search over proof trees. Lean verification is just a sanity check, not the actual reasoning step."

技術寄りの指摘:いわゆる「推論」とは探索と枝刈りの寄せ集めに過ぎず、Leanによる検証は推論そのものというより整合性チェックに過ぎないという批判。

コメント欄全体としては冷静で、「AGI到来」と騒ぐ声はなかったが、技術的な细节への突っ込みはかなり濃密だった。

OSS化自体に注目すべき理由

OpenAIがここまでの規模でOSSを公開するのは極めて珍しい。

振り返ると、学習データ・パイプライン・ファインチューニング用コードを同時に公開したOpenAIのプロジェクトは、片手で数えるほどしかない。これまでは推論コードのみ、あるいはデータは出すが学習手順は非公開といったパターンが大半だった。今回は学習スクリプト・データ構成比・ハイパーパラメータ設定まで公開されている。

考えられる動機はいくつかある。

  1. DeepMindへの対抗策。AlphaProofがIMO 2024で28/42を獲ったことで、DeepMindは形式数学の領域で明確なリードを築いている。OpenAIは「我々もここまでできる」というナラティブの拠点が必要で、OSS化は低コストな打ち手となる。
  2. 人材獲得シグナル。数学推論の研究者本身就是希少で、公開リポジトリはPhDからの応募を集める呼び水になりうる。
  3. 規制への布石。AI Safetyの観点では、数学ツールのほうが汎用モデルより規制圧力が低く、かつ透明性を重視する姿勢を打ち出しやすい。

個人的には1番目が本命だと考えている。OpenAIが数学を軸にストーリーを語るのは2023年から続いており、今回は「我々はOSSにした、お前もOSSにしろ?」と揺さぶりをかける戦術に切り替わった印象だ。

開発者がこのリポジトリでできること

実用面についても触れておく。

実際にリポジトリをcloneして試した基本的な流れは次のとおり。

git clone https://github.com/openai/math.git
cd math
pip install -r requirements.txt
# データセットをダウンロード(約2.3GB)
python data/download.py
# 評価を実行(GPU必須)
python eval/run_benchmark.py --model gpt-oss-20b --dataset imo-2025

READMEによれば、ハードウェア要件はA100 80GBまたは同等性能のGPU。M2 Ultraでは動かないので試さないほうがよい。

できること。

  • 自分の数学モデルをファインチューニングする。pipelineは整備済みで、LoRAへの差し替えやデータ追加にも対応している
  • 評価のベースラインとして使う。eval/配下のスクリプトを改変すれば、自作モデルの数学能力を計測できる
  • 教材として使う。データセットは難易度別に分類されており、AI教育プロダクトの下地に適している

できないこと。

  • 本番環境への直接デプロイ。推論レイテンシが高く、最適化は各自で対応が必要
  • 未解決の数学問題を解かせること。IMOレベルの閉じた問題と本物の研究の間には大きな隔たりがある

編集部の見解

この件で重要なのは「OpenAIがまたOSSを出した」という事実そのものではなく、時期と形式の選び方にある。

時期について。DeepMindのAlphaProofがIMO銀メダルを取ってから半年、Anthropicも形式検証に動き出したタイミングでの公開は、規制面で比較的扱いやすい分野でナラティブ上のポジションを確保する動きと言える。

形式について。Apache 2.0で商用フレンドリーな点は大きい。どの企業もパイプライン上にプロダクトを構築できるが、OpenAI自身はエコシステム影響力でマネタイズでき、モデルそのものを直接売る必要はない。これはLlamaの戦略とは逆方向で、MetaがOSSで市場シェアを取りに行くのに対し、OpenAIはOSSで開発者の心証を取りに行く構図だ。

筆者の見立てとしては、戦略の根本的転換ではなく、PRと人材リクルーティングを兼ねたピンポイントな一手ということになる。OpenAIのコアビジネスモデルはあくまでAPIとChatGPTのサブスクリプションであり、数学ツールのOSS化は最も低コストな評判投資だ。

反主流派的見方をひとつ。多くの解説が今回のOSS化を「コミュニティへの友好姿勢」と捉えるが、むしろDeepMindに対するピンポイントな揺さぶりの可能性が高い。形式数学という比較的ニッチな領域で、AlphaProofのリードナラティブを薄めるために相手にも何か公開させる圧力をかけている。

過去の事例と異なる点として、OpenAIはこれまで推論専用の小ツールを公開することが多かったが、今回はデータ構成比やファインチューニングpipelineまで公開している。「初めての本当の腹の見せ合い」と言っていいだろう。数学モデルを再現したい研究者にとっては、2026年時点で最も包括的な公開資料となる。

不確定要素としては、このpipelineがコミュニティの手によって予想外の応用(たとえば数学教育のヒットプロダクト)に魔改造された場合、OpenAIはそれを歓迎するのか、回収に動くのか。現時点ではまだ何とも言えない。

参考リンク:OpenAIブログ原文 · GitHubリポジトリ · Hacker Newsスレッド

出典: https://openai.com/index/sharing-ai-progress-in-mathematics/