實戰

InnovationEval 基準揭弊:為何頂尖 LLM 解不開人類三小時就能想通的演算法難題

Epoch AI 推出 InnovationEval 演算法創新基準,前沿 LLM 集體滑鐵盧,連人類基本門檻都跨不過去。問題到底出在哪?

字級

Epoch AI 最近發表了新基準 InnovationEval,專門用來測 AI 是否能「想出新演算法」——而不是照搬既有套路。結果相當殘酷:前沿模型在這項測試中集體翻車,連人類 baseline 都達不到。

Hacker News 上的原帖拿下 46 分、31 則評論,衝上首頁熱度。討論串裡有人吐槽:模型一拿到題目就開始暴力枚舉,死磕局部最佳解,完全沒有「換個思路」的能力。

這件事值得拆開來談。

InnovationEval 究竟在測什麼

一般程式基準(HumanEval、LiveCodeBench、MBPP 這類)考的是「能不能寫對」。給定問題,LeetCode 風格,跑通測資就算贏。模型在這些題目上分數衝得很高,96%、97% 一堆。

但這類題目有個前提:演算法思路已經現成,模型要做的事是把腦中的套路翻譯成程式碼。

InnovationEval 不走這個路子。它測的是「演算法創新」——能不能從零自己想出新穎的計算策略。具體題型如下:

  • 給一個問題描述(可能附帶 toy 範例)
  • 給一批輸入資料(可能上千組測資)
  • 要求實作黑盒函式,對每個輸入回傳正確答案
  • 函式可以查看歷史樣本,但沒有標準答案
  • 真正的題目本身是隱藏的:看不到明確的「問題陳述」,只能從資料反推要做什麼

這個設計相當關鍵。模型必須自行「領悟」題目在問什麼——等同於競賽裡的 interactive problem。提交答案後會得到對錯回饋,但沒有標答和解題思路。

舉兩個具體例子感受一下:

例子 1(Epoch 公開的):題目叫「Counting Rearrangements」。給你一批操作序列,要求預測某種特定重排的總數。人類參賽者花 3 小時,跑過 370 多組樣本就能找到 O(n log n) 的解法,頂尖人類在大型測資上拿到 100%。

例子 2:題目是某種 packing 問題——把物品裝進容器,最小化某種成本。人類會想到貪心 + 啟發式搜尋,模型則傾向暴力搜尋所有組合。

Epoch AI 在演算法競賽圈找了高手來測,這些可不是「普通用戶」,而是 ICPC 選手、研究員、專職打比賽的人。他們的 baseline,就是模型必須跨越的門檻。

跑分結果:哪些模型中箭落馬

Epoch AI 測了一批前沿模型。原始 paper 公布的數字大致如下(取自他們 2025 年的報告):

  • 人類專家:60%(頂尖選手在大型資料集上的平均表現)
  • GPT 系列(含 GPT-4、GPT-4o):通過率約 2-8%(4 題對應不同難度)
  • Claude 系列:略高於 GPT,但也沒超過 15%
  • Gemini 系列:類似水準

換言之,當前最強的 LLM 連人類水平的一半都達不到。

HN 評論區裡,有人直接點出模型陷入「暴力枚舉」模式——因為這些題目沒有明確的題面,模型只能靠觀察資料反推目標,所以傾向於「把所有可能的組合全部試一遍」。這種解法在簡單 toy 範例上還能撐住,到真實規模(幾千組樣本)直接崩盤。

還有一個模式被點出來:模型經常卡在「局部最佳解」。它找到一種還行的解法,就停了下來,不再繼續探索。這就引出下一個問題——LLM 是不是結構性地欠缺這塊能力?還是只是工程問題?

為何 LLM 在這類題目上偏弱:三個工程視角

1. 訓練資料裡就缺少「演算法創新」樣本

預訓練語料來自網路。網路上有什麼?有 leetcode 題解、有論文、有 Stack Overflow 答案。但「人類創新演算法的過程紀錄」——那種在白板前耗 3 小時、從不懂到頓悟的日誌——極少公開。

就算有過程日誌,大多數是結果導向(最後寫「我們發明了 XX 演算法」),不會包含失敗、分支、回溯這些真實的創新軌跡。模型學的都是「完成品」的演算法,沒見過「誕生過程」。

2. 推理階段缺少系統化的探索策略

LLM 的推論是 autoregressive 的——一個 token 接一個 token,沒有真正的回溯機制。Chain-of-Thought、Self-Consistency 這些技巧提升了「多想一步」的能力,但本質上仍是沿著一條鏈往前走。

碰到需要大量探索的任務(innovational problem 的解法空間太大),應該用 Tree-of-Thought 或更結構化的搜尋(蒙地卡羅樹搜尋、演化演算法)。目前已經有人在做 Agent 化的 LLM,讓它能跑 long-running 探索任務——例如會自己改自己的程式碼、自己驗證結果。但前沿模型本身的原生推理,缺這塊。

順帶一提,這類「讓模型主動探索」的工程思路,跟 LangGraph 的狀態機驅動 Agent 設計是同一個脈絡——用工程框架補上模型原生推理的缺口。

3. 基準本身可能對模型不公平

必須留點餘地。InnovationEval 的評測形式裡有個隱藏陷阱:題目描述本身就是 prompt 的一部分。一道題「在問什麼」對人類來說可能很直觀(我們擅長語意理解),但對模型來說,題面模糊可能直接被解讀錯誤。

Epoch 自己也在 paper 中承認部分題目可能對 LLM 不友善——例如某些題需要特定的數學符號直覺,或是訓練資料稀缺的領域。這是基準設計的問題,不是純粹的能力問題。

這件事比想像中更重要

演算法創新能力是 AGI 討論中反覆提及的核心能力。OpenAI 的 o1/o3、Deep Research、Devin 這類產品,本質上都是在押注「AI 能不能做長鏈推理 + 自主探索」。如果模型連競賽難度的演算法題都解不開,那「AI 取代程式設計師」的敘事就得重新檢討。

但也別太悲觀。一來,這些題目本來就是為人類競賽設計的——頂尖選手也要花 3 小時。模型在 30 秒時間預算內被測,本身就不公平。

二來,Agent 化的 LLM(搭配搜尋 + 工具呼叫 + 長期記憶)在這類題目上還有巨大提升空間——已經有人在 ARC-AGI 這類基準上驗證過。

因此更精確的說法是:當前原生推理模式的 LLM,在這類題目上暫時不行。但「是否永遠不行」是另一個問題。

編輯思考

這件事揭示的可能是「評測瓶頸」而非「能力瓶頸」,而過去兩年 LLM 評測膨脹恰恰掩蓋了這一點。HumanEval、GSM8K、MMLU 都被刷到 95%+;ARC-AGI 在 2023 年模型只解 30%,2025 年某些模型能上 50%。能真正區分前沿模型與人類的基準越來越少,大部分排行榜只是幾個百分點的差距。

InnovationEval 算是補了一個缺口。它測的是「人類能輕鬆領先的能力」——這才是真正能拉開差距的題目。HumanEval 那種 96% vs 97% 的差距,在工程上沒意義;但 60% vs 5% 的差距,說明模型連這條賽道都還沒擠進來。

我的預測:三五年內,模型大概率會把 InnovationEval 分數刷到 70% 甚至 90%,路徑是搜尋 + 試錯 + 工具呼叫——而不是真正的演算法直覺。看一眼資料就猜到結構、零樣本試錯就拿到關鍵洞察,這種能力短期內很難在 autoregressive 模型上湧現。基準設計者如果只追著分數跑,會再次落入「模型漲分 ≠ 能力對等」的陷阱。

這一輪與過去不同的地方在於:這次測的不是「做得對不對」,而是「想不想得到」。前者可以靠記憶和模式匹配糊弄過去,後者沒法靠量堆。這才是 InnovationEval 真正刺到 LLM 痛點的地方。


參考:

  • InnovationEval 發布頁
  • Hacker News 原帖(46 分, 31 則評論):在 news.ycombinator.com 搜尋「InnovationEval Epoch AI」可找到
來源: https://epoch.ai/publications/innovationeval