实战

InnovationEval 基准:当前 AI 模型为何解不开人类能解的算法题

Epoch AI 新发的算法创新基准,前沿 LLM 集体翻车。问题在哪?

字号

Epoch AI 最近发了新基准 InnovationEval,专门测 AI 能不能"想出新算法"——而不是照搬已知套路。结果有点扎心:前沿模型在这上面集体翻车,连人类 baseline 都够不着。

Hacker News 上原帖拿了 46 分、31 条评论,首页热度。讨论里有人吐槽:模型拿到题就开始暴力枚举,死磕局部最优,完全没有"换个思路"的能力。

这事值得拆开看。

InnovationEval 测的到底是什么

普通代码基准(HumanEval、LiveCodeBench、MBPP 这些)考的是"能不能写对"。给定问题,LeetCode 风格,跑通测试用例就算赢。模型在这些题上分数刷得很高,96%、97% 一抓一大把。

但这些题有个前提:算法思路现成的,模型要做的是把脑子里的套路翻译成代码。

InnovationEval 不这么玩。它测的是"算法创新"——能不能从零自己想出新颖的计算策略。具体题型是这样的:

  • 给一个问题描述(可能带一个 toy 例子)
  • 给一堆输入数据(可能有上千个测试样例)
  • 要求给出黑盒函数,对每个输入返回正确答案
  • 函数可以看历史样本,但没有标答
  • 真正的题面是隐藏的:你看不到明确的"问题陈述",只能从数据里反推要干什么

这个设定很关键。模型必须自己"悟"出题目在问什么——相当于竞赛里的 interactive problem。你提交答案后会得到对错反馈,但没有标答和思路。

举两个具体例子感受一下:

例子 1(Epoch 公开的):题目叫"Counting Rearrangements"。给你一堆操作序列,要求预测某种特定重排的总数。人类参赛者 3 小时,跑过 370 多个样本就能找到 O(n log n) 的解法,Top 人类在大型测试上打到 100%。

例子 2:题目是某种 packing 问题——把物品装进容器,最小化某种代价。人类能想到贪心 + 启发式搜索,模型则倾向于暴力搜索所有组合。

Epoch AI 在算法竞赛圈子里请了一波人来测,这些可不是"普通用户",而是 ICPC 选手、研究员、专门打竞赛的人。他们的 baseline,就是模型要跨的线。

跑分结果:哪些模型栽了

Epoch AI 测了一批前沿模型。原始 paper 里给出的具体数字大概是这样的(取自他们 2025 年的报告):

  • 人类专家:60%(top 选手在大型数据集上的平均表现)
  • GPT 系列(包括 GPT-4、GPT-4o):约 2-8% 通过率(4 题对应不同难度)
  • Claude 系列:略高于 GPT,但也没超过 15%
  • Gemini 系列:类似水平

换句话说,当前最强的 LLM 连人类水平的一半都不到。

HN 评论区里,有人直接说模型陷入"暴力枚举"模式——因为这些题没有明确的题面,模型只能靠看数据反推目标,所以倾向于"把可能的组合全部试一遍"。这种解法在简单 toy 例子上还能糊弄,到真实规模(几千个样本)直接崩盘。

还有一个模式被点出来:模型经常卡在"局部最优"。它找到一种还行的解法,就停下来了,不再继续探索。这就引出了下一个问题——LLM 是不是结构性地缺这块能力?还是只是工程问题?

为什么 LLM 在这类题上弱:三个工程视角

1. 训练数据里就没多少"算法创新"样本

预训练语料来自互联网。互联网里有什么?有 leetcode 题解、有论文、有 Stack Overflow 答案。但"人类创新算法的过程记录"——那种在白板前 3 小时,从不懂到顿悟的日志——极少公开。

就算有过程日志,大多数是结果导向(最后说"我们发明了 XX 算法"),不会包含失败-分支-回溯这些真实创新轨迹。模型学的都是"完成态"的算法,没见过"诞生过程"。

2. 推理时缺少系统化的探索策略

LLM 的推理是autoregressive的——一个 token 接一个 token,没有真正的回溯机制。Chain-of-Thought、Self-Consistency 这些技巧提升了"多想一步"的能力,但本质上还是沿着一条链走。

碰到需要大量探索的任务(innovational problem 解法空间太大),应该用 Tree-of-Thought 或者更结构化的搜索(蒙特卡洛树搜索、进化算法)。现在已经有人在做 Agent 化的 LLM 让它能跑 long-running 探索任务——比如会自己改自己代码、自己验结果。但前沿模型本身的原生推理,缺这块。

顺带说,这类"让模型主动探索"的工程思路,跟 LangGraph 的状态机驱动 Agent 设计是一个路子——用工程框架补充模型原生推理的短板。

3. 基准本身可能对模型不公平

必须留点余地。InnovationEval 的评估形式里有个隐藏坑:题目描述本身就是 prompt 的一部分。一道题"问什么"对人类来说可能很直观(我们擅长语义理解),但对模型来说,题面模糊可能直接被解读错误。

Epoch 自己也在 paper 里承认部分题可能对 LLM 不友好——比如某些题需要特定的数学符号直觉,训练数据稀缺的领域。这是基准设计的问题,不是纯粹的能力问题。

这件事比想象中重要

算法创新能力是 AGI 讨论里反复提到的核心能力。OpenAI 的 o1/o3、Deep Research、Devin 这类产品,本质上都是在赌"AI 能不能做长链推理 + 自主探索"。如果模型连比赛难度的算法题都解不开,那"AI 取代程序员"的叙事就要打折。

但也别太悲观。一来,这些题本来就是为人类竞赛设计的——顶尖选手也要花 3 小时。模型在 30 秒时间预算内被测,本身就不公平。

二来,Agent 化的 LLM(配搜索 + 工具调用 + 长期记忆)在这类题上还有巨大提升空间——已经有人在 ARC-AGI 这类基准上证明过。

所以更准确的说法是:当前原生推理模式的 LLM,在这类题上暂时不行。但"是否永远不行"是另一个问题。

编辑思考

这件事揭示的可能是"评测瓶颈"而非"能力瓶颈",而过去两年 LLM 评测通胀恰恰掩盖了这一点。HumanEval、GSM8K、MMLU 都被刷到 95%+;ARC-AGI 2023 年模型只解 30%,2025 年某些模型能上 50%。能真正区分前沿模型和人类的基准越来越少,大部分排行榜只是几个百分点的差距。

InnovationEval 算是补了一个缺口。它测的是"人类能轻松领先的能力"——这才是真正能拉开差距的题。HumanEval 那种 96% vs 97% 的差距,在工程上没意义;但 60% vs 5% 的差距,说明模型连这条赛道都没挤进来。

我的预测:三五年内,模型大概率会把 InnovationEval 分数刷到 70% 甚至 90%,路径是搜索 + 试错 + 工具调用——而不是真正的算法直觉。看一眼数据就猜到结构、0 样本试错拿到关键洞察,这种能力短期内很难在 autoregressive 模型上涌现。基准设计者如果只追着分数跑,会再次落入"模型涨分 ≠ 能力对等"的陷阱。

这一轮和过去不同的地方在于:这次测的不是"做得对不对",而是"想不想得到"。前者可以靠记忆和模式匹配糊弄过去,后者没法靠量堆。这才是 InnovationEval 真正刺到 LLM 痛点的地方。


参考:
- InnovationEval 发布页
- Hacker News 原帖(46 分, 31 评论):搜索 "InnovationEval Epoch AI" 在 news.ycombinator.com 可找到

来源: https://epoch.ai/publications/innovationeval