MaxxBench 没有复述 DeepSWE 的成绩,而是追问:“Nice DeepSWE score. But is it true?” 争议不只在排名,更在榜单能否测出真实、可复现的软件工程能力。
高分之后,先别急着庆祝
代码 Agent 榜单又出现了一个漂亮成绩。
MaxxBench 随后发布研究文章《Why MaxxBench》,没有急着复述 DeepSWE 的成绩,而是先问了一句:
“Nice DeepSWE score. But is it true?”
这是一句很克制、也很重的话。
它不直接说 DeepSWE 造假,也不宣布某个分数无效。它追问的是更底层的问题:Agent 提交的结果,真的完成了任务吗?
MaxxBench 用于评估 AI 软件工程代理的表现。目前公开摘要把研究重点放在 DeepSWE 高分的真实性与可复现性上。原文链接在这里:
- 研究原文:https://maxxbench.unlap.ai/research/why-maxxbench/
- Hacker News 讨论:https://news.ycombinator.com/item?id=50406222
这篇研究登上了 Hacker News 首页,获得 77 分和 15 条评论。
开发者关心的显然不是谁拿了第一。他们更在意:这样的榜单,以后还能不能区分 Agent 的真实能力?
先说清楚边界。现有摘要没有披露 DeepSWE 的具体分数、任务样本、复现次数或环境配置。因此,不能据此判定它的成绩造假。
但“没有造假证据”也不等于“高分已经被证明可靠”。
这两件事不能混在一起。
基准测的是解题,还是做工程
代码 Agent 基准通常会给出软件仓库、Issue 和一组测试。Agent 修改代码,提交结果。测试通过,任务就算完成。
这个流程适合做自动评测。但它测到的,可能只是“解题”,不是完整的“工程”。
至少要拆成四层。
第一层是需求理解。
Issue 里写的是“修复用户导出失败”,Agent 可能只让现有测试变绿,却没有处理空文件、超大文件、权限错误或异常编码。测试没覆盖,不等于需求已经满足。
第二层是代码正确性。
公开测试通过,只能证明公开样例满足断言。隐藏测试可能覆盖边界条件、并发问题和旧功能回归。
第三层是可维护性。
为了通过测试,Agent 可能复制逻辑、绕过校验、硬编码输入,或者把修复集中在错误的抽象层。以后来了新需求,维护成本会继续上升。
第四层才是交付能力。
代码能编译,不代表能部署;能部署,不代表能排障;能跑通本地脚本,也不代表能在 CI、容器和依赖版本变化后稳定工作。
真实软件工程不是“让测试变绿”这一件事。它包括读代码、定位边界、修改多个模块、验证副作用,并留下别人能理解的改动。
所以,Agent 基准至少应该同时报告两件事:
- 任务是否通过测试
- 任务是否按需求完成
如果只有第一个数字,它更接近代码修复竞赛。它有价值,但不能直接叫作真实软件工程能力排行榜。
可复现性缺口,比分数更值得查
评价一次 Agent 运行,至少要固定这些变量:
| 变量 | 为什么重要 |
|---|---|
| 模型与版本 | API 模型可能静默更新,同名模型未必还是同一权重 |
| Prompt 与上下文 | Agent 行为可能随系统提示词变化 |
| 工具权限 | 能否联网、读全仓库、运行任意命令会直接影响结果 |
| 工具实现 | shell、编辑器、搜索和测试工具的差异会影响轨迹 |
| 仓库快照 | 主分支变化后,Issue 和依赖都可能不同 |
| 依赖环境 | Python、Node.js、编译器和系统包版本需要锁定 |
| 评分脚本 | 测试是否完整、断言是否准确,决定最终分数 |
| 重试与预算 | 重跑次数、token 上限、时间和成本必须写进规则 |
这里有个很实际的问题。
很多 Agent 榜单公开了任务集和最终成绩,却没有公开完整的运行记录。别人看到的是“90 分”,看不到它究竟用了哪个模型快照、调用过哪些工具、改过哪些文件、测试运行了几遍。
这不是“神秘感”问题,而是实验设计问题。
一个不可复现的结果,无法承担横向比较的职责。
更稳妥的做法,是把每次运行都保存成结构化记录。至少包括模型配置、容器镜像摘要、仓库 commit、工具列表、预算限制、最终 diff 和评分日志。
例如,评测方可以给每次运行生成一份 manifest:
{
"task_id": "export-empty-file",
"repository_commit": "0123456789abcdef",
"model": "provider/model@2026-08-01",
"system_prompt_sha256": "<64位十六进制摘要>",
"docker_digest": "sha256:<镜像摘要>",
"tool_permissions": ["read_repo", "edit_repo", "run_test"],
"max_steps": 50,
"max_cost_usd": 5.0,
"score_script_sha256": "<64位十六进制摘要>"
}
这不是要求所有 Agent 都公开商业内部数据。公开可复现子集,也比只发一张总榜更有用。
HN 讨论为何集中在基准失效
这篇研究登上 Hacker News 首页,获得 77 分和 15 条评论。
讨论重点没有停留在某个模型的输赢,而是基准失效。
原因并不难理解。
开发者每天都在看 GitHub Issue、CI 失败和线上 trace。对他们来说,Agent 跑通一道题,和它能不能接住一个真实仓库,是两回事。
公开测试还有一种典型问题:测试本身成了待优化目标。
Agent 会学习评测器的形状。隐藏测试比公开测试更难针对,但仍不等于需求验收。仓库越大、测试越完整,测试通过与正确实现的距离通常越近;小型、边界稀疏的任务,这个距离可能很大。
另一个问题是任务难度和 Agent 能力一起变化。
今天能通过 Issue,明天可能换了一种搜索策略、后端模型或工具封装。榜单看似在比较模型,实际比较的是模型、工具、脚手架和预算的组合。
这不意味着基准没有价值。
没有统一任务,Agent 研发连方向都看不清。基准仍然需要。只是它应该被当作实验台,而不是职业资格认证。
别用换榜替代修题
Agent 评测下一步该做什么?
第一,保留隐藏测试,但别让它成为唯一裁判。
隐藏测试可以减少针对公开断言作弊。人工验收则需要检查需求覆盖、代码质量和副作用。两者应该组合,不该互相替代。
第二,加入历史代码仓库。
任务最好来自真实 Issue,并带有多个提交、关联 PR、回归测试和旧版本行为。Agent 要读的不只是当前目录,而是一个有时间线的系统。
第三,记录完整轨迹。
最终 diff 之外,还要保存工具调用、测试输出、失败重试和决策日志。这样才能区分两种情况:Agent 定位问题后修复,或者碰巧命中了测试。
第四,公开多次运行结果。
单次成功很容易受随机性和环境波动影响。至少报告运行次数、成功率和置信区间,而不是只给最好的一次。
第五,把评分拆开。
测试通过率、人工验收率、平均成本、平均耗时、工具调用数和无效修改次数可以分别展示。开发者才能判断一个 Agent 是“更准”,还是“更贵”。
我更倾向把最终榜单做成任务级报告:
Task: fix-export-empty-file
Automated tests: passed
Manual acceptance: failed
Reason: CSV header missing for empty input
Invalid edits: 2
Cost: $1.42
Elapsed: 4m 18s
这种报告不够性感。但它能回答工程团队真正关心的问题。
编辑思考
这次值得关注,不只是 DeepSWE 得分,而是 AI Agent 已经进入真实软件任务竞争。争议的重心因此从“模型会不会写说明”转向“工程过程能否被验证”。过去我们看模型发布稿,知道里面有精选样例;现在看 Agent 榜单,却可能误把一段运行记录当成稳定能力。不同就在这里:Agent 的答案是一整条操作链,仓库状态、工具权限和重试策略都会影响终点。但目前公开摘要缺少具体分数、样本量、复现次数和环境配置,我不能断言 DeepSWE 刷榜。我的判断是,下一轮 Agent 基准的胜负手不会是再换一个总分更高的榜单,而是谁能让任务、轨迹和失败原因经得起第三方重跑。
来源
- https://maxxbench.unlap.ai/research/why-maxxbench/