观点

DeepSWE 刷高分之后,AI Agent 基准还能信吗

MaxxBench 追问 DeepSWE 高分是否真实、能否复现。本文拆解代码 Agent 基准的四个缺口,并给出可复现评测与任务级报告方案。

字号

MaxxBench 没有复述 DeepSWE 的成绩,而是追问:“Nice DeepSWE score. But is it true?” 争议不只在排名,更在榜单能否测出真实、可复现的软件工程能力。

高分之后,先别急着庆祝

代码 Agent 榜单又出现了一个漂亮成绩。

MaxxBench 随后发布研究文章《Why MaxxBench》,没有急着复述 DeepSWE 的成绩,而是先问了一句:

“Nice DeepSWE score. But is it true?”

这是一句很克制、也很重的话。

它不直接说 DeepSWE 造假,也不宣布某个分数无效。它追问的是更底层的问题:Agent 提交的结果,真的完成了任务吗?

MaxxBench 用于评估 AI 软件工程代理的表现。目前公开摘要把研究重点放在 DeepSWE 高分的真实性与可复现性上。原文链接在这里:

  • 研究原文:https://maxxbench.unlap.ai/research/why-maxxbench/
  • Hacker News 讨论:https://news.ycombinator.com/item?id=50406222

这篇研究登上了 Hacker News 首页,获得 77 分和 15 条评论。

开发者关心的显然不是谁拿了第一。他们更在意:这样的榜单,以后还能不能区分 Agent 的真实能力?

先说清楚边界。现有摘要没有披露 DeepSWE 的具体分数、任务样本、复现次数或环境配置。因此,不能据此判定它的成绩造假。

但“没有造假证据”也不等于“高分已经被证明可靠”。

这两件事不能混在一起。

基准测的是解题,还是做工程

代码 Agent 基准通常会给出软件仓库、Issue 和一组测试。Agent 修改代码,提交结果。测试通过,任务就算完成。

这个流程适合做自动评测。但它测到的,可能只是“解题”,不是完整的“工程”。

至少要拆成四层。

第一层是需求理解。

Issue 里写的是“修复用户导出失败”,Agent 可能只让现有测试变绿,却没有处理空文件、超大文件、权限错误或异常编码。测试没覆盖,不等于需求已经满足。

第二层是代码正确性。

公开测试通过,只能证明公开样例满足断言。隐藏测试可能覆盖边界条件、并发问题和旧功能回归。

第三层是可维护性。

为了通过测试,Agent 可能复制逻辑、绕过校验、硬编码输入,或者把修复集中在错误的抽象层。以后来了新需求,维护成本会继续上升。

第四层才是交付能力。

代码能编译,不代表能部署;能部署,不代表能排障;能跑通本地脚本,也不代表能在 CI、容器和依赖版本变化后稳定工作。

真实软件工程不是“让测试变绿”这一件事。它包括读代码、定位边界、修改多个模块、验证副作用,并留下别人能理解的改动。

所以,Agent 基准至少应该同时报告两件事:

  • 任务是否通过测试
  • 任务是否按需求完成

如果只有第一个数字,它更接近代码修复竞赛。它有价值,但不能直接叫作真实软件工程能力排行榜。

可复现性缺口,比分数更值得查

评价一次 Agent 运行,至少要固定这些变量:

变量 为什么重要
模型与版本 API 模型可能静默更新,同名模型未必还是同一权重
Prompt 与上下文 Agent 行为可能随系统提示词变化
工具权限 能否联网、读全仓库、运行任意命令会直接影响结果
工具实现 shell、编辑器、搜索和测试工具的差异会影响轨迹
仓库快照 主分支变化后,Issue 和依赖都可能不同
依赖环境 Python、Node.js、编译器和系统包版本需要锁定
评分脚本 测试是否完整、断言是否准确,决定最终分数
重试与预算 重跑次数、token 上限、时间和成本必须写进规则

这里有个很实际的问题。

很多 Agent 榜单公开了任务集和最终成绩,却没有公开完整的运行记录。别人看到的是“90 分”,看不到它究竟用了哪个模型快照、调用过哪些工具、改过哪些文件、测试运行了几遍。

这不是“神秘感”问题,而是实验设计问题。

一个不可复现的结果,无法承担横向比较的职责。

更稳妥的做法,是把每次运行都保存成结构化记录。至少包括模型配置、容器镜像摘要、仓库 commit、工具列表、预算限制、最终 diff 和评分日志。

例如,评测方可以给每次运行生成一份 manifest:

{
  "task_id": "export-empty-file",
  "repository_commit": "0123456789abcdef",
  "model": "provider/model@2026-08-01",
  "system_prompt_sha256": "<64位十六进制摘要>",
  "docker_digest": "sha256:<镜像摘要>",
  "tool_permissions": ["read_repo", "edit_repo", "run_test"],
  "max_steps": 50,
  "max_cost_usd": 5.0,
  "score_script_sha256": "<64位十六进制摘要>"
}

这不是要求所有 Agent 都公开商业内部数据。公开可复现子集,也比只发一张总榜更有用。

HN 讨论为何集中在基准失效

这篇研究登上 Hacker News 首页,获得 77 分和 15 条评论。

讨论重点没有停留在某个模型的输赢,而是基准失效。

原因并不难理解。

开发者每天都在看 GitHub Issue、CI 失败和线上 trace。对他们来说,Agent 跑通一道题,和它能不能接住一个真实仓库,是两回事。

公开测试还有一种典型问题:测试本身成了待优化目标。

Agent 会学习评测器的形状。隐藏测试比公开测试更难针对,但仍不等于需求验收。仓库越大、测试越完整,测试通过与正确实现的距离通常越近;小型、边界稀疏的任务,这个距离可能很大。

另一个问题是任务难度和 Agent 能力一起变化。

今天能通过 Issue,明天可能换了一种搜索策略、后端模型或工具封装。榜单看似在比较模型,实际比较的是模型、工具、脚手架和预算的组合。

这不意味着基准没有价值。

没有统一任务,Agent 研发连方向都看不清。基准仍然需要。只是它应该被当作实验台,而不是职业资格认证。

别用换榜替代修题

Agent 评测下一步该做什么?

第一,保留隐藏测试,但别让它成为唯一裁判。

隐藏测试可以减少针对公开断言作弊。人工验收则需要检查需求覆盖、代码质量和副作用。两者应该组合,不该互相替代。

第二,加入历史代码仓库。

任务最好来自真实 Issue,并带有多个提交、关联 PR、回归测试和旧版本行为。Agent 要读的不只是当前目录,而是一个有时间线的系统。

第三,记录完整轨迹。

最终 diff 之外,还要保存工具调用、测试输出、失败重试和决策日志。这样才能区分两种情况:Agent 定位问题后修复,或者碰巧命中了测试。

第四,公开多次运行结果。

单次成功很容易受随机性和环境波动影响。至少报告运行次数、成功率和置信区间,而不是只给最好的一次。

第五,把评分拆开。

测试通过率、人工验收率、平均成本、平均耗时、工具调用数和无效修改次数可以分别展示。开发者才能判断一个 Agent 是“更准”,还是“更贵”。

我更倾向把最终榜单做成任务级报告:

Task: fix-export-empty-file
Automated tests: passed
Manual acceptance: failed
Reason: CSV header missing for empty input
Invalid edits: 2
Cost: $1.42
Elapsed: 4m 18s

这种报告不够性感。但它能回答工程团队真正关心的问题。

编辑思考

这次值得关注,不只是 DeepSWE 得分,而是 AI Agent 已经进入真实软件任务竞争。争议的重心因此从“模型会不会写说明”转向“工程过程能否被验证”。过去我们看模型发布稿,知道里面有精选样例;现在看 Agent 榜单,却可能误把一段运行记录当成稳定能力。不同就在这里:Agent 的答案是一整条操作链,仓库状态、工具权限和重试策略都会影响终点。但目前公开摘要缺少具体分数、样本量、复现次数和环境配置,我不能断言 DeepSWE 刷榜。我的判断是,下一轮 Agent 基准的胜负手不会是再换一个总分更高的榜单,而是谁能让任务、轨迹和失败原因经得起第三方重跑。

来源

  • https://maxxbench.unlap.ai/research/why-maxxbench/
来源: https://maxxbench.unlap.ai/research/why-maxxbench/