产品

Cognition SWE-2 拿下 92.8 分,Terminal-Bench 纪录背后的三个疑问

第三方评测站 tokenstead.ai 放出 SWE-2 成绩,刷新 Terminal-Bench 2.1 纪录。92.8 分背后是模型、工具集还是工程闭环?先别急着下结论。

字号

Cognition 的 SWE-2 在 Terminal-Bench 2.1 上拿了 92.8 分。新闻源是第三方评测站 tokenstead.ai(来源链接),不是 Cognition 官方。Hacker News 这帖 29 积分、12 条评论,热度中等偏低。

成绩是真的,但问题也不少。下面拆开看。

92.8 分到底意味着什么

Terminal-Bench 2.1 不是普通代码生成测试。它让 agent 在真实 Linux shell 环境里多步骤完成任务——装依赖、跑测试、修 bug、提交补丁。评测的不是"会不会写代码",而是"能不能像一个初级工程师那样在终端里干活"。

92.8 分是什么水平?Terminal-Bench 的 SOTA 之前在 80 分附近晃,Claude Code、GPT-5、Devin 1.x 都在那个区间。92.8 是一次明显的拉升,不是小幅进步。

但要注意:Terminal-Bench 的 task 集是公开的。闭源模型刷这套题,理论上没法排除训练数据里"见过类似题"的可能性。这个分数更像一个能力上限的指示,而不是真实生产力的证明。

至于有没有接近人类工程师水平——Terminal-Bench 的人类 baseline 我没看到权威数字。如果有人拿到了,欢迎指正。

这个成绩的可疑之处

疑点一:新闻源是第三方

tokenstead.ai 是谁?一个第三方模型评测站。它没有义务替 Cognition 站台,也没有理由压低分数。但它也不是 Terminal-Bench 官方。这种"非官方的官方数据",可信度需要打折。

疑点二:闭源模型 + 不可复现

SWE-2 不是开源模型。第三方只能拿到 API 调用的结果,看不到权重,看不到训练数据,看不到 prompt 模板。这意味着:

  • 别人没法在同样的条件下复现
  • 没法验证是不是"套壳"或者"蒸馏过"
  • 没法验证有没有针对 Terminal-Bench 做特定优化

疑点三:复现材料缺失

官方有没有发完整的评测日志、prompt、工具链配置?截至 HN 这帖(讨论区链接:HN item?id=49646778),没看到。如果 Cognition 真的在乎这个成绩,应该把所有能公开的东西公开。

模型、工具集、还是工程闭环

Devin 1.0 时代,Cognition 走的是"基础模型 + agent 框架"的路线。SWE-2 的 92.8 分,大概率不全是模型本身的功劳。

更可能的三个改进方向:

  1. Shell 状态管理更稳
    agent 在多步骤任务里最容易翻车的地方是状态——上一个命令改了环境变量,下一个命令就崩。如果 SWE-2 有一套更可靠的 shell sandbox(类似 Anthropic 的 sandboxed bash、或者 Docker 隔离),分数会直接拉起来。

  2. 错误恢复机制更聪明
    不是所有失败都该重试,也不是所有失败都该放弃。好的 agent 能区分 transient error(网络抖、timeout)和 permanent error(逻辑错、编译不过),然后选不同的恢复策略。

  3. 上下文压缩更激进
    长任务里,上下文很快会爆。SWE-2 可能用了一种更狠的截断或摘要策略——只保留当前任务相关的 history,扔掉噪音。

这些改动听起来不够性感,但它们才是 agent 真正能不能干活的关键。

为什么 Hacker News 没炸

29 积分、12 条评论,对"刷榜 Terminal-Bench 2.1 SOTA"这种成绩来说,热度偏低。原因可能有三:

  • 社区信任度透支
    Cognition 在 Devin 商业化上有过争议——早期演示和真实使用体验差距大,部分用户失望。这部分情绪会带到 SWE-2 的讨论里。

  • 闭源 agent 评测天然受限
    HN 的技术受众对"开源可复现"有偏好。闭源模型拿一个闭源榜单的高分,讨论价值有限。

  • 刷榜疲劳
    AI benchmark 这两年挤爆了。每周都有"X 模型拿下 Y 榜单"的消息,大家已经麻了。Terminal-Bench 也不是圈内最受关注的 benchmark,关注度天花板有限。

编辑思考

第三方榜单 vs 官方公告的天平,正在往第三方倾斜。以前大家默认相信 OpenAI、Anthropic 的官方 benchmark,现在越来越多人要看独立的、可复现的第三方数据。Cognition 这次走 tokenstead.ai 而不是自己发 blog,可能就是这个趋势的注脚。

闭源 agent 评测的信任危机,是这次更深层的问题。模型闭源没问题(商业考量),但评测方法必须公开、prompt 必须公开、工具链必须可审计。否则 92.8 和 92.8 之间没法比较,数字就只是数字。

对未来 AI 软件工程师赛道的影响:如果 SWE-2 真的稳在 90+ 分,Devin 的商业化叙事会重新有支撑——"AI 软件工程师"不再是 PPT 概念,而是接近可用的工具。但前提是独立验证能跟上。我个人持中性偏怀疑的态度,因为单点 benchmark 高分到端到端可用,中间还隔着产品、UX、稳定性三道坎。

这件事和过去哪些不同?和 GPT-5、Claude 4.5 那种"官方发榜+全网沸腾"的路径不一样,它走的是第三方小范围传播。这可能是一个新范式——官方不再抢首发,让第三方先验证。

不确定的地方:Terminal-Bench 的 task 集会不会很快被新一代 agent "摸透",导致分数通胀?这个我没结论,只能观察。

来源: https://tokenstead.ai/models/swe-2