Terminal-Bench 大家应该熟——之前测的是 Agent 在终端环境里写代码、跑命令的能力,主要看能不能完成一般性的编程任务。但这套框架的设计者显然觉得不够:「能不能写代码」已经不能区分 Agent 了,真正的分水岭是「能不能跑完整科研 workflow」。
于是就有了 Terminal-Bench-Science,专门评估 AI Agent 在科学研究工作流中的表现。它不是凭空造的新框架,而是基于已有的 Terminal-Bench 扩展,把任务场景从「写个排序算法」切到「复现一篇生物信息学论文的结果」。
首发当天登上了 Hacker News 首页,拿了 20 积分和 4 条评论。对一个新基准来说,这个开局算是有人关注。
这个 benchmark 到底测什么
先说清楚 Terminal-Bench-Science 和 SWE-bench、GAIA 的区别。
SWE-bench 测的是 Agent 看 GitHub issue 改代码、修 bug 的能力——输入是 issue 描述和代码仓库,输出是 patch。GAIA 更通用一点,测的是 Agent 能不能完成「需要多步推理+工具调用」的日常问题。
Terminal-Bench-Science 不一样,它要测的是 Agent 能不能完整跑一遍科研工作流:读论文 → 找数据 → 装环境 → 写代码 → 跑实验 → 处理报错 → 出结果 → 解释。每一个环节都可能挂。
发布页的原话是:「我们不是测单点能力,而是端到端 workflow。」这意味着任务设计不是为了看 Agent 在某个 isolated skill 上得几分,而是看它在真实研究场景里能不能把事情办成。
任务长什么样:80+ 个真实科研任务
基准里 80+ 个任务,覆盖三个领域:
- 生物学:基因序列分析、蛋白质折叠结果处理、单细胞测序数据可视化
- 材料科学:晶体结构计算、第一性原理模拟脚本编写
- 机器学习:论文实验复现、benchmark 跑分、数据集清洗
每个任务都不是「写个函数」这种程度,而是需要 Agent 在沙箱终端里连续操作几十步才能完成的东西。我看了几个示例任务,平均需要调用 20-50 次 shell 命令 + Python 代码 + 文件读写。
任务来源很有意思——大部分是从真实研究场景抽出来的,不是凭空设计的 benchmark puzzle。这点很关键:很多 Agent 评测都被诟病「任务太玩具」,Terminal-Bench-Science 至少在「真实」这一栏没被扣分。
举个例子(具体任务描述从 announcement 页面拿的):
任务:从一个公开的 scRNA-seq 数据集出发,复现论文里 Figure 3 的 UMAP 聚类图。Agent 需要自己找到数据源、装好 scanpy、调通 pipeline、处理内存溢出,最后画出一张可对比的图。
这种东西如果是真人做要几个小时,对 Agent 来说是个不小的考验。
当前模型表现:离「能干活的科研助手」还差多远
发布页给的初步结果挺扎心。
主流 Agent 在 Science 子集上的准确率普遍不高——具体数字我没看到完整表格,但从发布页的描述来看,远低于这些模型在 SWE-bench 上的 60%+ 表现。
GPT-5、Claude 4.5、Gemini 2.5 都跑了,结果都没有「惊艳」。最常见的失败模式:
- 环境配置直接卡住——科学计算依赖多,conda 环境、CUDA 版本、Python 包的 binary 兼容性,每一个都能让 Agent 原地打转
- 长程任务中途丢失目标——做到第 30 步忘了第 1 步想干啥
- 报错信息看不懂——科学工具的报错往往非常 verbose,Agent 抓不到关键点
这不是说这些模型「不行」,而是说明:科研 workflow 的复杂度,比写代码高一个数量级。
写代码你可以靠模式匹配,但跑科研实验需要 Agent 同时理解领域知识、工具栈、数据格式、统计意义——这已经不是单纯的 coding 能力了。
为什么这件事现在重要
2026 年 Agent 评测有个明显的趋势:从「能不能写代码」转向「能不能解决真实问题」。
几个里程碑:
- MLE-Bench:Kaggle 比赛的端到端复现
- LAB-Bench:生物实验设计和解读
- ScienceBoard:多模态科学推理
Terminal-Bench-Science 是这条线上的一个具体拼图。它和上面几个的差异是「终端原生」——Agent 必须在真实的命令行环境里完成任务,而不是在受控的 API 包装里点按钮。这点很关键,因为现实中科研人员的工作环境就是 terminal。
但它也有明显的局限:
- 任务规模 80+,相比 SWE-bench 的 2000+ 还差一个数量级
- 领域覆盖还是太窄——只有生物、材料、ML,化学、物理、地学都没碰
- 评测指标单一,没区分「完全成功」「部分成功」
所以现在说「Terminal-Bench-Science 是科研 Agent 的 SWE-bench」还太早。
编辑思考
这类基准的最大价值不是排名,是暴露 Agent 的真实短板。
具体到 Terminal-Bench-Science,我看到的不是「又一个 SOTA 测试」,而是三个被刻意放大的痛点:
- 长程推理脆弱:30 步以上的工作流,Agent 几乎必然走神。不是单次推理能力差,是「把多步推理串起来」这件事没真正解决。
- 工具调用容错:科学工具栈错一个字符就可能完全跑不通,Agent 缺乏「兜底 + 回滚 + 换路径」的策略。
- 科学常识缺失:很多任务失败不是因为代码写错,而是 Agent 不知道「这个领域这样做是错的」。代码能跑通,结果物理上没意义。
比起在 SWE-bench 上多卷 1%,研究社区更需要的是一个能区分「会用工具」和「真懂科研」的测试场。Terminal-Bench-Science 朝这个方向走了一步,但任务规模和领域覆盖还太小,结论性判断还需要等 6-12 个月。
我的预测:未来 12 个月里,会出现至少 3 个类似的「领域原生 benchmark」(化学、地球科学、天文)。它们的价值不在于给模型打榜,而在于逼着 Agent 从「编程工具」进化成「研究工具」。