Terminal-Bench-Science:專為科研而生的 Agent 基準測試,AI 真的會做實驗了嗎?
Terminal-Bench 大家應該不陌生——先前測的是 Agent 在終端機環境裡寫程式、跑指令的能力,主要看能不能完成一般性的程式設計任務。但這套框架的設計者顯然覺得還不夠:「會不會寫程式」已經無法區分 Agent 的好壞了,真正的分水嶺是「能不能跑完整的研究工作流程」。
於是就有了 Terminal-Bench-Science,專門評估 AI Agent 在科學研究流程中的表現。它並非憑空打造的新框架,而是在既有的 Terminal-Bench 基礎上延伸,把任務情境從「寫個排序演算法」切換到「重現一篇生物資訊論文的研究結果」。
發布當天登上 Hacker News 首頁,拿下 20 分積分和 4 則留言。對一個全新的基準測試來說,這個起手式算是有受到關注。
這個 benchmark 到底在測什麼
先說清楚 Terminal-Bench-Science 與 SWE-bench、GAIA 的差別。
SWE-bench 測的是 Agent 看 GitHub issue 改程式、修復 bug 的能力——輸入是 issue 描述和程式碼儲存庫,輸出是 patch。GAIA 再通用一些,測的是 Agent 能否完成「需要多步推理加上工具呼叫」的日常問題。
Terminal-Bench-Science 不一樣,它要測的是 Agent 能不能完整跑完一輪科研工作流程:讀論文 → 找資料 → 建環境 → 寫程式 → 跑實驗 → 處理錯誤 → 產出結果 → 進行詮釋。每一個環節都有可能出包。
發布頁的原話是:「我們不是測單一能力,而是端到端的工作流程。」這代表任務設計不是為了看 Agent 在某個獨立技能上拿幾分,而是看在真實的研究場景裡能不能把事情辦成。
任務長什麼樣:80+ 道真實科研任務
基準裡收錄超過 80 道任務,涵蓋三個領域:
- 生物學:基因序列分析、蛋白質折疊結果處理、單細胞定序資料視覺化
- 材料科學:晶體結構計算、第一原理模擬腳本撰寫
- 機器學習:論文實驗重現、benchmark 跑分、資料集清洗
每個任務都不是「寫個函式」這種程度,而是需要 Agent 在沙箱終端機中連續操作數十步才能完成的工作。我看了幾個範例任務,平均需要呼叫 20-50 次 shell 指令加 Python 程式碼加檔案讀寫。
任務來源很有意思——大部分是從真實研究場景抽出來的,不是憑空設計的 benchmark 謎題。這點非常關鍵:許多 Agent 評測都被詬病「任務太像玩具」,Terminal-Bench-Science 至少在「真實性」這一欄沒被扣分。
舉個例子(具體任務描述取自 announcement 頁面):
任務:從一個公開的 scRNA-seq 資料集出發,重現論文裡 Figure 3 的 UMAP 聚類圖。Agent 得自己找到資料來源、安裝好 scanpy、調通 pipeline、處理記憶體溢位,最後畫出一張可對比的圖。
這種工作如果是真人來做要花上好幾個小時,對 Agent 來說是個不小的考驗。
當前模型表現:離「能上工的科研助手」還差多遠
發布頁揭露的初步結果挺扎心的。
主流 Agent 在 Science 子集上的準確率普遍偏低——具體數字我沒看到完整表格,但從發布頁的描述來看,遠低於這些模型在 SWE-bench 上 60% 以上的表現。
GPT-5、Claude 4.5、Gemini 2.5 都有跑分,結果都沒有「驚艷」。最常見的失敗模式:
- 環境設定直接卡住——科學計算的相依套件多,conda 環境、CUDA 版本、Python 套件的 binary 相容性,每一個都能讓 Agent 原地打轉
- 長程任務中途迷失目標——做到第 30 步忘了第 1 步想做什麼
- 錯誤訊息看不懂——科學工具的錯誤訊息往往非常冗長,Agent 抓不到重點
這不是說這些模型「不行」,而是點出了一件事:科研工作流程的複雜度,比寫程式高出一個層級。
寫程式或許能靠模式匹配硬闖,但跑科研實驗需要 Agent 同時理解領域知識、工具鏈、資料格式、統計意涵——這早已不是單純的 coding 能力了。
為什麼這件事現在很重要
2026 年 Agent 評測有個明顯的趨勢:從「會不會寫程式」轉向「能不能解決真實問題」。
幾個重要的里程碑:
- MLE-Bench:Kaggle 競賽的端到端重現
- LAB-Bench:生物實驗設計與解讀
- ScienceBoard:多模態科學推理
Terminal-Bench-Science 是這條線上的一塊具體拼圖。它和上述幾個的差異在於「終端原生」——Agent 必須在真實的命令列環境裡完成任務,而不是在受控的 API 封裝裡按按鈕。這點很關鍵,因為現實中科研人員的工作環境就是 terminal。
但它也有明顯的限制:
- 任務規模 80+,相較於 SWE-bench 的 2000+ 還差一個量級
- 領域涵蓋還是太窄——只有生物、材料、ML,化學、物理、地學都沒觸及
- 評測指標單一,沒有區分「完全成功」與「部分成功」
所以現在就斷言「Terminal-Bench-Science 是科研 Agent 的 SWE-bench」還太早。
編輯觀點
這類基準最大的價值不是排名,而是揭露 Agent 的真實短板。
具體到 Terminal-Bench-Science,我看到的不是「又多一個 SOTA 測試」,而是三個被刻意放大的痛點:
- 長程推理脆弱:30 步以上的工作流程,Agent 幾乎必然恍神。不是單次推理能力差,而是「把多步推理串起來」這件事還沒真正解決。
- 工具呼叫容錯不足:科學工具鏈錯一個字元就可能完全跑不通,Agent 缺乏「兜底加回滾加換路徑」的策略。
- 科學常識欠缺:很多任務失敗不是因為程式寫錯,而是 Agent 不知道「這個領域這樣做是錯的」。程式碼能跑通,結果在物理上沒有意義。
比起在 SWE-bench 上多拚那 1%,研究社群更需要的是一個能區分「會用工具」與「真的懂科研」的試煉場。Terminal-Bench-Science 朝這個方向邁了一步,但任務規模和領域涵蓋都還太小,結論性的判斷還得再等 6-12 個月。
我的預測:未來 12 個月內,會出現至少 3 個類似的「領域原生 benchmark」(化學、地球科學、天文)。它們的價值不在於幫模型打榜,而在於逼著 Agent 從「寫程式工具」進化成「研究工具」。