Cognition 的 SWE-2 在 Terminal-Bench 2.1 上拿下 92.8 分。消息來源是第三方評測站 tokenstead.ai,不是 Cognition 官方。Hacker News 該帖 29 分、12 則留言,熱度中等偏低。
成績是真的,但問題也不少。下面拆開來看。
92.8 分到底代表什麼
Terminal-Bench 2.1 不是一般的程式碼生成測試。它讓 agent 在真實 Linux shell 環境中,分多步驟完成任務——裝相依套件、跑測試、修 bug、送出 patch。評量的不是「會不會寫程式」,而是「能不能像個初級工程師一樣在終端機裡做事」。
92.8 分是什麼水準?Terminal-Bench 先前的 SOTA 大概在 80 分附近徘徊,Claude Code、GPT-5、Devin 1.x 都在那個區間。92.8 是一次明顯的拉升,不是小幅進步。
不過要注意:Terminal-Bench 的題組是公開的。閉源模型跑這套題,理論上無法排除「訓練資料裡看過類似題目」的可能性。這個分數比較像是能力上限的指標,而不是真實生產力的證明。
至於有沒有接近真人工程師水準——Terminal-Bench 的人類 baseline 我沒看到具公信力的數字。如果有人手上有資料,歡迎指正。
這個成績的可疑之處
疑點一:消息來源是第三方
tokenstead.ai 是誰?一個第三方模型評測站。它沒有義務替 Cognition 背書,也沒有理由壓低分數。但它也不是 Terminal-Bench 官方。這種「非官方的官方數據」,可信度需要打折。
疑點二:閉源模型 + 無法復現
SWE-2 不是開源模型。第三方只能拿到 API 呼叫的結果,看不到權重、看不到訓練資料、看不到 prompt 範本。這代表:
- 其他人在相同條件下無法復現
- 沒辦法驗證是否「套殼」或「蒸餾過」
- 沒辦法驗證有沒有針對 Terminal-Bench 做特定優化
疑點三:復現材料付之闕如
官方有沒有發出完整的評測記錄、prompt、工具鏈設定?截至 HN 該帖(討論區連結:HN item?id=49646778),沒看到。如果 Cognition 真的在意這個成績,就應該把所有能公開的東西攤開來。
模型、工具組、還是工程閉環
Devin 1.0 時代,Cognition 走的是「基礎模型 + agent 框架」的路線。SWE-2 的 92.8 分,大概不全歸功於模型本身。
比較可能的改進方向有三:
-
Shell 狀態管理更穩
agent 在多步驟任務裡最容易出包的地方就是狀態——前一個指令改了環境變數,下一個指令就炸。如果 SWE-2 有一套更可靠的 shell sandbox(類似 Anthropic 的 sandboxed bash、或 Docker 隔離),分數會直接拉起來。 -
錯誤恢復機制更聰明
並非所有失敗都該重試,也並非所有失敗都該放棄。好的 agent 能區分 transient error(網路抖動、timeout)與 permanent error(邏輯錯誤、編譯不過),然後選擇不同的恢復策略。 -
上下文壓縮更激進
在長任務中,上下文很快就會爆炸。SWE-2 可能採用更狠的截斷或摘要策略——只保留與當前任務相關的歷史,把噪音丟掉。
這些改動聽起來不夠性感,但它們才是決定 agent 能不能真正幹活的關鍵。
為什麼 Hacker News 沒有炸鍋
29 分、12 則留言,對「刷榜 Terminal-Bench 2.1 SOTA」這種成績來說,熱度偏低。可能的原因有三:
-
社群信任度透支
Cognition 在 Devin 商業化上踩過坑——早期展示與實際使用體驗落差大,部分使用者失望。這份情緒會延燒到 SWE-2 的討論。 -
閉源 agent 評測天生受限
HN 的技術讀者偏好「開源可復現」。閉源模型在閉源榜單上拿高分,討論價值有限。 -
刷榜疲勞
這兩年 AI benchmark 已經被塞爆。每週都有「X 模型拿下 Y 榜單」的消息,大家已經麻痺。Terminal-Bench 也不是圈內最受矚目的 benchmark,關注度天花板有限。
編輯觀點
第三方榜單 vs 官方公告的天平,正在往第三方那一端傾斜。以前大家預設相信 OpenAI、Anthropic 的官方 benchmark,現在越來越多人要求看獨立、可復現的第三方數據。Cognition 這次選擇走 tokenstead.ai 而不是自己發部落格,可能就是這個趨勢的註腳。
閉源 agent 評測的信任危機,才是這次更深層的問題。模型閉源沒問題(商業考量),但評測方法必須公開、prompt 必須公開、工具鏈必須可稽核。否則 92.8 與 92.8 之間無法比較,數字就只是數字。
對未來 AI 軟體工程師賽道的影響:如果 SWE-2 真的穩在 90+ 分,Devin 的商業化敘事會重新有支撐——「AI 軟體工程師」不再是 PPT 概念,而是接近可用的工具。但前提是獨立驗證能跟上。我個人持中性偏懷疑的態度,因為單一 benchmark 高分到端到端可用,中間還隔著產品、UX、穩定性三道關卡。
這件事跟過去哪些不一樣?跟 GPT-5、Claude 4.5 那種「官方發榜 + 全網沸騰」的路徑不同,它走的是第三方小範圍傳播。這可能是一種新模式——官方不再搶首發,讓第三方先驗證。
不確定的地方:Terminal-Bench 的題組會不會很快被新一代 agent「摸透」,導致分數膨脹?這部分我沒結論,只能持續觀察。