MaxxBench 沒有直接重述 DeepSWE 的成績,而是提出了一個更根本的問題:「Nice DeepSWE score. But is it true?」爭議焦點不只在排名,更在榜單能否測出真實且可重現的軟體工程能力。
高分之後,先別急著慶祝
程式碼 Agent 榜單又出現了一個亮眼成績。
MaxxBench 接著發表研究文章《Why MaxxBench》,沒有急著重述 DeepSWE 的成績,而是先問了一句:
「Nice DeepSWE score. But is it true?」
這句話十分克制,卻也點出了關鍵。
它沒有直接指控 DeepSWE 造假,也沒有宣告某個分數無效。它追問的是更底層的問題:Agent 提交的結果,真的完成了任務嗎?
MaxxBench 用於評估 AI 軟體工程代理的表現。目前公開摘要將研究重點放在 DeepSWE 高分的真實性與可重現性上。原文連結如下:
- 研究原文:https://maxxbench.unlap.ai/research/why-maxxbench/
- Hacker News 討論:https://news.ycombinator.com/item?id=50406222
這篇研究登上 Hacker News 首頁,獲得 77 分與 15 則留言。
開發者真正關心的顯然不是誰拿下第一。他們更在意的是:這類榜單未來還能不能區分 Agent 的真實能力?
先釐清判斷範圍。現有摘要未揭露 DeepSWE 的具體分數、任務樣本、重現次數或環境設定,因此不能據此判定它的成績造假。
但「沒有造假證據」不等於「高分已獲證明可靠」。
這兩件事不能混為一談。
基準測的是解題,還是做工程
程式碼 Agent 基準通常會提供軟體儲存庫、Issue 與一組測試。Agent 修改程式碼並提交結果,只要測試通過,任務就算完成。
這套流程適合自動評測,但它測到的可能只是「解題」,而不是完整的「工程」。
至少可以拆成四個層次。
第一層是需求理解。
Issue 可能只寫著「修復使用者匯出失敗」,Agent 或許只讓現有測試變綠,卻沒有處理空檔案、超大檔案、權限錯誤或異常編碼。測試未涵蓋,不代表需求已獲滿足。
第二層是程式碼正確性。
公開測試通過,只能證明公開範例滿足了斷言。隱藏測試可能涵蓋邊界條件、並行問題與舊功能回歸。
第三層是可維護性。
為了通過測試,Agent 可能複製邏輯、繞過驗證、硬編碼輸入,或將修補放在錯誤的抽象層。未來新增需求後,維護成本仍會持續上升。
第四層才是交付能力。
程式碼能編譯,不代表能部署;能部署,不代表能排除故障;能在本機執行腳本,也不代表能在 CI、容器與相依套件版本變動後穩定運作。
真實的軟體工程並非只是「讓測試變綠」。它還包括閱讀程式碼、定位邊界、修改多個模組、驗證副作用,以及留下其他人能理解的變更。
因此,Agent 基準至少應同時報告兩件事:
- 任務是否通過測試
- 任務是否依需求完成
如果只有第一個數字,它更接近程式碼修補競賽。這類榜單仍有價值,但不能直接當成真實軟體工程能力的排名依據。
可重現性缺口,比分數更值得追查
評估一次 Agent 執行,至少需要固定以下變數:
| 變數 | 重要性 |
|---|---|
| 模型與版本 | API 模型可能在幕後更新,同名模型未必仍使用相同權重 |
| Prompt 與上下文 | Agent 行為可能隨系統提示詞而改變 |
| 工具權限 | 能否連網、讀取完整儲存庫及執行任意指令,都會直接影響結果 |
| 工具實作 | shell、編輯器、搜尋與測試工具的差異會影響執行軌跡 |
| 儲存庫快照 | 主分支變動後,Issue 與相依套件也可能不同 |
| 相依環境 | Python、Node.js、編譯器與系統套件版本都需要固定 |
| 評分腳本 | 測試是否完整、斷言是否準確,決定最終分數 |
| 重試與預算 | 重跑次數、token 上限、時間與成本都必須列入規則 |
這裡有個非常實際的問題。
許多 Agent 榜單會公開任務集與最終成績,卻不公開完整的執行紀錄。其他人只看到「90 分」,卻看不到它使用哪個模型快照、呼叫過哪些工具、修改過哪些檔案,以及測試跑了幾遍。
這不是製造「神秘感」的問題,而是實驗設計的問題。
無法重現的結果,無法承擔橫向比較的責任。
更穩妥的做法,是將每次執行保存為結構化紀錄。內容至少應包含模型設定、容器映像摘要、儲存庫 commit、工具列表、預算限制、最終 diff 與評分日誌。
例如,評測方可以為每次執行產生一份 manifest:
{
"task_id": "export-empty-file",
"repository_commit": "0123456789abcdef",
"model": "provider/model@2026-08-01",
"system_prompt_sha256": "<64位十六進位摘要>",
"docker_digest": "sha256:<映像摘要>",
"tool_permissions": ["read_repo", "edit_repo", "run_test"],
"max_steps": 50,
"max_cost_usd": 5.0,
"score_script_sha256": "<64位十六進位摘要>"
}
這並不是要求所有 Agent 公開內部商業資料。相較於只發布一張總榜,公開可重現的子集仍然更有用。
HN 討論為何聚焦基準失效
這篇研究登上 Hacker News 首頁,獲得 77 分與 15 則留言。
討論重點沒有停留在某個模型的勝負,而是基準失效的問題。
原因並不難理解。
開發者每天都在查看 GitHub Issue、CI 失敗與線上 trace。對他們而言,Agent 跑通一道題,和它能否接手一個真實儲存庫,是兩回事。
公開測試還有一個典型問題:測試本身會成為待最佳化目標。
Agent 會學習評測器的形式。隱藏測試比公開測試更難被針對,但依然不等同於需求驗收。儲存庫越大、測試越完整,測試通過與正確實作之間的距離通常越近;小型且邊界稀疏的任務,兩者之間的差距可能很大。
另一個問題是,任務難度與 Agent 能力會同步改變。
今天能通過的 Issue,明天可能換成另一種搜尋策略、後端模型或工具封裝。榜單看似在比較模型,實際比較的卻是模型、工具、框架與預算的組合。
這不代表基準沒有價值。
若沒有統一任務,Agent 研發連方向都難以看清。基準仍有必要,只是它應該被視為實驗台,而不是職業資格認證。
別用換榜取代修題
Agent 評測接下來該怎麼做?
第一,保留隱藏測試,但不要讓它成為唯一裁判。
隱藏測試可以降低針對公開斷言作弊的機會,人工驗收則需要檢查需求涵蓋範圍、程式碼品質與副作用。兩者應該搭配,而不是互相取代。
第二,加入歷史程式碼儲存庫。
任務最好來自真實 Issue,並附有多個提交、相關 PR、回歸測試與舊版本行為。Agent 需要閱讀的不是當前目錄,而是一個具備時間脈絡的系統。
第三,記錄完整軌跡。
除了最終 diff,還要保存工具呼叫、測試輸出、失敗重試與決策日誌。如此才能區分兩種情況:Agent 定位問題後完成修復,或只是碰巧命中測試。
第四,公開多次執行結果。
單次成功很容易受到隨機性與環境波動影響。至少應報告執行次數、成功率與信賴區間,而不是只提供最好的一次。
第五,拆分評分項目。
測試通過率、人工驗收率、平均成本、平均耗時、工具呼叫數與無效修改次數,都可以分開呈現。開發者才能判斷一個 Agent 是「更準確」,還是只是「更昂貴」。
我更傾向將最終榜單製作成任務層級報告:
Task: fix-export-empty-file
Automated tests: passed
Manual acceptance: failed
Reason: CSV header missing for empty input
Invalid edits: 2
Cost: $1.42
Elapsed: 4m 18s
這種報告不夠吸睛,卻能回答工程團隊真正關心的問題。
編輯觀察
這次值得關注的不只是 DeepSWE 的得分,而是 AI Agent 已經進入真實軟體任務的競爭。爭議焦點因此從「模型會不會寫說明」轉向「工程過程能否受到驗證」。過去查看模型發布稿時,我們知道裡面包含精選樣例;現在看 Agent 榜單,卻可能誤把單次執行紀錄當成穩定能力。差異就在這裡:Agent 的答案是一整條操作鏈,儲存庫狀態、工具權限與重試策略都會影響最終結果。
不過,目前公開摘要缺少具體分數、樣本數、重現次數與環境設定,因此不能斷言 DeepSWE 刷榜。我的判斷是,下一輪 Agent 基準的勝負手,不會是再換一個總分更高的榜單,而是誰能讓任務、執行軌跡與失敗原因經得起第三方重跑。