觀點

DeepSWE 刷高分後,AI Agent 基準還能代表真實能力嗎?

MaxxBench 追問 DeepSWE 的高分是否真實、能否重現。本文指出目前 Agent 基準在需求驗證、可重現性與任務設計上的缺口,並提出可重現評測及任務級報告方案。

字級

MaxxBench 沒有直接重述 DeepSWE 的成績,而是提出了一個更根本的問題:「Nice DeepSWE score. But is it true?」爭議焦點不只在排名,更在榜單能否測出真實且可重現的軟體工程能力。

高分之後,先別急著慶祝

程式碼 Agent 榜單又出現了一個亮眼成績。

MaxxBench 接著發表研究文章《Why MaxxBench》,沒有急著重述 DeepSWE 的成績,而是先問了一句:

「Nice DeepSWE score. But is it true?」

這句話十分克制,卻也點出了關鍵。

它沒有直接指控 DeepSWE 造假,也沒有宣告某個分數無效。它追問的是更底層的問題:Agent 提交的結果,真的完成了任務嗎?

MaxxBench 用於評估 AI 軟體工程代理的表現。目前公開摘要將研究重點放在 DeepSWE 高分的真實性與可重現性上。原文連結如下:

這篇研究登上 Hacker News 首頁,獲得 77 分與 15 則留言。

開發者真正關心的顯然不是誰拿下第一。他們更在意的是:這類榜單未來還能不能區分 Agent 的真實能力?

先釐清判斷範圍。現有摘要未揭露 DeepSWE 的具體分數、任務樣本、重現次數或環境設定,因此不能據此判定它的成績造假。

但「沒有造假證據」不等於「高分已獲證明可靠」。

這兩件事不能混為一談。

基準測的是解題,還是做工程

程式碼 Agent 基準通常會提供軟體儲存庫、Issue 與一組測試。Agent 修改程式碼並提交結果,只要測試通過,任務就算完成。

這套流程適合自動評測,但它測到的可能只是「解題」,而不是完整的「工程」。

至少可以拆成四個層次。

第一層是需求理解。

Issue 可能只寫著「修復使用者匯出失敗」,Agent 或許只讓現有測試變綠,卻沒有處理空檔案、超大檔案、權限錯誤或異常編碼。測試未涵蓋,不代表需求已獲滿足。

第二層是程式碼正確性。

公開測試通過,只能證明公開範例滿足了斷言。隱藏測試可能涵蓋邊界條件、並行問題與舊功能回歸。

第三層是可維護性。

為了通過測試,Agent 可能複製邏輯、繞過驗證、硬編碼輸入,或將修補放在錯誤的抽象層。未來新增需求後,維護成本仍會持續上升。

第四層才是交付能力。

程式碼能編譯,不代表能部署;能部署,不代表能排除故障;能在本機執行腳本,也不代表能在 CI、容器與相依套件版本變動後穩定運作。

真實的軟體工程並非只是「讓測試變綠」。它還包括閱讀程式碼、定位邊界、修改多個模組、驗證副作用,以及留下其他人能理解的變更。

因此,Agent 基準至少應同時報告兩件事:

  • 任務是否通過測試
  • 任務是否依需求完成

如果只有第一個數字,它更接近程式碼修補競賽。這類榜單仍有價值,但不能直接當成真實軟體工程能力的排名依據。

可重現性缺口,比分數更值得追查

評估一次 Agent 執行,至少需要固定以下變數:

變數 重要性
模型與版本 API 模型可能在幕後更新,同名模型未必仍使用相同權重
Prompt 與上下文 Agent 行為可能隨系統提示詞而改變
工具權限 能否連網、讀取完整儲存庫及執行任意指令,都會直接影響結果
工具實作 shell、編輯器、搜尋與測試工具的差異會影響執行軌跡
儲存庫快照 主分支變動後,Issue 與相依套件也可能不同
相依環境 Python、Node.js、編譯器與系統套件版本都需要固定
評分腳本 測試是否完整、斷言是否準確,決定最終分數
重試與預算 重跑次數、token 上限、時間與成本都必須列入規則

這裡有個非常實際的問題。

許多 Agent 榜單會公開任務集與最終成績,卻不公開完整的執行紀錄。其他人只看到「90 分」,卻看不到它使用哪個模型快照、呼叫過哪些工具、修改過哪些檔案,以及測試跑了幾遍。

這不是製造「神秘感」的問題,而是實驗設計的問題。

無法重現的結果,無法承擔橫向比較的責任。

更穩妥的做法,是將每次執行保存為結構化紀錄。內容至少應包含模型設定、容器映像摘要、儲存庫 commit、工具列表、預算限制、最終 diff 與評分日誌。

例如,評測方可以為每次執行產生一份 manifest:

{
  "task_id": "export-empty-file",
  "repository_commit": "0123456789abcdef",
  "model": "provider/model@2026-08-01",
  "system_prompt_sha256": "<64位十六進位摘要>",
  "docker_digest": "sha256:<映像摘要>",
  "tool_permissions": ["read_repo", "edit_repo", "run_test"],
  "max_steps": 50,
  "max_cost_usd": 5.0,
  "score_script_sha256": "<64位十六進位摘要>"
}

這並不是要求所有 Agent 公開內部商業資料。相較於只發布一張總榜,公開可重現的子集仍然更有用。

HN 討論為何聚焦基準失效

這篇研究登上 Hacker News 首頁,獲得 77 分與 15 則留言。

討論重點沒有停留在某個模型的勝負,而是基準失效的問題。

原因並不難理解。

開發者每天都在查看 GitHub Issue、CI 失敗與線上 trace。對他們而言,Agent 跑通一道題,和它能否接手一個真實儲存庫,是兩回事。

公開測試還有一個典型問題:測試本身會成為待最佳化目標。

Agent 會學習評測器的形式。隱藏測試比公開測試更難被針對,但依然不等同於需求驗收。儲存庫越大、測試越完整,測試通過與正確實作之間的距離通常越近;小型且邊界稀疏的任務,兩者之間的差距可能很大。

另一個問題是,任務難度與 Agent 能力會同步改變。

今天能通過的 Issue,明天可能換成另一種搜尋策略、後端模型或工具封裝。榜單看似在比較模型,實際比較的卻是模型、工具、框架與預算的組合。

這不代表基準沒有價值。

若沒有統一任務,Agent 研發連方向都難以看清。基準仍有必要,只是它應該被視為實驗台,而不是職業資格認證。

別用換榜取代修題

Agent 評測接下來該怎麼做?

第一,保留隱藏測試,但不要讓它成為唯一裁判。

隱藏測試可以降低針對公開斷言作弊的機會,人工驗收則需要檢查需求涵蓋範圍、程式碼品質與副作用。兩者應該搭配,而不是互相取代。

第二,加入歷史程式碼儲存庫。

任務最好來自真實 Issue,並附有多個提交、相關 PR、回歸測試與舊版本行為。Agent 需要閱讀的不是當前目錄,而是一個具備時間脈絡的系統。

第三,記錄完整軌跡。

除了最終 diff,還要保存工具呼叫、測試輸出、失敗重試與決策日誌。如此才能區分兩種情況:Agent 定位問題後完成修復,或只是碰巧命中測試。

第四,公開多次執行結果。

單次成功很容易受到隨機性與環境波動影響。至少應報告執行次數、成功率與信賴區間,而不是只提供最好的一次。

第五,拆分評分項目。

測試通過率、人工驗收率、平均成本、平均耗時、工具呼叫數與無效修改次數,都可以分開呈現。開發者才能判斷一個 Agent 是「更準確」,還是只是「更昂貴」。

我更傾向將最終榜單製作成任務層級報告:

Task: fix-export-empty-file
Automated tests: passed
Manual acceptance: failed
Reason: CSV header missing for empty input
Invalid edits: 2
Cost: $1.42
Elapsed: 4m 18s

這種報告不夠吸睛,卻能回答工程團隊真正關心的問題。

編輯觀察

這次值得關注的不只是 DeepSWE 的得分,而是 AI Agent 已經進入真實軟體任務的競爭。爭議焦點因此從「模型會不會寫說明」轉向「工程過程能否受到驗證」。過去查看模型發布稿時,我們知道裡面包含精選樣例;現在看 Agent 榜單,卻可能誤把單次執行紀錄當成穩定能力。差異就在這裡:Agent 的答案是一整條操作鏈,儲存庫狀態、工具權限與重試策略都會影響最終結果。

不過,目前公開摘要缺少具體分數、樣本數、重現次數與環境設定,因此不能斷言 DeepSWE 刷榜。我的判斷是,下一輪 Agent 基準的勝負手,不會是再換一個總分更高的榜單,而是誰能讓任務、執行軌跡與失敗原因經得起第三方重跑。

來源

來源: https://maxxbench.unlap.ai/research/why-maxxbench/