框架

跑了 17,000 次任務,揭密 Claude、Codex、Cursor 都在裝什麼工具

Armature Tech 統計三款主流編碼 Agent 在 17k 次任務中主動安裝與呼叫的工具組合,發現一個反直覺的現象:模型越貴,工具呼叫次數反而越少。

字級

看過不少評測編碼 Agent 的文章,但 Armature Tech 這篇切入角度不太一樣。

他們沒有比較「誰寫的程式碼比較好」,而是統計 Agent 在真實任務裡自己選了哪些工具——著眼在工具清單,不是輸出品質。17,000 次執行,Claude、Codex、Cursor 各跑一輪。

這種「看 Agent 自己買什麼菜」的視角,在主流評測裡相當少見。

測試方法:不看 demo,看 Agent 自己挑了什麼

多數 Agent 評測的流程是這樣:給一段 prompt,跑完看輸出對不對。HumanEval、MBPP、SWE-bench 都是這條路線。

Armature 走了另一條路——他們記錄 Agent 主動安裝與呼叫的工具。

具體做法:在真實工程任務(讀倉庫、寫測試、調相依套件、修 bug)裡,讓 Agent 自己決定要 npm install 什麼、要呼叫哪些 CLI、要用哪些 MCP server。任務跑完,統計工具呼叫日誌。

這個方法繞過了各家廠商的市場話術。Anthropic、OpenAI、Cursor 各自宣傳的功能集是一回事,Agent 在 17k 次任務中實際會伸手去拿的工具是另一回事。兩者經常對不上。

資料來源:Armature Tech 原文。

三個 Agent 的工具偏好,差異比想像中大

Armature 把高頻工具歸成幾類。我挑幾個有看頭的來談:

三者都會裝的「基本款」

  • 檔案操作類:Read、Write、Edit、Glob、Grep 這組幾乎人手一份
  • Git 工具鏈:git status、git diff、git commit 三家都有用
  • 測試執行器:pytest(Python 任務)、npm test(JS 任務)
  • 套件管理:pip / npm / pnpm 看語言而定,但呼叫頻率都高

這部分沒什麼懸念,工具呼叫本來就該長這樣。

差異開始浮現的地方

  • Claude:對 LSP(language server protocol)相關工具的呼叫明顯偏多。它傾向先把程式碼「看懂」——跳定義、看型別、查引用,再動手改。tree-sitter、mypy、tsc --noEmit 這類靜態檢查的呼叫頻率,比另外兩家高出一截。
  • Codex:更偏向「直接改」。工具呼叫鏈短,很少跑 lint,改完就 commit。像是把「先驗證再寫」的步驟整個跳過。
  • Cursor:在 IDE 整合相關的工具上呼叫最多——例如 tab 跳轉、多檔 diff、in-editor 測試執行。它重度依賴自己的編輯器上下文。

獨有癖好

  • Claude 經常主動裝 ruff 和 black,即使任務裡沒要求。
  • Codex 傾向把多個改動塞進一次 commit,工具呼叫次數最少。
  • Cursor 在長任務中會反覆呼叫「讀取當前選中的檔案」——它重度依賴 IDE 狀態。

這些差異不是廠商自己說的,是從 17k 次日誌裡挖出來的。

一個反直覺的發現:貴的 Agent 反而比較懶

這裡有個讓我意外的結論。

直覺上,Claude Opus 4 應該是「能力最強 → 裝最多工具 → 什麼都會用」。實測結果並非如此。

Armature 的資料顯示:能力更強的模型,工具呼叫次數反而更少。

  • Claude(尤其在 Sonnet/Opus 級距)在多數任務裡,會用更少的工具呼叫完成同樣的事。它傾向一次呼叫就問完所有需要的 context,而不是來回試錯。
  • Codex 在某些任務裡的工具呼叫次數是 Claude 的 1.5 到 2 倍。
  • Cursor 居中,但 IDE 相關工具佔比明顯偏高。

這和「模型越新越強就應該越勤勞」的直覺相反。更準確的解讀可能是:能力強的模型對工具的選擇更精準——它知道怎麼一次拿到所有需要的資訊,而能力弱的模型需要更多輪呼叫去「猜」。

換句話說,工具呼叫次數不能簡單畫上等號於「工作量」。低的反而可能是效率高的。

另一個相關現象:貴或新版的模型自己安裝新相依套件的頻率更低。它傾向複用專案已有的函式庫,而不是 npm install 一堆新套件。這對生產環境是好事——相依膨脹是 Agent 系統常見的隱性成本。

對開發者的實際意義:別只看 benchmark

如果你在做 Agent 產品,或在選型時要把 Agent 接進 CI,這些資料有幾個直接用途:

1. Token 成本估算要看工具呼叫模式,不是看模型單價。

模型價目表是照 input/output token 計價。但 Agent 的 token 消耗大宗是工具回傳的內容——檔案內容、grep 結果、測試輸出。Claude 呼叫次數少,不代表 token 總消耗低——單次呼叫拉進來的內容可能更多。還是要看自己的任務類型。

# 一個粗略的成本估算框架
def estimate_cost(agent_runs):
    total = 0
    for run in agent_runs:
        # 單次工具呼叫平均 token
        avg_tool_tokens = run['total_tokens'] / max(run['tool_calls'], 1)
        # 模型單價
        model_cost = run['model_price_per_1k'] * run['total_tokens'] / 1000
        total += model_cost
    return total

這個數字對比起來,會跟直接看「模型誰貴」有所出入。

2. 工具白名單別一刀切。

如果幫 Agent 配置工具集,Armature 的資料建議依任務區分:

  • 重讀多改少的任務 → 給 Claude 風格(強 LSP、強靜態檢查)
  • 快速迭代的任務 → 給 Codex 風格(短呼叫鏈、commit 頻繁)
  • IDE 深度整合場景 → Cursor 的路線

3. 提防「工具膨脹」。

Agent 能呼叫的工具越多越好嗎?實測資料反而不支持這個說法。Claude 在工具少的環境下表現更穩定——它知道哪些該用、哪些不該碰。工具池一擴大,所有 Agent 的穩定性都會下滑。

實務建議:啟動期給 5 到 10 個核心工具,依任務表現再加,不要一開始就把整個生態暴露出去。

編輯觀點

這件事值得單獨拿出來談,是因為 Agent 評測的焦點正在悄悄移動。

過去兩年,大家比的是「誰寫的程式碼通過測試多」。HumanEval、MBPP、SWE-bench 這類榜單一統天下。但這類評測有個盲區:它把 Agent 當成「答題機器」,忽略了一個事實——Agent 是在工具生態裡工作的,它怎麼選工具,直接影響生產環境的成本與穩定性。

Armature 這套方法給了另一把尺:不看 Agent 答對幾題,看它在 17k 次真實任務中自己伸手拿了什麼。這把尺比 benchmark 更貼近真實使用情境。

我的判斷是:下一輪 Agent 評測會從「輸出品質」轉向「工具使用效率」。具體指標可能是 token per task、tool-call redundancy rate、dependency bloat index 這類。已經有團隊在做了。

也要點出 Armature 這套方法的限制:17k 次任務裡,任務類型分佈、程式碼庫類型、Agent 配置版本都會影響結論。Claude 的「少工具」偏好,在某些長任務裡可能變成劣勢——它一次拉的 context 多了,可能直接撞上 token 上限。這些資料是橫切面,不是因果。

還有一個不確定的點:這些偏好是模型架構帶來的,還是訓練資料帶來的?如果換一版 fine-tune,工具偏好會不會跟著變?Armature 沒有回答這個問題,我也不知道答案。

但有一點是確定的:看 Agent 的工具呼叫日誌,比看廠商宣傳頁,靠譜得多。

來源: https://armature.tech/blog/which-tools-coding-agents-install