工具

27,280 次 Agent 執行:64% 推理成本耗在失敗任務

FrontierHarness Eval v1.1 分析 27,280 次 coding agent 執行,發現 64% 的推理支出最終未能換來成功交付。文章拆解失敗成本,並提出可直接用於評測與線上監控的指標。

字級

FrontierHarness Eval v1.1 統計了 27,280 次 coding agent 執行,其中 64% 的推理支出花在最終失敗的任務上。對採用 AI Agent 的團隊而言,這代表評估成效時不能只看成功率,還必須計算重試、無效循環與工具呼叫所衍生的成本。

64% 的推理帳單來自失敗任務

AI Agent 的推理成本,並非只會在模型第一次答錯時發生。

失敗任務經常會走過以下路徑:

  1. 第一次產生方案時遺漏限制條件。
  2. 呼叫工具並取得結果後,卻未修正計畫。
  3. 沿著相同路徑反覆檢查或重新產出內容。
  4. 觸發重試,繼續消耗 token 與工具呼叫額度。
  5. 最終仍未完成任務。

單看一個請求,這些步驟都不算離譜;但放進批次任務中,無效循環的影響就會被放大。

最終失敗的執行佔了 64% inference spend,意即將近三分之二的推理支出並未換來成功交付。可能原因包括模型選擇錯誤、context 過長,以及 Agent 的執行策略失效。

這也是只關注最終 pass rate 容易忽略的問題。兩個模型可能都有 70% 的成功率,但其中一個一次就能成功,另一個卻得連續修補 5 次才得到相同結果。成功率相同,生產成本卻可能相差甚遠。

高成功率不等於低成本

傳統 coding agent benchmark 通常著重幾項結果:

  • 是否通過單元測試;
  • 最終提交是否能正常執行;
  • 人工審查是否认可;
  • 完成時間是否在限制內。

這些指標仍然有用,但不足以完整呈現 Agent 的經濟性。

我更傾向於為每次執行保留以下五類資料:

指標 它回答的問題
成功率 最終做對的比例是多少?
總 token Agent 為一項任務耗用了多少 context?
工具呼叫次數 搜尋、terminal、編輯器與外部 API 被呼叫了多少次?
重試次數 錯誤是否被重複放大?
wall-clock time 任務實際等待了多久?

其中,token 與工具呼叫次數必須搭配觀察。某個 Agent 可能產生很長的分析內容,卻很少使用工具;另一個 Agent 的文字輸出雖然不多,卻接連執行測試、讀取 log 與修改檔案。後者通常更接近 production 帳單中的實際負擔。

wall-clock time 同樣不能忽視。若人工可以等 20 分鐘,離線開發任務或許還能接受;但在線上服務中,同樣的耗時會直接影響使用體驗與逾時成本。

FrontierHarness Eval v1.1 的更新內容

本次發布包含 FrontierHarness Eval v1.1,用於評估 coding agent。

新版本的重要改變不只是增加題庫,而是將評測觀察範圍從最終答案延伸至完整執行過程。

對 coding agent 而言,最終程式碼只記錄了整段歷程的最後一頁。評測還需要掌握:

  • Agent 進行了幾次規劃;
  • 哪些工具呼叫回傳錯誤;
  • 是否重複執行相同操作;
  • 失敗後是否做出有效調整;
  • 推理成本在成功之前呈現什麼分布。

如此一來,「程式碼未通過測試」就能進一步拆解。原因可能是實作邏輯錯誤,也可能是 Agent 未能正確讀取專案結構,或在測試失敗後陷入無效循環。

原始介紹請見 FrontierHarness Eval v1.1。

文章也曾登上 Hacker News 首頁。當時頁面顯示 8 points、2 comments。討論連結如下:Hacker News discussion。

8 points 與 2 comments 的討論規模不大,但不影響這份資料對 Agent 團隊的實際價值。特別是使用 Claude Code、Cursor 或其他 coding agent 的團隊,失敗路徑的成本早已進入 API 帳單,只是通常未被單獨統計。

線上帳單應依失敗路徑拆算

以下是可直接納入評測報告的指標。

1. 單次成功成本

最基本的計算方式如下:

successful_cost = total_cost / successful_runs

這比「每次執行平均成本」更貼近實際業務支出,因為團隊最終只为成功任務取得價值。

假設 A 模型每次執行平均花費 1 美元,成功率為 50%,單次成功成本就是 2 美元;B 模型每次執行平均花費 1.2 美元,成功率為 80%,單次成功成本則是 1.5 美元。後者表面成本較高,實際上卻更便宜。

2. 失敗前的平均推理量

將執行結果分成成功與失敗兩組,分別統計:

average_inference_before_failure = (
    sum(run.inference_cost for run in failed_runs) / len(failed_runs)
)

這項指標有助於定位問題。失敗任務若只消耗少量 token,通常表示 Agent 很早就放棄;若在失敗前消耗大量 token,則較可能是規劃漂移、context 膨脹或反覆除錯所致。

3. 重試放大係數

可以先採用以下簡化定義:

retry_amplification = total_runs / successful_runs

若成功 100 次,卻總共執行 180 次,係數就是 1.8。也就是每個成功任務背後,平均多支付了 0.8 次失敗或重試的額外執行成本。

更精細的做法是依失敗原因拆分,例如測試失敗、工具逾時、context 超限與權限錯誤。不同原因需要搭配不同的修復策略。

4. 失敗任務對總預算的貢獻

failed_budget_share = failed_inference_spend / total_inference_spend

這項研究得到的結果為 64%。

當這個比例持續上升時,團隊不應只調整模型 routing,還應檢查:

  • 是否將過多無關 context 塞給 Agent;
  • 工具回傳的結果是否缺少結構化錯誤資訊;
  • 重試時是否未改變策略;
  • 是否允許 Agent 對相同工具呼叫形成連續循環;
  • 簡單任務是否應改用較小的模型;
  • 能否將可驗證的檢查提前到高成本推理之前。

一項直接的控制手段,是針對相同工具參數與錯誤結果設定重複呼叫門檻。例如連續兩次讀取同一檔案失敗後,就要求 Agent 改變方案,而非原樣重試。具體門檻必須依專案環境測試,不能直接沿用。

線上監控則可依任務類型建立成本基線:

def is_cost_anomaly(cost, task_type, baseline):
    median, mad = baseline[task_type]
    return mad > 0 and cost > median + 3 * mad

這裡採用 median 與 MAD,而非平均值與標準差,因為少數成本特別高的失敗任務很容易拉高平均值。

編輯觀察

27,280 次執行比單次 benchmark 更接近 production 帳單,關鍵不在樣本數量,而在於它揭露了失敗路徑。實際系統不會只保留成功案例。大量失敗、重複規劃與重試都會持續產生費用,只是這些支出平常被總 token 數掩蓋了。

我的看法是,下一階段的 AI Agent 評測不應只提供一份模型成功率排行榜,而應直接最佳化「每個成功任務的總成本」。這會迫使團隊同步改善模型、prompt、工具設計與重試策略。這也與過去的程式碼 benchmark 不同:後者獎勵一次交付,但 Agent 系統真正稀缺的是穩定、低成本且可重複的交付。

不過,64% 這個數字不能直接作為所有團隊的預算基準。任務難度、模型價格、工具費用與逾時策略都會改變比例。目前也不清楚這些執行是否涵蓋足夠的 repository 類型與 production 流量。因此,更穩妥的結論是:先依失敗原因拆解帳單,再決定最佳化對象,而不是看到 64% 就直接更換模型。

來源: https://runta.com/blog/introducing-frontierharness-eval-v1-1/