FrontierHarness Eval v1.1 統計了 27,280 次 coding agent 執行,其中 64% 的推理支出花在最終失敗的任務上。對採用 AI Agent 的團隊而言,這代表評估成效時不能只看成功率,還必須計算重試、無效循環與工具呼叫所衍生的成本。
64% 的推理帳單來自失敗任務
AI Agent 的推理成本,並非只會在模型第一次答錯時發生。
失敗任務經常會走過以下路徑:
- 第一次產生方案時遺漏限制條件。
- 呼叫工具並取得結果後,卻未修正計畫。
- 沿著相同路徑反覆檢查或重新產出內容。
- 觸發重試,繼續消耗 token 與工具呼叫額度。
- 最終仍未完成任務。
單看一個請求,這些步驟都不算離譜;但放進批次任務中,無效循環的影響就會被放大。
最終失敗的執行佔了 64% inference spend,意即將近三分之二的推理支出並未換來成功交付。可能原因包括模型選擇錯誤、context 過長,以及 Agent 的執行策略失效。
這也是只關注最終 pass rate 容易忽略的問題。兩個模型可能都有 70% 的成功率,但其中一個一次就能成功,另一個卻得連續修補 5 次才得到相同結果。成功率相同,生產成本卻可能相差甚遠。
高成功率不等於低成本
傳統 coding agent benchmark 通常著重幾項結果:
- 是否通過單元測試;
- 最終提交是否能正常執行;
- 人工審查是否认可;
- 完成時間是否在限制內。
這些指標仍然有用,但不足以完整呈現 Agent 的經濟性。
我更傾向於為每次執行保留以下五類資料:
| 指標 | 它回答的問題 |
|---|---|
| 成功率 | 最終做對的比例是多少? |
| 總 token | Agent 為一項任務耗用了多少 context? |
| 工具呼叫次數 | 搜尋、terminal、編輯器與外部 API 被呼叫了多少次? |
| 重試次數 | 錯誤是否被重複放大? |
| wall-clock time | 任務實際等待了多久? |
其中,token 與工具呼叫次數必須搭配觀察。某個 Agent 可能產生很長的分析內容,卻很少使用工具;另一個 Agent 的文字輸出雖然不多,卻接連執行測試、讀取 log 與修改檔案。後者通常更接近 production 帳單中的實際負擔。
wall-clock time 同樣不能忽視。若人工可以等 20 分鐘,離線開發任務或許還能接受;但在線上服務中,同樣的耗時會直接影響使用體驗與逾時成本。
FrontierHarness Eval v1.1 的更新內容
本次發布包含 FrontierHarness Eval v1.1,用於評估 coding agent。
新版本的重要改變不只是增加題庫,而是將評測觀察範圍從最終答案延伸至完整執行過程。
對 coding agent 而言,最終程式碼只記錄了整段歷程的最後一頁。評測還需要掌握:
- Agent 進行了幾次規劃;
- 哪些工具呼叫回傳錯誤;
- 是否重複執行相同操作;
- 失敗後是否做出有效調整;
- 推理成本在成功之前呈現什麼分布。
如此一來,「程式碼未通過測試」就能進一步拆解。原因可能是實作邏輯錯誤,也可能是 Agent 未能正確讀取專案結構,或在測試失敗後陷入無效循環。
原始介紹請見 FrontierHarness Eval v1.1。
文章也曾登上 Hacker News 首頁。當時頁面顯示 8 points、2 comments。討論連結如下:Hacker News discussion。
8 points 與 2 comments 的討論規模不大,但不影響這份資料對 Agent 團隊的實際價值。特別是使用 Claude Code、Cursor 或其他 coding agent 的團隊,失敗路徑的成本早已進入 API 帳單,只是通常未被單獨統計。
線上帳單應依失敗路徑拆算
以下是可直接納入評測報告的指標。
1. 單次成功成本
最基本的計算方式如下:
successful_cost = total_cost / successful_runs
這比「每次執行平均成本」更貼近實際業務支出,因為團隊最終只为成功任務取得價值。
假設 A 模型每次執行平均花費 1 美元,成功率為 50%,單次成功成本就是 2 美元;B 模型每次執行平均花費 1.2 美元,成功率為 80%,單次成功成本則是 1.5 美元。後者表面成本較高,實際上卻更便宜。
2. 失敗前的平均推理量
將執行結果分成成功與失敗兩組,分別統計:
average_inference_before_failure = (
sum(run.inference_cost for run in failed_runs) / len(failed_runs)
)
這項指標有助於定位問題。失敗任務若只消耗少量 token,通常表示 Agent 很早就放棄;若在失敗前消耗大量 token,則較可能是規劃漂移、context 膨脹或反覆除錯所致。
3. 重試放大係數
可以先採用以下簡化定義:
retry_amplification = total_runs / successful_runs
若成功 100 次,卻總共執行 180 次,係數就是 1.8。也就是每個成功任務背後,平均多支付了 0.8 次失敗或重試的額外執行成本。
更精細的做法是依失敗原因拆分,例如測試失敗、工具逾時、context 超限與權限錯誤。不同原因需要搭配不同的修復策略。
4. 失敗任務對總預算的貢獻
failed_budget_share = failed_inference_spend / total_inference_spend
這項研究得到的結果為 64%。
當這個比例持續上升時,團隊不應只調整模型 routing,還應檢查:
- 是否將過多無關 context 塞給 Agent;
- 工具回傳的結果是否缺少結構化錯誤資訊;
- 重試時是否未改變策略;
- 是否允許 Agent 對相同工具呼叫形成連續循環;
- 簡單任務是否應改用較小的模型;
- 能否將可驗證的檢查提前到高成本推理之前。
一項直接的控制手段,是針對相同工具參數與錯誤結果設定重複呼叫門檻。例如連續兩次讀取同一檔案失敗後,就要求 Agent 改變方案,而非原樣重試。具體門檻必須依專案環境測試,不能直接沿用。
線上監控則可依任務類型建立成本基線:
def is_cost_anomaly(cost, task_type, baseline):
median, mad = baseline[task_type]
return mad > 0 and cost > median + 3 * mad
這裡採用 median 與 MAD,而非平均值與標準差,因為少數成本特別高的失敗任務很容易拉高平均值。
編輯觀察
27,280 次執行比單次 benchmark 更接近 production 帳單,關鍵不在樣本數量,而在於它揭露了失敗路徑。實際系統不會只保留成功案例。大量失敗、重複規劃與重試都會持續產生費用,只是這些支出平常被總 token 數掩蓋了。
我的看法是,下一階段的 AI Agent 評測不應只提供一份模型成功率排行榜,而應直接最佳化「每個成功任務的總成本」。這會迫使團隊同步改善模型、prompt、工具設計與重試策略。這也與過去的程式碼 benchmark 不同:後者獎勵一次交付,但 Agent 系統真正稀缺的是穩定、低成本且可重複的交付。
不過,64% 這個數字不能直接作為所有團隊的預算基準。任務難度、模型價格、工具費用與逾時策略都會改變比例。目前也不清楚這些執行是否涵蓋足夠的 repository 類型與 production 流量。因此,更穩妥的結論是:先依失敗原因拆解帳單,再決定最佳化對象,而不是看到 64% 就直接更換模型。