工具

同一模型跑 9 種 Agent 框架,成本竟差 17 倍

FrontierHarness 專案用同一模型橫掃 9 種 Agent harness,結果最貴與最便宜的 cost per pass 相差 17 倍。Agent 框架的選型,對帳單的衝擊可能遠大於換模型。

字級

HN 上一個叫 FrontierHarness 的專案這兩天登上 Show HN 首頁,36 分、11 則評論。專案做的事很單純:用同一個模型跑 9 種不同的 Agent harness,逐一比較每個 harness 的 cost per pass。

結果有點意外——最貴和最便宜的差了 17 倍。

模型是同一個,任務也是同一組。差異幾乎全部來自 harness 本身:它的 tool use loop 怎麼調度 token、context 怎麼裁切、多 agent 怎麼協作。框架層不是一個單純的「封裝」,而是一個會主動消耗 token 的中介層。

17 倍差在哪

FrontierHarness 把 cost per pass 拆出來做橫向評比。同一份 prompt、同一個底層模型,9 個 harness 跑下來,頭部與尾部的成本直接差出一個數量級。

一個簡單的直覺是:換模型省不了多少錢。GPT-4o 和 Claude 3.5 Sonnet 單價差個 2-3 倍就到頂了。但 harness 選錯,就是 17 倍。Agent 專案的帳單壓力,很多時候不在模型,而在框架。

更殘酷的是,harness 的成本差異是結構性的,不是調一下 prompt 就能拉平的那種。

為什麼 harness 這麼貴

拆開來看,貴的 harness 通常在以下地方燒 token:

  • Tool use loop 重試。一次 tool call 失敗,harness 可能自動 retry 2-3 次。每次都把完整 history 重新塞回 context。一次失敗的代價,是正常路徑的 2-3 倍。
  • Context 累積不裁切。幾輪對話之後,context 裡堆滿早期的 tool 輸出、錯誤日誌、retry 資訊。許多 harness 預設不裁切,直接全量給下一輪。
  • 多 agent 協作的冗餘訊息。CrewAI、AutoGen 這類多 agent 框架,每個 agent 之間要傳訊息、協調 plan。這些「協調成本」通常算在使用者頭上。
  • 系統 prompt 體積。部分框架預設塞進去的 system prompt,比你自己寫的還長。每個 token 都照 input 價計費。

以 LangGraph 為例,它的狀態圖設計天生支援精細控制——你可以明確裁切 state、限制 retry 次數。但代價是開發者要自己寫更多膠水程式碼。

再看 CrewAI,上手快,裝飾器一加就跑起來。但它預設的 agent 協作模式會把所有 agent 的歷史訊息彙總,跑長任務時 context 膨脹得很快。

AutoGen 介於兩者之間。GroupChat 機制靈活,但開啟多 agent 協商之後,那些看不到的「內部通訊」會消耗大量 token。

貴不是 bug。貴的 harness 往往是因為替你做了更多事。但開發者被帳單教訓之前,通常不知道自己到底在為哪些「自動」能力付錢。

評測方法靠不靠譜

FrontierHarness 是個有用的起點,但看完專案頁之後,我有幾個疑問:

  • 9 個 harness 是哪 9 個?具體名單會顯著影響結論。如果全是偏研究類的(例如 ReAct、Reflexion),和混入 LangGraph、CrewAI 這類生產框架,結論含意完全不同。
  • 評測任務是單輪還是多輪?單輪問答 harness 之間的差異很小,多輪、跨 tool、長 context 才會把差距拉開。如果任務設計偏簡單,17 倍這個數字可能反而被低估。
  • Token 計算口徑是否一致?有些 harness 會算上內部 message routing 的 token,有些只算 user-facing 的 token。同一份「成本」,口可能差 20%。

榜單的問題在於:它通常只告訴你誰便宜,不告訴你為什麼便宜。一個 0.01 美元的 harness,可能是因為它根本沒做你要的那些事(自動 retry、context 壓縮、多 agent 協調),而不只是因為它「高效」。

開發者的實務建議

不管 FrontierHarness 的方法論是否 100% 嚴謹,有幾個檢查是開發者今天就能動手做的:

1. 算一下自己專案的 cost per task。把你的 harness 跑 100 次,記錄總成本,除以任務數。絕大多數 Agent 專案的 cost per task 遠高於開發者自己的直覺——因為 retry、context 累積、長 system prompt 這些都是隱性的。

2. 關閉不必要的 tool loop。許多 harness 預設開啟「智慧 retry」,一次 tool call 失敗就重試。檢查一下設定,把 retry 次數從 3 降到 1,就能砍掉不少冗餘 token。

3. 檢查 system prompt 長度。把 system prompt 印出來看看,常常會看到框架預設塞進去的幾百行說明文件。如果你的實際指令只有 200 字,system prompt 卻有 2000 字,每輪對話都在為那 1800 字買單。

FrontierHarness 專案本身可以當作自測入口(網址:frontierharness.org),把自己的 prompt 進去,看看不同 harness 的成本分佈,至少能定位你目前的方案落在哪個分位。

編輯觀察

Agent harness 的成本溢價不是 bug,是 feature——但這個 feature 的定價對開發者是不透明的。

這件事和過去 LLM 框架選型(LangChain vs LlamaIndex 這類)最大的不同在於:harness 直接燒錢,而 ORM 層的抽象至少還算穩定。多寫幾行膠水程式碼不會讓你的資料庫查詢變貴。但選錯 harness,帳單當月就翻倍。

我的判斷是:接下來 6-12 個月,會有一批「harness profiler」工具出現,專門做 cost tracing 與 token breakdown。類似現在前端的 bundle analyzer——你部署完才發現 bundle 裡 80% 是沒用的依。harness 版的發現會是你部署完才發現 80% 的 token 花在框架自己身上。

這件事的另一個隱性訊號是:Agent 框架的差異化競爭,會從「功能多寡」轉向「單位成本下的能力」。誰能在 1 美元預算下完成更多任務,誰就贏。功能堆疊型框架(CrewAI 這類)會越來越難賣。

不確定的地方:FrontierHarness 的評測我沒辦法獨立復現,具體 9 個 harness 的名單和任務設計對結論影響很大。如果有讀者跑過原始 benchmark,歡迎在留言區對一下數字。

來源:FrontierHarness 專案頁

來源: https://frontierharness.org