框架

Coding Agent 評比:九成差距來自 Harness,不是模型

HarnessTax 用控制變數實驗拆開 base model 與包裝層,證明 prompt、tool、feedback loop 才是效能落差的主因。看 benchmark 跑分,得先打個折扣。

字級

問題:模型升級了,Agent 沒變強

過去一年各家廠商在 coding agent 榜單上互有領先。SWE-bench Verified 跑分從 30% 漲到 60% 上下,看起來是模型升級的功勞。但 HarnessTax 這個研究說:先別急,這數字裡 harness(包裝層)的貢獻可能比你想像的大得多。

我自己用過幾個 coding agent,體驗上 GPT-5、Claude 4.5、DeepSeek V3.2 比上一代強,但沒強到榜單上那種程度。SWE-bench 上差 20 個百分點,真實任務上感覺只差 5 個百分點。

HarnessTax 的假設很直接:差異不來自 base model,而來自 harness——prompt scaffolding、tool 定義、錯誤重試機制這些「包裝層」。同一個 base model,換一套 harness,分數能差到 30 個百分點以上。

研究計畫頁面摘要寫得很清楚:研究系統性地分離 harness(prompt scaffolding、tools、feedback loops)與 base model 對 coding agent 效能的影響。

翻成人話:你跑 benchmark 測的是 agent,不是模型。但大家都在用 agent 的成績替模型排名。

實驗怎麼做:控制變數,把 harness 剝開

核心方法是控制變數。固定 base model(例如同一版本的 GPT-4o 或 Claude 3.5 Sonnet),只換 harness:提示詞模板、工具呼叫的 JSON schema、錯誤重試幾次、retry 時改不改 prompt、上下文視窗管理策略。

具體規模:研究跑了多個主流 coding benchmark——SWE-bench、LiveCodeBench、HumanEval 這類。每個基準都用同一組 base model × 多種 harness 配置做交叉測試。

做法可以理解為 A/B 測試的工業化版本。不是改一個變數,而是把 harness 拆成幾個獨立維度(提示詞結構 / 工具 API 設計 / 回饋迴圈機制),每個維度單獨測貢獻。

# 簡化版的實驗設計思路
from dataclasses import dataclass
from typing import List

@dataclass
class HarnessConfig:
    prompt_template: str      # 提示詞結構
    tool_schema: dict         # 工具定義
    retry_strategy: str       # 錯誤重試機制
    context_management: str   # 上下文視窗策略

# 固定 base_model,只讓 harness 維度變化
experiments = [
    HarnessConfig("minimal", basic_tools, "none", "truncate"),
    HarnessConfig("structured", rich_tools, "adaptive", "sliding_window"),
    # ... 幾十種組合
]

for config in experiments:
    score = run_benchmark(base_model, config)
    record(config, score)

結果:差異大到足以誤導投資判斷

研究頁面原文寫得很直白:harness 層級的差異可導致 agent 效能出現顯著甚至誤導性的波動。

Hacker News 上這個研究拿到 62 分、17 則討論(HN item id 49733726,數據為審稿時點,後續會變)。HN 討論區一則高讚評論說:成績差異究竟多少來自模型、多少來自 harness,此前無人系統性回答。這句話說出了很多人的疑惑。

投資角度來看:一家公司估值幾十億,故事是「我們的模型比 OpenAI 強」,但分數差異可能 80% 來自他們精心調過的 harness,而不是模型權重。這種估值基礎是脆弱的。

工程角度來看:你花了兩個月微調 prompt,分數漲了 15 個百分點,誤以為是 base model 升級的功勞——其實是你的 harness 調對了。下次 base model 升級,這 15 個百分點可能就歸零。

被波及的榜單:那些 Top-1 還算數嗎

被點名的是常被引用的幾個:

  • SWE-bench Verified:現在公認是 coding agent 標竿。但成績裡 harness 貢獻占比不明。
  • LiveCodeBench:偏競賽題,harness 影響相對小一些,但仍不可忽略。
  • HumanEval:太舊了,基本上已被淘汰,但還會在某些論文裡看到。

讀者該怎麼看待這些數字?我的建議:

  1. 看絕對分不如看相對分。同一個 harness 配置下,A 模型比 B 模型高 5 個百分點,這 5 個百分點可信度更高。
  2. 看開源復現。如果榜單成績只有廠商自己跑、沒有開源 harness 代碼,直接打個三折。
  3. 看真實任務。benchmark 是 benchmark,你在自家 codebase 上跑出來的才是真功夫。

實務:自己做 agent 怎麼少踩坑

如果 harness 真這麼重要,工程優先順序該怎麼排?

第一階段:把 harness 調到位

  • 提示詞結構化(明確告訴模型每一步要做什麼)
  • 工具定義要原子化(不要一個函式包山包海)
  • 錯誤回饋要帶具體上下文(不能只丟「error: NoneType」,要寫明「你呼叫 X 時 Y 欄位缺失」)

第二階段:才考慮換模型

  • 在固定 harness 下測不同 base model 的表現
  • 差 < 5 個百分點,不值得換(成本、延遲、合規風險)
  • 差 > 10 個百分點,可以考慮

判斷框架(我自己用的):

訊號動作
同 harness 不同模型差異 < 5%別折騰模型,繼續調 harness
同 harness 不同模型差異 5–15%評估切換成本(延遲、價格)
同 harness 不同模型差異 > 15%可切換,但要重新調 harness
不同 harness 同模型差異 > 20%harness 才是真正的瓶頸

最後一條是關鍵。如果換個 prompt 模板分數就能漲 20 個百分點,你花時間微調模型權重是 CP 值最低的選擇。

編輯思考

這件事的意義不是「harness 重要」這種廢話——而是揭穿當下 coding agent 評測的統計幻覺。我們用 benchmark 分數替模型排名、用排名替公司估值,但分數裡有多少是模型本身、有多少是包裝工程,從來沒人系統性地算過。HarnessTax 第一個把這件事量化了。

我的判斷:接下來六個月會出現一波「harness 評測熱」。會有團隊專門做 agent harness 的 benchmark,類似現在的 prompt engineering 評測。LangGraph、AutoGen 這類框架的價值會被重新認識——它們賣的不是模型,是 harness。

這次具體和過去哪些事不同:過去也有論文討論 prompt 工程的重要性,但都是經驗性的、case study 式的。HarnessTax 是第一次用受控實驗系統性量化 harness 貢獻度。從「我覺得 prompt 重要」到「prompt 比模型貢獻多 30 個百分點」,這是從經驗到證據的躍進。

我不確定的地方:harness 貢獻度能否外推到非 coding 場景?例如 web agent、GUI agent、research agent。直覺上這些場景 harness 更複雜(工具更多、決策鏈更長),harness 占比可能更高。但需要實驗驗證。如果外推成立,整個 agent 評測體系都得重寫。


來源:

來源: https://harnesstax.github.io/