框架

Coding Agent 评测 90% 在比 Harness,不是模型本身

HarnessTax 用控制变量实验证明:包装层(prompt、tool、反馈循环)才是 coding agent 性能差异的真正来源。基准跑分,得打折扣看了。

字号

过去一年,各家厂商在 coding agent 榜单上你来我往。SWE-bench Verified 跑分从 30% 涨到 60% 多,看着是模型升级的功劳。但 HarnessTax 这个项目说:别急,这数字里 harness(包装层)贡献可能比你想的大得多。

问题:模型升级了,Agent 没变强

我自己用过几个 coding agent,体验上 GPT-5、Claude 4.5、DeepSeek V3.2 比上一代强,但没强到榜单上那种程度。SWE-bench 上差 20 个点,真实任务上感觉就差 5 个点。

HarnessTax 的假设很直接:差异不来自 base model,而来自 harness——prompt scaffolding、tool 定义、错误重试机制这些'包装层'。同样的 base model,换一套 harness,分数能差出 30+ 个点。

项目主页摘要原文写的:研究系统分离了 harness(prompt scaffolding、tools、feedback loops)与 base model 对 coding agent 性能的影响。

翻译成人话:你跑 benchmark 测的是 agent,不是模型。但大家都在用 agent 的成绩给模型排名。

实验怎么做的:控制变量剥掉 harness

核心方法是控制变量。固定 base model(比如同一个 GPT-4o 或 Claude 3.5 Sonnet 的某个版本),只换 harness:提示词模板、工具调用的 JSON schema、错误重试几次、retry 时改不改 prompt、上下文窗口管理策略。

具体规模:研究跑了多个主流 coding benchmark——SWE-bench、LiveCodeBench、HumanEval 这种。每个基准都用同一组 base model × 多种 harness 配置做交叉。

做法可以理解为 A/B 测试的工业化版本。不是改一个变量,是把 harness 拆成几个独立维度(提示词结构 / 工具 API 设计 / 反馈循环机制),每个维度单独测贡献。

# 简化版的实验设计思路
from dataclasses import dataclass
from typing import List

@dataclass
class HarnessConfig:
    prompt_template: str      # 提示词结构
    tool_schema: dict         # 工具定义
    retry_strategy: str       # 错误重试机制
    context_management: str   # 上下文窗口策略

# 固定 base_model,只让 harness 维度变化
experiments = [
    HarnessConfig("minimal", basic_tools, "none", "truncate"),
    HarnessConfig("structured", rich_tools, "adaptive", "sliding_window"),
    # ... 几十种组合
]

for config in experiments:
    score = run_benchmark(base_model, config)
    record(config, score)

结果:差异大到能误导投资决策

研究主页原文写得很直白:harness 层面差异可导致 agent 性能出现显著甚至误导性的波动。

Hacker News 上这个项目拿了 62 分、17 条讨论(HN item id 49733726,数据为审稿时点,后续会变)。HN 讨论区一条高赞评论说:成绩差异究竟多少来自模型、多少来自 harness,此前无人系统回答。这话说出了很多人的疑惑。

投资视角看:一家公司估值几十亿,故事是'我们模型比 OpenAI 强',但分数差异可能 80% 来自他们精心调过的 harness,而不是模型权重。这种估值基础是脆的。

工程视角看:你花了两个月微调 prompt,分数涨了 15 个点,误以为是 base model 升级的功劳——其实是你 harness 调对了。下次 base model 升级,你这 15 个点可能就归零了。

被波及的榜单:那些 Top-1 还作数吗

被点名的是常被引用的几个:

  • SWE-bench Verified:现在公认是 coding agent 标杆。但成绩里 harness 贡献占比不明。
  • LiveCodeBench:偏竞赛题,harness 影响相对小一些,但还是不可忽略。
  • HumanEval:太老了,基本被淘汰,但还能在某些论文里看到。

读者该怎么看待这些数字?我的建议:

  1. 看绝对分不如看相对分。同一个 harness 配置下,A 模型比 B 模型高 5 个点,这 5 个点可信度更高。
  2. 看开源复现。如果榜单成绩只有厂商自己跑、没有开源 harness 代码,直接打个 30% 折扣。
  3. 看真实任务。benchmark 是 benchmark,你 codebase 上跑出来的才是真成绩。

实操:自己做 agent 怎么少踩坑

如果 harness 真这么重要,工程优先级应该怎么排?

第一阶段:把 harness 调到位

  • 提示词结构化(明确告诉模型每一步要做什么)
  • 工具定义要原子化(不要一个函数干十件事)
  • 错误反馈要带具体上下文(不只是 "error: NoneType",要说"你调用 X 时 Y 字段缺失")

第二阶段:才考虑换模型

  • 在固定 harness 下测不同 base model 的表现
  • 差 < 5 个点,不值得换(成本、延迟、合规风险)
  • 差 > 10 个点,可以考虑

判断框架(我自己用的):

信号 动作
同 harness 不同模型差异 < 5% 别折腾模型,继续调 harness
同 harness 不同模型差异 5-15% 评估切换成本(延迟、价格)
同 harness 不同模型差异 > 15% 切换,但要重新调 harness
不同 harness 同模型差异 > 20% harness 是真正的瓶颈

最后一条是关键。如果换个 prompt 模板分数就能涨 20 个点,你花时间微调模型权重是性价比最低的选择。

编辑思考

这件事的意义不是"harness 重要"这种废话——而是揭穿了当下 coding agent 评测的统计幻觉。我们用 benchmark 分数给模型排名、用排名给公司估值,但分数里有多少是模型本身、有多少是包装工程,没人系统算过。HarnessTax 第一个把这事做了。

我的判断:接下来 6 个月会出现一波"harness 评测热"。会有团队专门做 agent harness 的 benchmark,类似现在的 prompt engineering 评测。LangGraph、AutoGen 这类框架的价值会被重新认识——它们卖的不是模型,是 harness。

这次具体和过去哪些事不同:过去也有论文讨论 prompt 工程的重要性,但都是经验性的、case study 式的。HarnessTax 是第一次用受控实验系统量化 harness 贡献度。从"我觉得 prompt 重要"到"prompt 比模型贡献大 30 个点",这是从经验到证据的跳跃。

我不确定的地方:harness 贡献度能否外推到非 coding 场景?比如 web agent、GUI agent、research agent。直觉上这些场景 harness 更复杂(工具更多、决策链更长),harness 占比可能更高。但需要实验验证。如果外推成立,整个 agent 评测体系都要重写。


来源:

来源: https://harnesstax.github.io/