フレームワーク

Coding Agent のスコア、9割は Harness の差だった

HarnessTax の制御変数実験が示した事実——コーディングエージェントの性能差は、ベースモデルではなくプロンプトやツール、フィードバックループといった Harness 層の設計に起因する。ベンチマークの数字はそのまま受け取らない方がいい。

文字サイズ

この1年、各社が coding agent のリーダーボードでしのぎを削ってきた。SWE-bench Verified のスコアは30%台から60%超まで伸びており、モデル改良の成果に見える。ところが HarnessTax プロジェクトは、こう釘を刺す——その数字の大部分は harness(ラッパー層)由来かもしれない、と。

問題:モデルは進化したが、Agent はそこまで強くない

筆者自身いくつかの coding agent を使ってきた体感では、GPT-5、Claude 4.5、DeepSeek V3.2 は前世代より確かに良い。だが SWE-bench で20ポイントの差と言われるほどではない。ベンチ上は20点、実タスクだと5点程度にしか感じられない。

HarnessTax の仮説は明快だ。差を生むのは base model ではなく harness——prompt scaffolding、tool 定義、エラーリトライ機構といった「ラッパー層」だというもの。同じ base model に別の harness を載せるだけで、スコアが30ポイント以上動く。

プロジェクトページの要旨はこう書かれている。harness(prompt scaffolding、tools、feedback loops)と base model が coding agent の性能に与える影響を切り分けて検証した、と。

噛み砕くとこうなる。ベンチマークで測っているのは agent であり、モデルではない。それなのに agent の成績でモデルをランキングしてしまっている。

実験の設計:Harness を剥がして制御変数に

基本は制御変数だ。base model(例えば GPT-4o や Claude 3.5 Sonnet の特定版)を固定し、harness 側だけを差し替える。具体的には、prompt テンプレート、tool 呼び出しの JSON schema、エラーリトライの回数、retry 時に prompt を書き換えるか、コンテキストウィンドウの管理方式。

実験規模としては、SWE-bench、LiveCodeBench、HumanEval など主要な coding benchmark を対象に、複数の base model × 多様な harness 構成でクロス集計を行っている。

やり方は A/B テストの工業化版と捉えるとよい。一つの変数だけいじるのではなく、harness を複数の独立した次元(プロンプト構造 / ツール API 設計 / フィードバックループ機構)に分解し、それぞれの寄与を個別に測定する。

# 実験設計の簡易版
from dataclasses import dataclass
from typing import List

@dataclass
class HarnessConfig:
    prompt_template: str      # プロンプト構造
    tool_schema: dict         # ツール定義
    retry_strategy: str       # エラーリトライ機構
    context_management: str   # コンテキストウィンドウ戦略

# base_model を固定し、harness の次元だけを変化させる
experiments = [
    HarnessConfig("minimal", basic_tools, "none", "truncate"),
    HarnessConfig("structured", rich_tools, "adaptive", "sliding_window"),
    # ... 数十種の組み合わせ
]

for config in experiments:
    score = run_benchmark(base_model, config)
    record(config, score)

結果:差は大きく、投資判断までミスリードしうる

研究ページの記述は率直だ。harness 層の違いが、agent の性能に有意で誤解を生みやすい変動をもたらす。

Hacker News ではこのプロジェクトが 62 ポイント、コメント17件を獲得した(HN item id 49733726、投稿時点のデータ、以後変動あり)。議論欄の高評価コメントはこう指摘する——成果の差がモデル由来で harness 由来でない限り、これまでは誰も体系的に答えを出していなかった、と。多くの人が抱いていた疑問を代弁している。

投資の観点から見るとこうなる。数十億ドル規模の企業が「我々のモデルは OpenAI より強い」というストーリーで評価されているが、そのスコア差の80%は、独自にチューニングされた harness 由来で、モデル重みではない可能性がある。評価の土台が脆い。

エンジニアリングの観点では別の意味がある。2か月かけて prompt を微調整してスコアが15ポイント伸びたとしても、それは base model が進化したからではなく、自分の harness が適切だっただけかもしれない。次の base model 更新で、その15ポイントは簡単に吹き飛ぶ。

影響を受けるベンチマーク:Top-1 の数字は今も有効か

名指しされるのは定番のベンチマーク群。

  • SWE-bench Verified: coding agent の指標として定着。ただし成績に占める harness の寄与は不明。
  • LiveCodeBench: 競技問題寄りで harness 影響は相対的に小さいが、無視はできない。
  • HumanEval: 古すぎてほぼ引退組だが、一部の論文ではまだ引用されている。

これらの数字とどう付き合うべきか。筆者の提案はこうだ。

  1. 絶対値より相対値を見る。同一 harness 構成下で A モデルが B モデルより5ポイント高いなら、その5ポイントは信頼しやすい。
  2. OSS での再現性を確認する。ベンダーが独自で走らせただけ、harness コードが公開されていないなら、30% 割り引いて見る。
  3. 実タスクでの結果を見る。benchmark は benchmark。自分の codebase で走らせて出た数字だけが本物の成績。

実作業:自分で agent を作るときの落とし穴を減らすには

harness が本当に重要なら、エンジニアリングの優先度はどう組むべきか。

フェーズ1:harness を仕上げ切る

  • プロンプトは構造化する(各ステップで何をすべきか明示する)
  • ツール定義は原子化する(一つの関数に十の仕事を持たせない)
  • エラー反馈には具体的な文脈を添える(error: NoneType だけでなく、「X を呼んだとき Y フィールドが欠落」と書く)

フェーズ2:そこからモデル差し替えを考える

  • harness を固定して複数 base model の成績を測る
  • 差が5ポイント未満なら差し替えない(コスト・レイテンシ・コンプライアンス面のリスク)
  • 差が10ポイント超なら検討対象

判断フレームワーク(筆者自身使うもの):

シグナルアクション
同一 harness でモデル差 < 5%モデルを差し替えず、harness を継続調整
同一 harness でモデル差 5〜15%切り替えコスト(レイテンシ・価格)を評価
同一 harness でモデル差 > 15%切り替え可。ただし harness 再調整が必要
同一モデルで harness 差 > 20%harness が真のボトルネック

最後の行が重要だ。プロンプトテンプレートを差し替えただけで20ポイント上がるなら、モデル重みを微調整するのはコスパ最悪の選択になる。

編集後記

この研究が突きつけているのは「harness が大事」といったありふれた話ではない。coding agent 評価における統計的な幻想を暴いた点にある。ベンチスコアでモデルをランキングし、ランキングで企業を評価してきたが、そのスコアの何割がモデル本体で、何割がラッパー工学的産物かは誰も系統的に算出していなかった。HarnessTax がそこに切り込んだ最初の事例になる。

筆者の見立てでは、今後6か月は「harness 評価ブーム」が来る。agent harness 専用の benchmark を作るチームが現れ、今の prompt engineering 評価のような位置づけになるだろう。LangGraph、AutoGen のようなフレームワークの価値が見直されるはずだ。彼らが売っているのはモデルではなく harness なのだから。

過去の類似研究との違いを整理するとこうなる。以前にも prompt 工学の重要性を論じた論文はあったが、いずれも経験的・ケーススタディ的だった。HarnessTax は制御実験によって harness の寄与度を初めて定量化した。「prompt が大事そう」から「Harness 寄与が30ポイント」に至るのは、経験から証拠への跳躍だ。

不確実な部分も残している。harness の寄与度が coding 以外のシナリオ——web agent、GUI agent、research agent——にも外挿できるかは分からない。直感的には、これらのシナリオは harness がより複雑(ツール数、決定チェーン長)なので、harness の占める割合はさらに高そうだが、実験的裏付けは必要だ。もし外挿が成立するなら、agent 評価の体系全体を書き直すことになる。

出典:

出典: https://harnesstax.github.io/