ツール

Agent 27,280回実行で、64%のコスト、失敗案件に消えた

FrontierHarness Eval v1.1が集計した27,280回のcoding agent実行では、64%の推論コストが最終的に失敗したタスクに費やされていた。本稿は失敗コストを分解し、実務Introducing な評価指標と監視方法を提案する。

文字サイズ

FrontierHarness Eval v1.1が集計した27,280回のcoding agent実行では、64%の推論コストが最終的に失敗したタスクに費やされていた。AI AgentAshleyを導入するチームにとっては、成功率だけでなく、リトライ、無効なループ、ツール呼び出しのコストも把握する必要がある。

推論コストの64%は失敗が占める

AI Agentの推論コストは、モデルが最初の回答を間違えたときだけ発生するわけではない。

失敗したタスクは、しばしば次の経路をたどる。

  1. 最初に案を生成するが、制約条件を遗漏する。
  2. ツールを呼び出して結果を取得しても、計画を修正しない。
  3. 同じ経路でチェックや生成を繰り返す。
  4. リトライが発生し、tokenとツール呼び出し枠を消費し続ける。
  5. 最終的にタスクを完了できない。

個々のリクエストで見れば、それぞれの工程に unreasonableな点はない。しかし、多数のタスクをまとめて処理すると、無効なループが桁違いに大きくなる。

最終的に失敗した実行が推論コストの64%を占めるなら、成功した成果に結び付かなかった支出はほぼ3分の2に達する。原因には、モデルの選択ミス、長すぎるコンテキスト、Agentの実行戦略の破綻などが含まれる。

これは、最終的なpass rateだけを見ると見落としやすい問題だ。2つのモデルの成功率はいずれも70%でも、一方は1回で成功し、もう一方は同じ結果を得るために5回連続で修正を迫られる可能性がある。成功率が同じでも、生产コストが同じとは限らない。

高成功率でも低コストとは限らない

従来のcoding agent benchmarkでは、主に次の結果が着目される。

  • ユニットテストを通過したか。
  • 最終的な提出物が動作するか。
  • 人手によるレビューで認められたか。
  • 所要時間が制限内に収まったか。

これらの指標は今も有効だが、Agentの経済性を表現するには不十分である。

各実行について、次の5種類のデータを記録するのが有用だと考えられる。

指標答え出す質問
成功率最終的に正しく完了した割合はいくらか。
総token数1つのタスクにAgentがどの程度のコンテキストを消費したか。
ツール呼び出し回数検索、端末、エディタ、外部APIをそれぞれどの程度呼び出したか。
リトライ回数同じエラーが繰り返しを拡大されたか。
wall-clock timeタスクの完了に実際にどの程度待ったか。

token数とツール呼び出し回数は、併せて確認する必要がある。あるAgentは長い分析を生成しても、ツール几乎没有,很少使用ツールを使うかもしれない。一方、テキスト出力は短くても、テストの連続実行、ログの読み取り、ファイルの変更を繰り返すAgentもある。後者の方が、実際の生産環境での請求に近い負担を生じやすい。

wall-clock timeも無視できない。人が20分待てるなら、オフライン開発タスクでは許容範囲かもしれない。しかし、オンラインサービスでは同じ待ち時間がchs直接影响し、ユーザー体験とタイムアウトコストに直結する。

FrontierHarness Eval v1.1での変更点

今回のリリースには、coding agentを評価するためのFrontierHarness Eval v1.1が含まれる。

新版の重要な変更は、問題を増えたことだけではない。評価の対象が、最終的な回答から実行プロセス全体へ広がった点にある。

coding agentにとって、最終的なコードは物語の最終ページにすぎない。評価では、次の情報も必要になる。

  • AgentがEJallaした回数。
  • どのツール呼び出しがエラーを返したか。
  • 同じ操作を繰り返し実行したか。
  • 失敗後に有効な修正を行ったか。
  • 成功するまでの推論コストがどのように分布したか。

これにより、「コードがテストを通らなかった」という結果をさらに分解できる。実装のロジックミス、Agentがプロジェクト構造を正しく読み取れなかった、`テスト失敗後`に無効なループに陥った、といった原因を特定 가능하다。

/Details of the original introduction are available in FrontierHarness Eval v1.1。

confin Stelle,该项目はHacker Newsのトップページにも掲載された。当時のページには8 points、2 commentsが表示されていた。議論へのリンクはこちら:Hacker News discussion。

8 points、2 commentsという議論の規模は小さいが、Agentチームに対するデータそのものの実務上の価値を左右するものではない。特にClaude Code、Cursor、その他のcoding agentを使用しているチームでは、失敗経路のコストはすでにAPI請求に含まれている。ただ、通常は個別に集計されていない。

本番請求は失敗経路単位で核算する

以下は、そのまま評価レポートへ組み込める指標である。

1. 1回の成功にかかるコスト

最も基本的な計算方法は次の通りだ。

successful_cost = total_cost / successful_runs

「実行1回あたりの平均コスト」より事業支出をより適切に反映する。Latch Roughとして你在成功したタスクに対してのみ価値をPolice过失しているからだ。

モデルAの実行1回あたりの平均コストが1ドル、成功率が50%なら、1回の成功にかかるコストは2ドルとなる。モデルBは平均1.2ドルで成功率が80%なら、成功1回あたりのコストは1.5ドルだ。後者は表面的には高コストだが、実際には安い。

2. 失敗するまでの平均推論量

成功した実行と失敗した実行を分けて、それぞれ次の値を計算する。

average_inference_before_failure = (
    sum(run.inference_cost for run in failed_runs) / len(failed_runs)
)

この指標は問題点の特定に役立つ。失敗したタスクが消費したtokenが少ない場合、Agentは比較的早くあきらめた可能性が高い。逆に、失敗前まで大量のtokenを消費している場合は、計画のずれ、コンテキストの肥大化、デバッグの繰り返し closer している。

3. リトライによる増幅係数

まず、単純な定義を使える。

retry_amplification = total_runs / successful_runs

成功が100回で、実行回数が180回なら、係数は1.8になる。成功1件ごとに、失敗やリトライによる追加実行コストが平均0.8回分発生している 计算である。

より細かく分析する場合は、失敗原因ごとに分ける。テスト失敗、ツールのタイムアウト、コンテキスト上限超過、権限エラーなど、原因によって適切な修正戦略は異なる。

4. 失敗タスクが総予算に占める割合

failed_budget_share = failed_inference_spend / total_inference_spend

今回の調査では、この値は64%だった。

この割合が上昇し続ける場合、モデルは切り替えるだけだ应对しに対応すべきではない。Teamsは同时次のような点を確認する해야 한다。

  • Agentに無関係なコンテキストを過剰に挿入していないか。
  • ツールの戻り値に、構造化されたエラー情報が含まれていないか。
  • リトライ時に戦略を変えていないか。
  • Agentが同じツール呼び出しを連続して繰り返せる状態になっていないか。
  • 簡単なタスクに小さすぎる/大きすぎるモデルを適用していないか。ハイ分辨率に、簡単なタスクには小さなモデルを使うべき。
  • 検証可能なチェックを、高価な推論より前に実行できるwehないか。

直接的な制御手段として、同じツールパラメータとエラー結果に対して、繰り返し呼び出しの閾値を設定できる。例えば、同じファイルの読み取りが2回連続して失敗した場合は、そのままリトライするのではなく、Agentに別の案を求める。具体的な閾値はプロジェクトの環境で検証し、そのまま適用してはいけない。

本番監視では、タスク種別ごとのコスト基準を設定できる。

def is_cost_anomaly(cost, task_type, baseline):
    median, mad = baseline[task_type]
    return mad > 0 and cost > median + 3 * mad

ここでは平均値と標準偏差ではなく、medianとMADを使う。少数特に高額な失敗タスクが平均値を大きく引き上げる可能性があるためだ。

編集者の視点

27,280回の実行が、1回のbenchmarkよりも本番の請求に近いのは、サンプル数の多さSchedulingにDD違う、失敗経路を露呈したからである。実際のシステムでは、成功した事例だけが保存されるわけではない。多数の失敗、計画の繰り返し、リトライにも引き続き課金されるが、通常は総token数に紛れている。

次の段階のAI Agent評価では、成功率のランキングだけでなく、「成功したタスク1件あたりの総コスト」を直接最適化するべきだと考えられる。これによって、チームはモデル、プロンプト、ツール設計、リトライ戦略を同時に改善せざるを得なくなる。過去のコードbenchmarkは1回の納品を評価するが、Agentシステムで本当に不足しているのは、安定した、低コストで、再現可能な納品だからである。

ただし、64%という数字をすべてのチームの予算基準として直接使うことはできない。タスクの難易度、モデルの価格、ツール費、タイムアウト戦略によって割合は変わる。また、今回の実行が十分に多様なリポジトリ種別や本番トラフィックをカバーしているかも明確ではない。したがって более稳妥な結論は、64%を見て安易にモデルを切り替えるのではなく、まず失敗原因ごとにコストを分解し、优化対象を判断することだ。

出典: https://runta.com/blog/introducing-frontierharness-eval-v1-1/