ツール

同じモデル×9種のAgentフレームワーク、コストに17倍の差──FrontierHarnessが暴く隠れた課金

Show HNで36ポイントを獲得したFrontierHarnessは、同一モデルで9つのAgentフレームワークのコストを比較したプロジェクトだ。最も高いフレームワークと最も安いフレームワークではcost per passに17倍の差があり、Agent開発ではモデル選定よりもフレームワーク選びの方が請求額に直結する可能性がある。

文字サイズ

ここ数日、HNのShow HNフロントページに「FrontierHarness」というプロジェクトが並んでいる。36ポイント、コメント11件。内容はシンプルで、同一モデルを使って9種類のAgent harnessを走らせ、それぞれharnessごとのcost per passを比較するというものだ。

結果はなかなか衝撃的で──最も高いフレームワークと最も安いフレームワークの差は 17倍 にのぼる。

モデルは同じ、タスクも同じ。差を生み出しているのはほぼharness側、つまりtool use loopがどうtokenを回し、contextをどう詰め、複数のagentをどう協調させるかという層だ。フレームワーク層は単なる「ラッパー」ではなく、能動的にtokenを消費する中間層だというわけだ。

17倍の差はどこから来るのか

FrontierHarnessではcost per passを横並びで評価している。同じプロンプト、同じバックエンドモデル、9つのharnessで走らせると、先頭と末尾でコストが桁違いになるケースが出てくる。

直感的な話として、モデルを乗り換えて節約できる額はたかが知れている。GPT-4oとClaude 3.5 Sonnetの単価差が2〜3倍といったところだ。しかしharnessを間違えれば17倍飛ぶ。Agentプロジェクトの請求額を押し上げているのは、多くの場合モデルではなくフレームワーク側にある。

さらに厄介なことに、harness間のコスト差は構造的なもので、プロンプトを微調整した程度ではなかなか埋まらない。

なぜharnessはここまでtokenを食うのか

内訳を見てみると、高コストなharnessはだいたい以下の場面でtokenを燃やしている。

  • Tool use loopのリトライ。tool callが一度失敗すると、harnessが自動で2〜3回retryするケースがある。そのたびに履歴全体をcontextへ詰め直すので、失敗一回分のコストは通常パスの2〜3倍に跳ね上がる。
  • Contextが肥大化して切り詰められない。数ターン会話が回ると、contextには過去のtool出力やエラーログ、retry情報がどんどん積まれる。多くのharnessはデフォルトで切り詰めず、次ターンのモデルへそのまま全量投入する。
  • マルチエージェント協調の冗長メッセージ。CrewAIやAutoGenのようなマルチエージェント系フレームワークでは、エージェント間でメッセージや計画調整をやり取りする。この「調整コスト」は最終的にユーザー側に転嫁される。
  • システムプロンプトの肥大化。フレームワークによっては、ユーザーが書くより長いsystem promptをデフォルトで差し込んでくるものがある。あらゆるtokenはinput単価で課金される。

LangGraphを例に取ると、状態グラフ設計のおかげで緻密な制御が得意で、stateの明示的な切り詰めやretry回数の制限も書きやすい。代价として、開発者が自分で書くグルーコードは増える。

CrewAIは立ち上がりが早く、デコレータを付ければすぐ動く。一方でデフォルトのエージェント協調モードは全エージェントの履歴を集約するため、長めのタスクを走らせるとcontextが膨れ上がりやすい。

AutoGenはその中間にあたる。GroupChatのメカニズムは柔軟だが、マルチエージェントのネゴシエーションをオンにした瞬間、見えない「内部通信」が大量のtokenを消費する。

高いことがバグとは限らない。高いharnessは、多くの場合ユーザーの代わりに多くの処理を肩代わりしてくれている。ただ、請求額を見て「こんな自動で動く機能のために払っていたのか」と気付く開発者は少なくない。

この評価手法はどこまで信頼できるか

FrontierHarnessは有益な出発点だが、プロジェクトページを見た限り、いくつか気になる点がある。

  • 9つのharnessは具体的に何か。内訳によって結論は大きく変わる。研究寄りのReActやReflexionだけで構成されている場合と、LangGraphやCrewAIのような本番向けフレームワークが混ざっている場合とでは、意味がまるで違ってくる。
  • 評価タスクは単発か、複数ターンを含むか。単発の问答ではharness間の差は縮まる。複数ターン・複数tool・長contextで初めて差が開く。タスク設計が軽めなら、17倍という数字すら過小評価されている可能性がある。
  • Tokenのカウント基準が揃っているか。内部のmessage routingのtokenまで含めるharnessもあれば、user-facingのtokenだけ数えるharnessもある。同じ「コスト」でも、基準次第で20%ほどぶれる。

ランキングの難点は、誰が安いかは教えてくれるが、なぜ安いかは教えてくれないところだ。0.01ドルのharnessが「効率的な」だけではなく、そもそも自動retryやcontext圧縮、マルチエージェント調整といった処理を端からやっていないだけ、というケースもあり得る。

開発者が今日できる実践的なチェック

FrontierHarnessの方法論が100%厳密かはさておき、開発者がいますぐ着手できるチェックはいくつかある。

1. 自プロジェクトのcost per taskを計算する。harnessを100回走らせて総コストを記録し、タスク数で割る。大半のAgentプロジェクトでcost per taskは、開発者が思っているよりずっと高い。retryやcontext肥大化、長大なsystem promptといった要素は見えにくいからだ。

2. 不要なtool loopをオフにする。多くのharnessは「スマートretry」をデフォルトで有効にしており、tool callが一度でも失敗すると即座に再試行する。設定を見直してretry回数を3から1に落とすだけで、冗長なtokenはかなり削れる。

3. system promptの長さを確認する。system promptを実際にダンプしてみると、フレームワークがデフォルトで数百行の説明文を注入していることがある。本体の指示が200文字しかないのにsystem promptが2000文字もあるなら、毎ターンその1800文字分の課金を払い続けていることになる。

FrontierHarness自体(frontierharness.org)に自分のプロンプトを投げて、各harnessのコスト分布を見るだけでも、現状の構成がどの分位に居るかは把握できるだろう。

編集部の見立て

Agent harnessのコストプレミアムはバグではなくfeatureだ。ただし、このfeatureの価格は開発者に対して不透明になっている。

これは従来のLLMフレームワーク選定(LangChain対LlamaIndexのような構図)と決定的に違う。harnessは直接お金を使う。一方でORM層の抽象は少なくとも価格の動きが安定している。グルーコードを数行多く書いてもデータベースクエリが高くなることはないが、harnessを間違えせば当月の請求額はあっという間に倍になる。

個人的には、今後6〜12ヶ月のうちに「harness profiler」系のツールがいくつか出てくるはずだと見ている。cost tracingとtoken breakdownを専門にやるツールだ。フロントエンドのbundle analyzerに似ている。あのツールも「デプロイしてみたらbundleの80%が使っていない依存だった」と気付かせてくれる存在だった。harness版は「デプロイしてみたらtokenの80%がフレームワーク自身の処理で消えていた」という発見をもたらすだろう。

もう一つの裏テーマとして、Agentフレームワークの差別化軸が「機能の多さ」から「単位コストあたりの能力」へ移っていくとみられる。1ドルの予算内でより多くのタスクをこなせるフレームワークが勝つ。機能を積み上げるタイプのフレームワーク(CrewAIなど)は、今後売りにくくなっていくだろう。

不確かな部分も残しておく。FrontierHarnessの評価は筆者側で独立に再現できておらず、9つのharnessの具体的な顔ぶれやタスク設計が結論に与える影響は大きい。もし読者のなかでオリジナルのbenchmarkを走らせた人がいたら、コメント欄で数字を突き合わせてほしい。

出典:FrontierHarness プロジェクトページ

出典: https://frontierharness.org