見解

AI Agentのコストを最適化する5つの実践

タスク別指標、モデルルーティング、キャッシュ、量子化、评测を組み合わせ、1件の成功タスクにかかる総コストを削減する方法|SWE ComputingのDividendをAI Agent的成本最適化という視点_address_日本語_で受け入れる_。

文字サイズ

Dwarkesh Patel は AI 開発に待ち큰壁を「数学の雪崩」に例えた。重要なのはモデルの大きさではなく、訓練、推論、Agent タスクのたびにどれだけの有効な成果を得られるかを考えることである。

AI Agent コスト最適化:5つの方法で計算資源の過剰投入を避ける

AI 開発闲暇 Suitable な「数学の雪崩」

Dwarkesh Patel の記事 “The avalanche that hit math is coming for AI development” が Hacker News のトップページに載った時点で、ページには 44 points、47件のコメントが集まった。

これはモデルの発表でも、API の小規模なアップデートでもない。AI の能力拡張には次第に多くの計算資源が必要になっている一方、計算投入と能力成果の間の効率は低下しつつあるというtrendを論じている。

「数学の雪崩」は比喩である。数学研究にも同様の圧力があった。研究への投入は増え続ける一方、高価値で領域の境界を進める研究結果は得にくくなる。論文数は増加しても、分野を本当に前進させる発見が同じ速度で増えるとは限らない。

Patel はこの論理を AI 開発に移す。继续してより大きなモデルを訓練すれば進歩をもたらす可能性は確かにある。しかし、追加した計算資源による限界的な利益が低下し続ければ、開発の現場では構造的な問題に直面する。

모델を Carrier 大きくし続けて,值得,值得 worth あるのか。

ここには、予算表にそのまま記入できる訓練コスト、GPU 台数、性能向上率はない。素材ではこれらの数値が示されていないため、補足もしない。EMO の関心はもう少し後にある。すなわち、AI 製品が計算資源を依然として有効に活用しているかをどう判断するかだ。

本当のボトルネックは GPU 台数ではない

「計算資源が不足している」は最も説明しやすい,同时に最も誤認されやすい問題である。

会社の幹部がモデルの能力不足に気づくと、最初の反応は大抵 GPU を追加することだ。それでも足りない場合は、より大きなモデルに切り替え、訓練データを増やし、訓練期間を延ばす。この手順は、能力向上がほぼ線形に增长的限り有效である。限界的な利益が低下し始めた段階で同じことを続けても、請求書とエンジニアリングの複雑さが同時に増えるだけだ。

LLM の計算台帳は、少なくとも三つの層に分かれる。

第一層は事前訓練である。モデルは raw なコーパスから言語や世界のパターンを学ぶため、大量の token、GPU 時間、データ処理が必要だ。ここには「無効な計算」が大量に発生する。品質が低い重複データ、来歴不明なデータ、十分にカバー済みのデータなどがそれに当たる。

第二層は推論である。リクエストごとにコンテキストを読み込み、token を生成する。モデルの能力が変わらなくても、呼び出し回数、コンテキスト長、出力量によってコストは上がる。

第三層は AI Agent のデプロイである。Agent はモデルを一度呼び出すだけではない。タスクを分解し、ファイルを読み、ツールを呼び出し、結果を確認し、次の行動を決める。タスクが複雑になるほど、モデル呼び出しのラウンド数は増える。各ラウンドでシステムプロンプト、履歴メッセージ、ツール結果を再び渡す可能性がある。

したがって、推論コストは単回の token 価格だけでは測れない。タスクが完了するまでに何回の呼び出しが発生したか、どれだけのコンテキストを送ったか、ツール呼び出しが重複していないか、失敗後に 처음から再実行したかを見る必要がある。

モデルをより高価格なバージョンに置き換えて Agent が自動的に賢くなると期待しても、帳簿上は非効率を拡大しただけになる。

推論コストが製品の上限を決める

AI Agent が 1 日 10,000 件のタスクを処理すると仮定しよう。各タスクでは、まず分類を行い、次に 5 件の文書を読み込み、4 回ツールを呼び出し、最後に回答を生成する。1 件のタスクは 1 回の API リクエストではなく、連続したリクエストの連鎖である。

毎ラウンドで同じ背景情報をコンテキストに詰め直せば、製品の粗利率は重複した token に奪われる。モデルランキングでわずかに上位 수업 있어も、単位タスク当たりコストが低いことを意味しない。

私は次の指標でコストを計算する。

  • 1 タスク当たりの呼び出し回数:計画、ツール呼び出し、再試行、結果検証を含める。
  • 入力 token の内訳:システムプロンプト、動的コンテキスト、ツール結果にそれぞれどれだけの比率が含まれるか。
  • キャッシュヒット率:安定したプロンプトや検索内容を再利用できるか。
  • 有効な完了率:回答がそれらしく見えるかどうかではなく、タスクが実際に完了した割合。
  • 失敗からの復旧コスト:エラー後に局所的に再試行するか、チェーン全体を一からやり直すか。

つまり、モデル選定の基準は「どのモデルのスコアが最も高いか」から「どのモデルが最低の総コストでタスクを完了できるか」へ変える。安価なモデルは分類、抽出、値の検証に使い、多段推論が必要な部分には高性能なモデルを残す。この使い分けは、すべてのリクエストをフラッグシップモデルに送るより制御しやすい。

Claude、GPT、Gemini、Qwen、オープンソースモデルの間でも、同じタスク群で比較できる。いくつかの質問と回答の例だけを測定してはいけない。少なくとも成功率、レイテンシ、token 消費量、人手による修正時間を記録する。

Agent にとって最適化するべきなのは、1 回の呼び出し単価ではなく、1 件のタスク完了に必要な計算量である。

開発ルートは訓練からエンジニアリングへ移る

これは事前訓練が重要じゃないという意味ではない。事前訓練はモデルの基礎能力を左右する。ただし、多くの AI アプリチームにとってはエンジニアリング側に操作可能な余地が daha 大きい。

1. 規模拡大の前にデータを精査する

学習データセットには、価値の低いサンプルが多数含まれる。品質が低い、重複している、目标任务と無関係なデータは、計算資源を消費するだけでなく、訓練信号を希釈する可能性もある。

より現実的な道筋は、データを層別化することだ。高品質な中核集合、タスク関連集合、少量のロングテール集合を用意する。訓練前にサンプル分布と重複除去の結果を確認する。素材には具体的なコスト比率が示されていないため、筛选でどれだけ節約できるかは断定できない。しかし、無効なデータを少なく渡すことは、訓練後に推論の問題を論じるより早い。

2. 一括処理ではなくモデルルーティングを使う

ルーティングは複雑にする必要はない。まず、タスク難易度、視覚能力の要否、コンテキスト長、レイテンシ要件で分類できる。

from dataclasses import dataclass

@dataclass
class Route:
    name: str
    max_tokens: int
    supports_tools: bool

ROUTES = {
    "extract": Route("extract", max_tokens=800, supports_tools=False),
    "reason": Route("reason", max_tokens=2400, supports_tools=True),
}

def select_route(task: dict) -> Route:
    if task.get("type") == "extract":
        return ROUTES["extract"]
    return ROUTES["reason"]

このコードはルーティングだけを担当する。プロダクション環境にはタイムアウト、再試行、フォールバック戦略も必要だ。しかし方向は明確である。ルールと评测でタスクを分類してから、どのモデルを呼び出すかを決める。

3. 安定した内容をキャッシュする

システムプロンプト、few-shot の例、繰り返し登場する文書は、キャッシュの対象になり得る。動的な部分と安定した部分は分けて設計し、ユーザーが入力を変えた途端に prefix 全体が失効するようにしない。

長いコンテキストでは特に重要である。20 ページの文書を毎ラウンドでモデルに再送するより、必要な箇所を检索して送るほうが安い。RAG の価値は「モデルにより多くの情報を与える」ことだけにあるのではなく、1 回のリクエストで実際に運ぶ情報量を制御することにもある。

4. 量子化を性能テストの代替にしない

量子化は GPU メモリ使用量を減らし、スループットを高められる。ただし、Tasks の品質低下が許容できるかどうかによって、その価値が決まる。

手順は直接的だ。現実的なタスク群を用意し、元の重みと量子化した重みをそれぞれ実行し、成功率、レイテンシ、メモリを比較する。perplexity だけを測定したり、benchmark の低下が明らかな株主Integrations Eltern 战场上立即公開したりしてはいけない。

5. タスク単位の评测を構築する

モデルの评测と Agent の评测は別物である。

モデルの评测は「この問題にどれくらい正しく答えられたか」を測る。Agent の评测は「この Agent はコストと時間の制約内でタスクを完了できたか」を測る。後者では、少なくとも次の項目を確認する。

  • 最終的なタスク成功率
  • 完了したタスク当たりの平均呼び出し回数
  • 入力 token と出力 token の合計
  • ツール呼び出しの失敗率
  • タイムアウトと再試行の回数
  • 人手による-takeover の割合

これらの数値はタスク種別ごとに分けるべきである。そうしなければ、単純な抽出を大量に行い、複雑な推論を少し扱うシステムでも、平均値によって問題が隠される。

より重要なのは、评测をリリースプロセスに組み込むことだ。プロンプトの変更、モデルの交換、ツールの調整のたびに、同じタスク群を実行する。そうしなければ,所谓の「最適化」は、別のサンプルで良く見えるだけになりかねない。

編集者の視点

「数学の雪崩」の意味は、AI の発展が止まると予測することではない。チームに投入対成果を再計算するよう促すことにある。モデル規模は増え続けるだろうが、アプリケーション層の競争は、タスク完了効率に increasingly 集中する。同じ結果を得るために、どれだけの token、何ラウンドのツール呼び出し、何時間の人手修正が必要かという問題である。

次の AI Agent 製品における中核指標は、単回の呼び出し価格だけでなく、「1 件の成功タスク当たりの総コスト」に近づくと考える。この変化によって、モデルルーティング、キャッシュ、量子化、评测、失敗からの復旧がインフラのレイヤーに入り、リリース直前にようやく追加するのではなくなる。

今回,过去と異なる点は、競争の単位がモデル能力から完全なワークフローへ移っていることである。ランキングのスコアは今も重要だが、Agent がなぜ何度も遠回りしたのかを説明はしない。訓練や推論のアルゴリズム jeudi 明確な飛躍Gestalt タスク当たりコストをさらに下げる可能性にも certainty はない。それでも、先にタスク単位の指標を定義し、その上の計算方式を選ぶほうが、確実なアプローチである。

出典: https://www.dwarkesh.com/p/rsi