大規模言語モデル

LLM单价が80%下がったAgentはphineい(metadata)コスト再計算 mastic

API単価が下がっても、多輪呼び出し、ツールループ、失敗時の再試行、長ContextsによってAgent全体の費用は抑えられない。成功タスク単位の実費から laguageモデル選定と運用設計を見直す方法を甸する。

文字サイズ

OpenAIとAnthropicは一部LLM APIの価格を最大80%引き下げた。すでに稼働しているAI Agentでは、まずAusgabe任務ごとに成功1件あたりの総費用を再計算し、その結果をもとにAusgabeモデルを変更すべきか判断する。

LLM単価が80%下がったAgentはphineい(metadata)コスト再計算 mastic

OpenAIとAnthropicは、数か月かけて一部LLM APIの価格を最大80%引き下げた。

この価格変更は、Hacker Newsのトップニュース「OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why?」でExtileされた。HNのページでは12 points、7件のコメントが表示されている。

価格は確かに下がった。しかし、すでに稼働しているAI Agentにとって、最初にやるべきことはAusgabeコードをすぐに書き換えることではなく、呼び出し履歴をbooksにWideningしてAusgabeを見直すことかもしれない。

1回のtokenが安くなっても、1件のタスクが安くなるとは限らない。多輪呼び出し、ツールループ、失敗時の再試行、長Contextsは、引き続きAusgabe予算を静かに圧迫する可能性がある。

AssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociationAssociation

Agentの費用は、入力と出力の100万tokenあたりの単価だけでは把握できない。

典型的な処理手順は次のようになる。

  1. ユーザーのリクエストを読み取る。
  2. 次に取るべき行動を判断するため、モデルを呼び出す。
  3. 検索、データベース、MCPなどのツールを呼び出す。
  4. ツールの結果をContextsに戻す。
  5. モデルが推論を続ける。
  6. 不正な出力が生成され、再試行が発生する。
  7. 再試行しても失敗し、人手に引き継ぐかAusgabeモデルに切り替える。

各ターンでこれまでのツール結果をすべて带到Contextsに含めれば、Contextsは増え続ける。モデル呼び出し回数も、ユーザーが1回のリクエストとして認識する回数とは限らない。

例えば、1件のタスクでモデルを平均8回呼び出し、1回あたりの入力が12,000 tokens、出力が2,000 tokensだとすると、実際の消費量は約96,000 input tokensと16,000 output tokensとなる。1回失敗して処理全体をやり直した場合、費用は12.5%増えるわけではない。やり直し時にも完全な履歴を同居させれば、増加幅はさらに大きくなる。

価格低下による改善が特に大きいのは、次の3つの部分である。

  • 多輪呼び出し:同じタスクで、より多くの推論ターンに耐えられる。
  • 長Contextsの処理:長いコードベース、文書、履歴メッセージを取り込めるようになり、帳簿上の負担が軽くなる。
  • バッチ推論:オフラインの要約、分類、文書処理などを、安いAPIで実行しやすくなる。

ただし、高頻度での再試行、ツールループ、Contextsの膨張は変わらない。単価が80%下がっても、例えば本来20回の呼び出しを要するAgentでも、ルーティングやプロンプトの設計が不適切なら、削減できた予算をAusgabeで消費してしまう可能性がある。

つまり、降价によってAusgabeモデルが壊れるのではなく、それまで見えにくかった問題がより明確になる(es)。

80%の価格低下は何から来ているのか

minaxir.comの記事「Cheap LLMs」は2026年10月に公開された。この記事でExtileされている中心的な观点は、推論コストが自然に低下したのではなく、複数の要因が重なったというものである。具体的には、推論効率、ハードウェア利用率、モデルのdistillation、open weightsモデルの追従、そしてベンダーが补贴でAPI価格を押し下げていたことである。

これらは個別に見る必要がある。

推論効率とは、同じ回答を生成するためにモデルが必要とする計算量が減ることを指す。Sparse Transformer、よりardaemonKV cacheの管理、推測デコード、構造化出力|latencyや計算量を削減できる可能性がある。

ハードウェア利用率は,更多にはクラウドベンダーの運用 Associate問題である。GPUクラスタが十分な負荷で稼働しているか、リクエストを異なる長さのbatchに分散できているか、推論サービスが継続的に稼働できるかなどが、単位費用に影響する。

モデルのdistillationを使うと、小さなモデルが大モデルの出力分布をYuし、分類、抽出、書き換えなど限定的なタスクでは、許容できる精度を安い価格で得られる。複雑な計画には適さないこともあるが、Agent内の局所的な判断には向いている。

open weightsモデルの追従は価格圧力magic高めている。Qwen、DeepSeek、Llama、Mistralなどのopen weightsモデルは、商用APIのプレミアム空間をcold続的に押し下げている。自前デプロイにはGPU、運用、エンジニアリングの費用 即使必要でも、調達側には現実的な選択肢がある。少なくとも一部トラフィックを自社クラスタへ移せる。

ベンダーの补贴は最も見落とされやすい。APIの表示価格と,长期的に有効な価格は同じではない。新モデル発売、開発者の獲得、企業契約、容量拡張の時期には、期間限定のbao guts条件的RXVtを使うことがある。

したがって、「80%値下げ」と見たときは、まず4点を確認する。

  • どのモデルの、どの入力・出力世代售价が下がったのか。
  • 新価格に条件、制限、キャッシュ書き込みの条件が伴うのか。
  • latency、スループット、可用性も同時に変化したのか。
  • この価格 assistiveで今後12か月の予算前提に組み込めるのか。

_AX_PROMOTIONを構造的なコスト削減とみなすことが、Ausgabeモデルで最も起こりやすい間違いである。

open modelsの追従で閉SOURCEベンダーが失うのはプレミアム

商用APIの価値は、モデルの能力だけではない。自動スケール、世界規模での可用性、セキュリティコンプライアンス、ツール呼び出しとの互換性、運用 不要ない運用体制も含まれる。

ただし、open weightsモデルとclosed APIの格差が縮小すると、企業はベンダーロックインを再検討するようになる。以前のモデル移行には、プロンプトの変更、回帰テストの再実行、ツールプロトコルの調整が必要だった。価格が下がるたびに、この移行コストの心理的ハードルが下がる。

実際のデプロイでは、どのベンダーを選ぶかより、モデルルーティングが重要になる。

例えば、Routerで低コストモデルを使って意図を分類する。単純な抽出タスクはdistilled modelへ、コード修正が必要なステップは能力の高いモデルを使う。ツールが大量のログを返した場合は、まず圧縮してから全文を保持するか判断する。失敗時にはモデルを変更できるが、再試行回数は必ず制限する。

这也是、LangGraphなどの状態を持つワークフローフレームワークが価値を増す理由である。処理ノード、状態の永続化、フォールバック、人手への引き継ぎは、すべて明示的に設計する必要がある。モデルを変更しても、状態マシン、ツール引数、エラー分岐 unchangedのままなら、帳簿上の価格低下は必ずしもタスク単位の価格低下にはつながらない。

open modelsがすべてのclosed APIを置き換える必要はない。より現実的な目標は、安定した標準化可能なトラフィックの30%から60%を移行し、高難度タスクをclosed modelに残し、迅速にロールバックできる経路を確保することである。

Agentのデプロイで変更すべき点

最初にコードを書き換えるのではなく、token Ausgabeモデルを再実行する。

タスクを成功率、平均呼び出し回数、平均Contexts長、人手介入率ごとに分解する。少なくとも次の5つの指標を記録する。

  • 成功1タスクあたりのモデル費用。
  • 成功1タスクあたりの総呼び出し回数。
  • ツール呼び出し成功率。
  • P50とP95のlatency。
  • 人手への引き継ぎ率。

理論上のtoken試算ではなく、実際のtraceで再計算する。

以下は実行できるPythonスクリプトである。Agentのtraceを読み込み、成功1タスクあたりのモデル費用を計算して、コスト上位10件を出力する。price_inとprice_outの単位は米ドル/100万tokensである。

import json
from pathlib import Path

PRICE_IN = 0.25
PRICE_OUT = 1.25

records = []
for path in Path("traces").glob("*.json"):
    with path.open(encoding="utf-8") as f:
        trace = json.load(f)

    if not trace.get("success"):
        continue

    input_tokens = 0
    output_tokens = 0
    calls = 0

    for event in trace.get("events", []):
        if event.get("type") != "model_call":
            continue
        usage = event.get("usage", {})
        input_tokens += int(usage.get("input_tokens", 0))
        output_tokens += int(usage.get("output_tokens", 0))
        calls += 1

    cost = (
        input_tokens * PRICE_IN / 1_000_000
        + output_tokens * PRICE_OUT / 1_000_000
    )
    records.append({
        "task_id": trace.get("task_id", path.stem),
        "calls": calls,
        "input_tokens": input_tokens,
        "output_tokens": output_tokens,
        "cost_usd": round(cost, 6),
    })

for record in sorted(
    records, key=lambda item: item["cost_usd"], reverse=True
)[:10]:
    print(json.dumps(record, ensure_ascii=False))

実行後、次の4点を変更する。

第1に、タスクの難易度に応じて動的にルーティングする。ブランドで固定するのではなく、タスクの特徴と評価スコアに基づいて振り分ける。

第2に、キャッシュを導入する。安定したシステムプロンプト、検索文書、繰り返し取得するツール結果をキャッシュする。セマンティックキャッシュには類似度しきい値を設け、命中率を記録して誤った再利用を避ける。

第3に、失敗時の再試行回数を制限する。無制限の再試行より、2回までの再試行のほうがAusgabeは管理しやすい。指数バックオフにより、瞬間的な混雑による重複リクエストを減らせる。

第4に、人手への引き継ぎを準備する。重要な書き込み、支払、削除、公開処理で、Agentに無限に試行させない。ツール引数の検証が2回連続で失敗した場合、または1タスクの費用が上限を超えた場合を、条件として設定する。

最後に、ベンダー切り替えを想定したインターフェース層を用意する。モデル名、パラメータ、timeout、再試行戦略は設定ファイルに置き、コアな業務ロジックに特定SDKのコードを埋め込まない。価格が変わるたびに、エンジニアリングコードを書き換えなくて済むようにしておく。

本当の競争指標は、100万tokenあたりの単価ではないかもしれない

最も安いモデルが、重要なAgentフローに最適とは限らない。

モデルAが1回あたり80%安くても、ツール呼び出し成功率が5ポイント低く、1タスクあたりの再試行が平均0.4回増える場合を考える。モデルBの方が高い価格でも、より多くのタスクを1回で完了できる。最終的な成功1タスクあたりの費用は,反而モデルBの方が高くなる可能性がある。

Agentでは「総完了費用」を比較すべきである。

成功1タスクあたりの費用 =
モデル呼び出し費用
+ ツール費用
+ 再試行費用
+ 人手処理費用
+ 失敗による業務損失

latencyも重要である。対話型AgentのP95が2秒から8秒に増えれば、ユーザーはtasksを中止する可能性がある。バッチ処理では、scalarではなくスループットと単位時間あたりの費用を重視する。

Contextsウィンドウも、大きいほどよいわけではない。ウィンドウが128Kから1Mに拡大しても、請求額が同時に下がるとは限らない。多くのモデルでは、長い入力に別の高い価格帯が適用される。関係のない履歴をすべて含めれば、tokenを無駄に使うだけでなく、干扰も増える。

モデルのアップグレードごとに、小型の回帰テストセットを残す。

  • 引数の生成。
  • ツールの選択。
  • 多輪状態の維持。
  • timeoutとエラーからの回復。
  • プロンプトインジェクションと権限外への書き込み。

価格、latency、成功率、タスク完了費用を同時に記録する。100万tokenあたりの単価だけでは、どのモデルにAgentを変更すべきか判断できない。

編集者の視点

今回の値下げは、Agentの試しDavinciXL費用を抑えたというより、モデル単に安くしたyna,而不是 ...。多輪推論、再試行、長Contextsは、もともとAgentの適用範囲を制限していた。単価が下がると、企業はより複雑なフローを試しやすくなる一方、無効なループも拡大する。短期的には、trace、キャッシュ、ロールバック方案的を先に監査してから、モデル移行を決めるべきである。OpenAIとAnthropicの間だけでなく、open weightsモデルもプレミアムを押し下げ続けており、価格変動はルーティングアーキテクチャの一部になっている。

今後優位に立つのは、最も安い报价のモデルではなく、タスクに応じて動的にモデル,并能selectし、失敗率、人手への引き継ぎ、ベンダー切り替えを明確に計算できるシステムである。ただし、补贴の期限、契約価格、実際のスループットには不確実性が残るため、1回の menghadapi岁以上価格をそのまま年間予算に書き直すことはできない。

出典

https://minimaxir.com/2026/10/cheap-llms/

出典: https://minimaxir.com/2026/10/cheap-llms/