大模型

LLM 降价 80% 后,Agent 成本该怎么重算

API 单价下降后,Agent 的多轮调用、工具循环与失败重试更值得警惕。本文给出一套可落地的成本审计方法。

字号

OpenAI 与 Anthropic 部分 LLM API 价格下调最高 80%。对已上线的 AI Agent,采购时应先重算每个成功任务的总成本,再决定是否换模型。

OpenAI 与 Anthropic 在数月内将部分 LLM API 价格下调最高 80%。

这组价格变化来自 Hacker News 首页新闻《OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why?》。HN 页面显示 12 points、7 条评论。

价格确实降了。但对已经上线的 AI Agent 来说,最先该做的可能不是立刻换模型,而是把调用账本重新摊开。

单次 token 便宜了,不等于一个任务便宜了。多轮调用、工具循环、失败重试和长上下文,仍可能在后台吞掉预算。

价格降了,Agent 的账本反而更复杂

Agent 的成本不能只看输入和输出的每百万 token 价格。

一个典型流程可能是:

  1. 读取用户请求。
  2. 调用模型判断下一步动作。
  3. 调用搜索、数据库或 MCP 工具。
  4. 把工具结果塞回上下文。
  5. 模型继续推理。
  6. 输出不合法,触发重试。
  7. 再失败,转人工或切换模型。

如果每轮都携带前面的工具结果,上下文会持续膨胀。模型调用次数也未必等于用户看到的一次请求。

假设一个任务平均调用模型 8 次,单次输入 12,000 tokens,输出 2,000 tokens,那么它实际消耗的是约 96,000 输入 tokens 和 16,000 输出 tokens。若失败一次后整段重跑,成本不会只增加 12.5%。重跑时如果继续附带完整历史,增加幅度可能更高。

价格下降主要改善三部分支出:

  • 多轮调用:同样任务可以承受更多推理轮次。
  • 长上下文处理:更长的代码库、文档和历史消息进入上下文,账本压力下降。
  • 批量推理:离线摘要、分类、文档处理等任务更容易跑在低价 API 上。

但高频重试、工具循环和上下文膨胀仍在。即使单价下降 80%,一个原本需要 20 次调用的 Agent,也可能因为路由或提示词设计不合理,消耗掉原本节省下来的预算。

所以,降价不是让成本模型失效,而是让它暴露得更清楚。

80% 降价到底来自哪里

minaxir.com 的原文《Cheap LLMs》发布于 2026 年 10 月,文章地址是:

https://minimaxir.com/2026/10/cheap-llms/

原文讨论的重点不是“推理成本天然下降”,而是几种因素叠加:推理效率、硬件利用率、模型蒸馏、开放权重模型追赶,以及厂商用补贴压低 API 报价。

这几个因素需要分开看。

推理效率指模型生成同样答案所需的计算量下降。Sparse Transformer、更好的 KV cache 管理、推测解码和结构化输出,都可能减少延迟或计算量。

硬件利用率更接近云厂商的运营问题。GPU 集群是否满载、请求是否充分打散不同长度的 batch、推理服务能否连续运行,都会影响单位成本。

模型蒸馏让小模型学习大模型输出的分布,在分类、抽取、改写等窄任务上,以更低价格换取可接受的准确率。它不一定适合复杂规划,但很适合 Agent 中的局部判断。

开放权重追赶则扩大了价格压力。Qwen、DeepSeek、Llama、Mistral 等开放权重模型持续压低商业 API 的溢价空间。即使最终部署自托管需要支付 GPU、运维和工程成本,采购方仍有了一个真实选项:至少可以把一部分流量放到自有集群。

厂商补贴最容易被忽略。API 标价不等于长期有效价格。新模型首发、抢占开发者、企业合同和容量扩张期,都可能使用阶段性优惠。

因此,看到“降价 80%”时,我会先追问四件事:

  • 降的是哪款模型、哪档输入或输出?
  • 新价格是否附带条件、限流或缓存写入条件?
  • 延迟、吞吐和可用性是否同步变化?
  • 这个报价能否写入未来 12 个月的预算假设?

把促销当结构性降本,是成本模型最容易犯的错。

开源模型追赶,闭源厂商先失去的是溢价

商业 API 的价值不只是模型能力。还包括自动扩容、全球可用性、安全合规、工具调用兼容性和免运维。

但当开放权重模型与闭源 API 的价差缩小,企业会重新评估供应商锁定。过去迁移模型意味着改提示词、重新做回归测试,甚至调整工具协议。现在价格每降一次,这套迁移成本的心理门槛也会下降一点。

实际部署里,模型路由会比“选谁”更重要。

例如,Router 先用低成本模型处理意图分类。简单抽取任务走蒸馏模型;需要代码修改的步骤调用能力更强的模型;工具返回大量日志时,先做压缩,再决定是否保留全文。失败后可以换模型,但必须限制重试次数。

这也是 LangGraph 等有状态工作流框架更有价值的地方。流程节点、状态持久化、失败回退和人工接管,都需要显式设计。换了模型,但状态机、工具参数和错误分支没变,账面降价不一定转化为任务降价。

开放模型也不必取代所有闭源 API。更现实的目标是,把 30% 到 60% 的稳定、可标准化流量迁走,保留高难度任务给闭源模型,并保留一次快速回滚通道。

Agent 部署该改什么

我会先重跑 token 成本模型,而不是先改代码。

先把任务按成功率、平均调用次数、平均上下文长度和人工介入率拆开。至少记录五个指标:

  • 每个成功任务的模型费用。
  • 每个成功任务的总调用次数。
  • 工具调用成功率。
  • P50 与 P95 延迟。
  • 人工接管率。

然后用真实 trace 重算,而不是用理论 token 估算。

下面是一段可以运行的 Python 脚本。它读取 Agent trace,计算每个成功任务的模型费用,并输出成本最高的 10 条任务。price_in 和 price_out 的单位是美元/百万 tokens:

import json
from pathlib import Path

PRICE_IN = 0.25
PRICE_OUT = 1.25

records = []
for path in Path("traces").glob("*.json"):
    with path.open(encoding="utf-8") as f:
        trace = json.load(f)

    if not trace.get("success"):
        continue

    input_tokens = 0
    output_tokens = 0
    calls = 0

    for event in trace.get("events", []):
        if event.get("type") != "model_call":
            continue
        usage = event.get("usage", {})
        input_tokens += int(usage.get("input_tokens", 0))
        output_tokens += int(usage.get("output_tokens", 0))
        calls += 1

    cost = (
        input_tokens * PRICE_IN / 1_000_000
        + output_tokens * PRICE_OUT / 1_000_000
    )
    records.append({
        "task_id": trace.get("task_id", path.stem),
        "calls": calls,
        "input_tokens": input_tokens,
        "output_tokens": output_tokens,
        "cost_usd": round(cost, 6),
    })

for record in sorted(
    records, key=lambda item: item["cost_usd"], reverse=True
)[:10]:
    print(json.dumps(record, ensure_ascii=False))

跑完以后,再做四项改造。

第一,按任务难度动态路由。不要按品牌固定路由,要按任务特征和评测分数路由。

第二,加入缓存。对稳定的系统提示、检索文档、重复工具结果做缓存。语义缓存要设置相似度阈值,并记录命中率,避免错误复用。

第三,设置失败重试上限。重试 2 次通常比无限重试更容易控制成本。指数退避可以减少瞬时拥塞造成的重复请求。

第四,准备人工接管。关键写入、付款、删除和发布操作,不应让 Agent 无限尝试。触发条件可以是连续两次工具参数校验失败,或单任务费用超过预算上限。

最后,给供应商切换留下接口层。模型名、参数、超时和重试策略放在配置中,核心业务逻辑不要硬编码某个 SDK。否则每次降价都要改一轮工程代码。

真正的竞争指标可能不是每百万 token

最便宜模型未必适合关键 Agent 流程。

假设模型 A 单次便宜 80%,但工具调用成功率低 5 个百分点,任务平均重试 0.4 次;模型 B 更贵,却能一次完成更多任务。最终每个成功任务的成本可能反过来更高。

Agent 应该比较“总完成成本”:

每个成功任务成本 =
模型调用费用
+ 工具费用
+ 重试费用
+ 人工处理成本
+ 失败造成的业务损失

延迟也重要。交互式 Agent 的 P95 从 2 秒涨到 8 秒,用户可能直接放弃。批处理任务则更看重吞吐和单位时间成本。

上下文窗口也不是越大越好。窗口从 128K 增到 1M,账单可能没有同步下降。很多模型会对长输入使用更贵的价格档位。无关历史全部带进去,既浪费 token,也增加干扰。

我会为每次模型升级保留一个小型回归集,覆盖:

  • 参数生成。
  • 工具选择。
  • 多轮状态保持。
  • 超时与错误恢复。
  • 提示注入和越权写入。

然后同时记录价格、延迟、成功率与任务完成成本。单看每百万 token,无法决定 Agent 应该换谁。

编辑思考

这次降价更像是压缩 Agent 的试错成本,而不是简单让模型变便宜。多轮推理、重试和长上下文原本限制了 Agent 的上线范围;单价下降后,企业会更愿意测试更复杂的流程,也会放大无效循环。短期应先审计 trace、缓存和回滚方案,再决定模型迁移。不同之处在于,降价不再只发生在 OpenAI 与 Anthropic 之间,开放权重模型也在持续压低溢价,价格波动已进入路由架构。我的判断是,未来占优的不是报价最低的模型,而是能按任务动态选模型,并把失败率、人工接管和供应商切换算清楚的系统。不过,补贴期限、合同价格和实际吞吐仍不确定,不能直接用一次促销价重写全年预算。

来源

https://minimaxir.com/2026/10/cheap-llms/

来源: https://minimaxir.com/2026/10/cheap-llms/