观点

AI Agent 成本优化:5 个方法避开算力堆砌

从任务级指标、模型路由、缓存到量化与评测,算清 AI Agent 每个成功任务的总成本。

字号

Dwarkesh Patel 用“数学雪崩”类比 AI 研发瓶颈。真正要算的不是模型有多大,而是每次训练、推理和 Agent 任务能换来多少有效产出。

一场针对 AI 开发的“数学雪崩”

Dwarkesh Patel 的文章 “The avalanche that hit math is coming for AI development” 登上 Hacker News 首页时,页面有 44 points、47 条评论。

这不是一次模型发布,也不是某个 API 的小版本更新。它讨论的是一个趋势:AI 能力扩张需要越来越多的计算资源,但计算投入与能力产出之间的效率正在下降。

“数学雪崩”是个类比。数学研究也出现过类似压力:投入持续增加,研究人员却越来越难找到高价值的新结果。论文数量可以增长,但真正推进领域边界的发现未必按同样速度增长。

Patel 把这个逻辑移到 AI 开发上。继续训练更大的模型当然可能带来进步。可一旦新增算力带来的边际收益持续下降,研发就会碰到一个结构性问题:

模型还值得继续堆大吗?

这里没有可直接抄进预算表的训练成本、GPU 数量或性能增幅。素材没有提供这些数字,我也不补。我的关注点更靠后:怎样判断 AI 产品是否还在有效使用计算。

真正的瓶颈不是 GPU 数量

“算力不够”是最容易解释、也最容易被误判的问题。

公司看到模型能力不足,第一反应通常是加 GPU。再不行,就换更大的模型、增加训练数据、延长训练周期。这套逻辑在能力增长接近线性时有效。到了边际收益下降阶段,继续照做只会让账单与工程复杂度一起上升。

LLM 的计算账本至少分成三层。

第一层是预训练。模型从原始语料中学习语言和世界模式,需要大量 token、GPU 时间和数据处理。这里常出现大量“无效计算”:重复质量不高、来源不明或已经被充分覆盖的数据。

第二层是推理。每次请求都要读取上下文、生成 token。即使模型能力不变,调用量、上下文长度和输出长度也会推高成本。

第三层是 AI Agent 部署。Agent 不是只调用一次模型。它会拆任务、读文件、调用工具、检查结果,再决定下一步。任务越复杂,模型调用轮次越多。每轮都可能重新携带系统提示、历史消息和工具结果。

所以,推理成本不能只看单次 token 价格。真正要看的是一次任务结束前用了多少次调用,传了多少上下文,工具调用有没有重复,以及失败后是否从头重跑。

把模型替换成一个更贵的版本,然后期待 Agent 自动变得更聪明,账面上可能只是把低效率放大了。

推理成本决定产品上限

假设一个 AI Agent 每天处理 10,000 个任务。每个任务先做一次分类,再读取 5 份文档,随后调用 4 次工具,最后生成答案。一次任务不是一次 API 请求,而是一串请求。

如果每轮都把相同背景重新塞进上下文,产品毛利会被重复 token 吃掉。模型榜单上领先几分,也不代表单位任务成本更低。

我会用下面这组指标算账:

  • 单任务调用次数:包括规划、工具调用、重试和结果校验。
  • 输入 token 构成:系统提示、动态上下文、工具结果各占多少。
  • 缓存命中率:稳定提示和检索内容能否复用。
  • 有效完成率:任务真正完成的比例,而不是回答看起来像不像。
  • 失败恢复成本:出错后是局部重试,还是整条链重新开始。

这意味着模型选型应该从“哪个分数最高”改成“哪个模型以最低总成本完成任务”。便宜模型处理分类、抽取和参数校验;强模型留给需要多步推理的节点。这通常比所有请求都走一个旗舰模型更可控。

Claude、GPT、Gemini、Qwen 或开源模型之间,也可以用同一套任务集比较。不要只测几个问答样例。至少记录成功率、延迟、token 消耗和人工修正时间。

对 Agent 来说,真正应该优化的不是每次调用有多便宜,而是完成一个任务需要多少计算。

开发路线要从训练转向工程

这并不意味着预训练不重要。它仍然决定模型的基础能力。但对多数 AI 应用团队,工程侧往往有更多可动的地方。

1. 先筛数据,再谈扩大规模

训练集里很多样本价值很低。低质量、重复或与目标任务无关的数据,不仅消耗算力,还可能稀释训练信号。

更实际的路线是建立数据分层:高质量核心集、任务相关集、少量长尾集。训练前先看样本分布和去重结果。素材没有给出具体成本比例,所以不能声称筛选能省下多少。但少喂无效数据,通常比在训练结束后再讨论推理问题更早。

2. 用模型路由替代一刀切

路由不必复杂。可以先按任务难度、是否需要视觉能力、上下文长度和延迟要求分类:

from dataclasses import dataclass

@dataclass
class Route:
    name: str
    max_tokens: int
    supports_tools: bool

ROUTES = {
    "extract": Route("extract", max_tokens=800, supports_tools=False),
    "reason": Route("reason", max_tokens=2400, supports_tools=True),
}

def select_route(task: dict) -> Route:
    if task.get("type") == "extract":
        return ROUTES["extract"]
    return ROUTES["reason"]

这段代码只负责路由,生产环境还需要超时、重试和降级策略。但方向很清楚:先用规则和评测划分任务,再决定调用哪个模型。

3. 缓存稳定内容

系统提示、few-shot 示例、重复出现的文档,都可能成为缓存候选。动态部分与稳定部分最好分开设计,避免用户一换输入,整段前缀都失效。

对长上下文尤其如此。把 20 页文档每轮重新传给模型,通常比先检索出相关片段再发送更贵。RAG 的价值也不只是“让模型知道更多”,而是控制每次请求实际携带的信息量。

4. 量化不是性能测试的替代品

量化可以降低显存占用,提高吞吐。但它是否值得,取决于任务质量损失能否接受。

做法很直接:准备一组真实任务,分别跑原始权重和量化权重,比较成功率、延迟与显存。不能只测困惑度,也不能因为 benchmark 没明显下降就直接上线。

5. 建立任务级评测

模型评测和 Agent 评测不是一回事。

模型评测回答“这道题答得怎么样”。Agent 评测回答“这个 Agent 有没有在成本和时间限制内完成任务”。后者至少要看:

  • 最终任务成功率;
  • 每完成任务的平均调用次数;
  • 总输入、输出 token;
  • 工具调用失败率;
  • 超时与重试次数;
  • 人工接管比例。

这些数字应该按任务类型拆分。否则,一个大量使用简单抽取、少量使用复杂推理的系统,可能被平均值掩盖问题。

更关键的是,把评测接入发布流程。每次改提示词、换模型或调整工具,都要跑同一组任务。否则所谓“优化”很容易只是在另一个样例上看起来更好。

编辑思考

“数学雪崩”的意义,不是预测 AI 会停止发展,而是提醒团队重新计算投入产出。模型规模仍会增加,但应用层的竞争会越来越集中在任务完成效率:同样的结果,要用多少 token、多少轮工具调用、多少人工修正。

我的判断是,下一轮 AI Agent 产品的核心指标会接近“每个成功任务的总成本”,而不只是单次调用价格。这会推动模型路由、缓存、量化、评测和失败恢复进入基础设施层,不再等上线前才补。

这次和过去不同的地方在于,竞争单位正从模型能力转向完整工作流。榜单分数仍重要,但它解释不了 Agent 为什么反复绕路。也不确定训练或推理算法是否会出现明显跃升,让单次任务成本继续下降;即便如此,先定义任务级指标,再选择计算方案,仍是更稳妥的做法。

来源: https://www.dwarkesh.com/p/rsi