大模型

Anthropic 可证明推理:LLM 可靠性新路线

Anthropic 研究如何为 LLM 推理提供形式化保证。本文拆解研究边界,并给出 Agent 部署中可落地的验证、拒答与人工接管设计。

字号

Anthropic 把 LLM 可靠性问题从跑分转向形式化验证。本文拆解这条路线,给出 Agent 部署可用的验证与退出设计。

Anthropic 发布研究《Progress on provable inference for large language models》,把问题从“模型答对多少题”转向“这个推理结果能否被形式化验证”。

方向很有意思。也很容易被说大。

普通 benchmark 衡量的是经验表现:在固定数据集上,模型拿到多少分。可证明推理瞄准的是另一件事:针对指定任务,系统能否给出边界清楚、可以检查的可靠性保证。

这不是让 Claude 变成不会犯错的模型。更像是给推理过程加上一份可审计的证明。

可证明推理解决什么

先区分两个概念。

经验性评测回答:

在这批测试题上,模型表现如何?

它依赖样本分布。测试集换了,结论可能变化。模型在某个 benchmark 上得高分,也不能自动推出它会稳定处理生产环境里的陌生输入。

可证明推理回答:

在任务、假设和边界条件明确时,模型输出的正确性或失败风险,能否被系统证明或约束?

例如,一个程序分析 Agent 负责判断输入代码是否满足一组安全属性。工程团队需要的不是“过去处理过 1,000 个类似任务,准确率 98%”,而是:哪些输入属于可证明范围,验证器如何确认结果,超出范围时系统如何拒答或转交人工。

这与传统软件验证更接近。编译器不会因为“大部分代码都能编译”就宣布可靠。它依赖类型、规则和可检查的证明条件。

Anthropic 的研究主题,正是大模型能否对推理结果提供形式化保证,以及如何把保证扩展到更大规模的语言模型。

所以,这次不是给旧评测表再加一个总分,而是换了一个问题:

模型输出与形式化证明之间,应该建立什么接口?

Anthropic 的研究切口

这项研究叫《Progress on provable inference for large language models》。标题里的“Progress”很关键。它不是宣布通用大模型已经获得可证明正确性,而是报告这条路线上的进展。

从公开摘要看,Anthropic 聚焦两个核心问题:

  1. 大模型能否为推理结果提供形式化保证;
  2. 如何把这种保证扩展到更大规模的语言模型。

第二个问题尤其难。

形式化验证通常要求明确对象:状态空间、转换规则、属性和不变量。LLM 却面对开放语言、自然世界信息和模糊任务。模型规模越大,行为空间也越难穷举。

Anthropic 的切口,是缩小可验证范围,而不是要求模型对所有事情都给出证明。

一种合理的工程结构是:

  • LLM 负责把自然语言问题转成候选推理步骤;
  • 形式化系统检查这些步骤是否满足约束;
  • 证明不通过时,触发重试、缩小搜索空间或升级处理;
  • 最终输出附带保证成立的前提与边界。

大模型因此不是被证明对象本身。更像一个生成候选解和自然语言接口的组件。

这和强化学习中的“可验证奖励”有相似之处,但目标更严格。RL 可以用测试结果训练模型;形式化验证试图直接建立结果与正确性之间的逻辑联系。

原文由 Anthropic 发布,研究直接涉及大语言模型推理的可靠性、可验证性和安全部署:

Progress on provable inference for large language models

证明范围决定实际价值

理论保证能否覆盖真实部署中的开放环境,是首先要检查的问题。

形式化证明最怕前提被写得比产品需求窄得多。比如,只允许 Agent 在一个结构化数据库和固定 API 集合中操作,证明可能成立。真实 Agent 却会面对网页变化、权限异常、工具超时、依赖服务更新和用户输入歧义。

证明范围外发生什么,才是生产系统最关心的部分。

第二,“可证明”到底保证了什么。

它可能保证最终答案满足某个属性,不保证模型找到了完成任务所需的全部步骤。它也可能只覆盖一个局部推理环节,而不是整个 Agent 轨迹。

如果只写“模型可以被证明正确”,就会丢掉最重要的限定词:哪些任务、哪些假设、在什么验证成本下。

理论基础被接受,不等于团队愿意为它改生产架构。工程团队还需要验证器与真实系统之间的接口成本。

对 Agent 部署的实际影响

AI Agent 的风险通常不是单次回答错一句。它更像一条会积累错误的链路:

用户意图 → 工具选择 → 参数生成 → API 返回 → 状态更新 → 下一步决策

任何一环出现偏差,后果都可能传下去。一个 Agent 若错误执行删除操作,即使前面的语言推理都合理,系统仍然造成损失。

这也是局部可证明性更可能先落地的原因。

工具调用

与其证明 Agent 永远选对工具,不如先约束高风险调用:

  • 工具名称只能来自注册表;
  • 参数必须通过 schema 校验;
  • 金额、收件人、资源范围设置硬限制;
  • 删除、支付、发布等操作要求二次确认。

LLM 决定“想做什么”。确定性代码决定“允许做什么”。

代码执行

代码 Agent 更适合采用“生成—检查—执行”的结构。模型写出候选程序后,测试、类型检查、静态分析和沙箱策略负责拦截问题。

这里的保证不必包装成完整的“数学证明”。可重复的测试、明确的静态规则和受控执行环境,也能形成工程上的可信边界。

长链路任务

任务越长,整体端到端保证越难。假设每一步都只有 99% 的局部可靠性,十步后全部正确的概率只有约 0.99^10 ≈ 90.4%。

这还不是严格证明。它只是说明:把可靠性寄托在 LLM 自主纠错上很脆弱。更实际的方法,是给关键节点增加状态检查、幂等操作、人工审批和失败回滚。

因此,可证明推理对 Agent 部署的主要价值,可能不是自动获得“永不出错”的系统,而是提供一种分层方式:哪些步骤需要数学保证,哪些步骤用工程约束,哪些步骤必须让人介入。

评测体系需要换指标

如果模型可靠性不能只看准确率,评测表就需要增加几列。

保证覆盖率

在全部目标任务中,有多少任务能获得形式化保证?

这个数字比总体准确率更接近部署风险。比如一个模型在开放问答上准确率很高,但只有 12% 的业务任务能被验证。后者才决定它能否进入支付、合规或运维等高风险流程。

这里的 12% 是示例值,不是 Anthropic 研究结论。

验证成本

证明需要多少计算资源和时间?

一个需要数小时验证的定理,不适合在线 Agent 每一步都跑。工程团队需要知道验证延迟、token 消耗、工具调用次数,以及能否缓存验证结果。

假设完整度

保证依赖哪些前提?

例如,工具 schema 稳定、数据库事务语义明确、环境变量经过约束。如果前提没写进验证结果,这个保证就不能直接用于安全决策。

失效边界

验证失败后,系统怎么办?

好的系统应明确区分:

  • 证明通过;
  • 证明失败;
  • 超出可验证范围;
  • 验证器本身出错。

这四种状态不能都压成一个“失败”。Agent 需要据此选择重试、降级或人工接管。

所以,新的评测问题不只是“Claude 比另一个模型高几分”,而是:

它在哪些任务上能给出什么保证?保证依赖什么?验证一次要花多少钱?失效时如何退出?

这些问题目前还没有统一行业答案。

编辑思考

可证明推理的重要性,不在于给 Claude 换一张更高分的榜单,而在把“模型大概靠谱”改成可审计的工程条件。生产系统真正缺的不是一句准确率,而是一个能回答任务范围、前提、成本和失败路径的接口。我的判断是,短期内它会先在高风险工具调用、代码检查和审批节点落地,不会替代开放环境里的整条 Agent 链路。这和过去不同:benchmark 通常把不同模型放进同一评分规则,可证明推理则要求按任务拆分保证,并明确哪些部分必须拒绝或交给人。需要保留的不确定性是,Anthropic 的研究能否把保证扩展到更大模型,以及验证成本能否跟上线上延迟。若覆盖率长期偏低,它更像研究路线,不会成为主流部署标准。

来源: https://www.anthropic.com/research/provable-inference