Anthropic 把 LLM 可靠性问题从跑分转向形式化验证。本文拆解这条路线,给出 Agent 部署可用的验证与退出设计。
Anthropic 发布研究《Progress on provable inference for large language models》,把问题从“模型答对多少题”转向“这个推理结果能否被形式化验证”。
方向很有意思。也很容易被说大。
普通 benchmark 衡量的是经验表现:在固定数据集上,模型拿到多少分。可证明推理瞄准的是另一件事:针对指定任务,系统能否给出边界清楚、可以检查的可靠性保证。
这不是让 Claude 变成不会犯错的模型。更像是给推理过程加上一份可审计的证明。
可证明推理解决什么
先区分两个概念。
经验性评测回答:
在这批测试题上,模型表现如何?
它依赖样本分布。测试集换了,结论可能变化。模型在某个 benchmark 上得高分,也不能自动推出它会稳定处理生产环境里的陌生输入。
可证明推理回答:
在任务、假设和边界条件明确时,模型输出的正确性或失败风险,能否被系统证明或约束?
例如,一个程序分析 Agent 负责判断输入代码是否满足一组安全属性。工程团队需要的不是“过去处理过 1,000 个类似任务,准确率 98%”,而是:哪些输入属于可证明范围,验证器如何确认结果,超出范围时系统如何拒答或转交人工。
这与传统软件验证更接近。编译器不会因为“大部分代码都能编译”就宣布可靠。它依赖类型、规则和可检查的证明条件。
Anthropic 的研究主题,正是大模型能否对推理结果提供形式化保证,以及如何把保证扩展到更大规模的语言模型。
所以,这次不是给旧评测表再加一个总分,而是换了一个问题:
模型输出与形式化证明之间,应该建立什么接口?
Anthropic 的研究切口
这项研究叫《Progress on provable inference for large language models》。标题里的“Progress”很关键。它不是宣布通用大模型已经获得可证明正确性,而是报告这条路线上的进展。
从公开摘要看,Anthropic 聚焦两个核心问题:
- 大模型能否为推理结果提供形式化保证;
- 如何把这种保证扩展到更大规模的语言模型。
第二个问题尤其难。
形式化验证通常要求明确对象:状态空间、转换规则、属性和不变量。LLM 却面对开放语言、自然世界信息和模糊任务。模型规模越大,行为空间也越难穷举。
Anthropic 的切口,是缩小可验证范围,而不是要求模型对所有事情都给出证明。
一种合理的工程结构是:
- LLM 负责把自然语言问题转成候选推理步骤;
- 形式化系统检查这些步骤是否满足约束;
- 证明不通过时,触发重试、缩小搜索空间或升级处理;
- 最终输出附带保证成立的前提与边界。
大模型因此不是被证明对象本身。更像一个生成候选解和自然语言接口的组件。
这和强化学习中的“可验证奖励”有相似之处,但目标更严格。RL 可以用测试结果训练模型;形式化验证试图直接建立结果与正确性之间的逻辑联系。
原文由 Anthropic 发布,研究直接涉及大语言模型推理的可靠性、可验证性和安全部署:
Progress on provable inference for large language models
证明范围决定实际价值
理论保证能否覆盖真实部署中的开放环境,是首先要检查的问题。
形式化证明最怕前提被写得比产品需求窄得多。比如,只允许 Agent 在一个结构化数据库和固定 API 集合中操作,证明可能成立。真实 Agent 却会面对网页变化、权限异常、工具超时、依赖服务更新和用户输入歧义。
证明范围外发生什么,才是生产系统最关心的部分。
第二,“可证明”到底保证了什么。
它可能保证最终答案满足某个属性,不保证模型找到了完成任务所需的全部步骤。它也可能只覆盖一个局部推理环节,而不是整个 Agent 轨迹。
如果只写“模型可以被证明正确”,就会丢掉最重要的限定词:哪些任务、哪些假设、在什么验证成本下。
理论基础被接受,不等于团队愿意为它改生产架构。工程团队还需要验证器与真实系统之间的接口成本。
对 Agent 部署的实际影响
AI Agent 的风险通常不是单次回答错一句。它更像一条会积累错误的链路:
用户意图 → 工具选择 → 参数生成 → API 返回 → 状态更新 → 下一步决策
任何一环出现偏差,后果都可能传下去。一个 Agent 若错误执行删除操作,即使前面的语言推理都合理,系统仍然造成损失。
这也是局部可证明性更可能先落地的原因。
工具调用
与其证明 Agent 永远选对工具,不如先约束高风险调用:
- 工具名称只能来自注册表;
- 参数必须通过 schema 校验;
- 金额、收件人、资源范围设置硬限制;
- 删除、支付、发布等操作要求二次确认。
LLM 决定“想做什么”。确定性代码决定“允许做什么”。
代码执行
代码 Agent 更适合采用“生成—检查—执行”的结构。模型写出候选程序后,测试、类型检查、静态分析和沙箱策略负责拦截问题。
这里的保证不必包装成完整的“数学证明”。可重复的测试、明确的静态规则和受控执行环境,也能形成工程上的可信边界。
长链路任务
任务越长,整体端到端保证越难。假设每一步都只有 99% 的局部可靠性,十步后全部正确的概率只有约 0.99^10 ≈ 90.4%。
这还不是严格证明。它只是说明:把可靠性寄托在 LLM 自主纠错上很脆弱。更实际的方法,是给关键节点增加状态检查、幂等操作、人工审批和失败回滚。
因此,可证明推理对 Agent 部署的主要价值,可能不是自动获得“永不出错”的系统,而是提供一种分层方式:哪些步骤需要数学保证,哪些步骤用工程约束,哪些步骤必须让人介入。
评测体系需要换指标
如果模型可靠性不能只看准确率,评测表就需要增加几列。
保证覆盖率
在全部目标任务中,有多少任务能获得形式化保证?
这个数字比总体准确率更接近部署风险。比如一个模型在开放问答上准确率很高,但只有 12% 的业务任务能被验证。后者才决定它能否进入支付、合规或运维等高风险流程。
这里的 12% 是示例值,不是 Anthropic 研究结论。
验证成本
证明需要多少计算资源和时间?
一个需要数小时验证的定理,不适合在线 Agent 每一步都跑。工程团队需要知道验证延迟、token 消耗、工具调用次数,以及能否缓存验证结果。
假设完整度
保证依赖哪些前提?
例如,工具 schema 稳定、数据库事务语义明确、环境变量经过约束。如果前提没写进验证结果,这个保证就不能直接用于安全决策。
失效边界
验证失败后,系统怎么办?
好的系统应明确区分:
- 证明通过;
- 证明失败;
- 超出可验证范围;
- 验证器本身出错。
这四种状态不能都压成一个“失败”。Agent 需要据此选择重试、降级或人工接管。
所以,新的评测问题不只是“Claude 比另一个模型高几分”,而是:
它在哪些任务上能给出什么保证?保证依赖什么?验证一次要花多少钱?失效时如何退出?
这些问题目前还没有统一行业答案。
编辑思考
可证明推理的重要性,不在于给 Claude 换一张更高分的榜单,而在把“模型大概靠谱”改成可审计的工程条件。生产系统真正缺的不是一句准确率,而是一个能回答任务范围、前提、成本和失败路径的接口。我的判断是,短期内它会先在高风险工具调用、代码检查和审批节点落地,不会替代开放环境里的整条 Agent 链路。这和过去不同:benchmark 通常把不同模型放进同一评分规则,可证明推理则要求按任务拆分保证,并明确哪些部分必须拒绝或交给人。需要保留的不确定性是,Anthropic 的研究能否把保证扩展到更大模型,以及验证成本能否跟上线上延迟。若覆盖率长期偏低,它更像研究路线,不会成为主流部署标准。