Anthropic 把 LLM 用在形式化软件验证上。它能减少试错,但规约、证明规划和验证成本仍是硬门槛。
Anthropic 最近发布了一项关于 LLM 与形式化软件验证的研究。原始材料只确认了研究方向,没有提供可在本文中核对的完整实验数字。
这项研究与我的关系很直接:它决定 coding agent 的评价标准,是否能从“通过测试”继续推进到“满足可机器检查的规约”。
原始研究:https://www.anthropic.com/research/formal-verification
从 Copilot 到形式化证明:LLM 换了问题
Copilot、Devin 和大量 coding agent,主要处理这个问题:
给定一个任务,能否生成可运行、最好能通过测试的代码?
形式化验证换了一个问题:
给定一份规约,能否构造机器可检查的证明,确认程序满足规约?
以 Lean、Coq、Isabelle 等 ITP(交互式定理证明器)为例,开发者可能需要处理:
spec:程序必须满足什么性质;proof script:逐步推导结论;tactic:让证明器搜索某个子目标;- 辅助定义与引理:把程序改写成便于推理的形式。
一个排序算法的正确性证明,可能涉及“结果有序”“长度不变”和“元素只是被重排”等性质。过去,这类工作通常由形式化方法专家手工推进,有时需要数周。
LLM 的切入点很具体。它可以生成证明草案、补全 tactic、重写失败步骤,也可以尝试把自然语言规约整理成形式化表达。
普通代码补全猜的是“下一段代码是否合理”。证明补全猜的是“下一步能否被证明器接受”。后者有明确的机器反馈,但搜索空间也更残酷。
形式化验证为什么难,LLM 又卡在哪里
Lean、Coq、Isabelle 和 Dafny 等系统已经相当成熟。
真正卡住形式化验证的,通常有三件事。
1. 写 spec 比写代码更难
代码可以先写,再补测试。规约不行。你必须先说清楚“正确”是什么意思。
“密码必须安全”不是可验证的规约。还要定义输入长度、允许字符、校验算法、失败行为和边界条件。
更麻烦的是,规约写错后,机器可能认真证明一个错误结论。
2. 证明搜索会组合爆炸
证明器面对的不是一条直线,而是一棵巨大的搜索树。每一步都可能引入新引理或中间目标。
开发者还要决定是否展开定义、是否复用已有 theorem,以及是否更换 induction strategy。
一个 tactic 失败,不代表证明不存在。它也可能只是当前路径不合适。LLM 容易把局部失败误判为整体方向错误。
3. 失败信息对人也不友好
Coq 或 Lean 报错时,通常会给出目标状态、局部假设和未解决子目标。
信息很精确,却不一定容易理解。LLM 可以在 tactic-level 辅助:解释报错,提出候选步骤,再交给证明器检查。
但它仍不一定擅长高层证明规划。例如:
- 为什么这个 invariant 成立;
- 规约是否覆盖真实需求;
- 换一种归纳方法会不会更短。
这些问题不能靠补几行 tactic 自动解决。
模型也会 hallucination。它可能编造 theorem、引用不存在的 lemma,或用无关证明掩盖规约漏洞。
形式化验证能检查证明本身。不能自动证明规约本身正确。
这次具体做了什么,能复现吗
原始材料能确认的是:Anthropic 研究利用 LLM 辅助形式化规格、证明草案和验证相关代码。
但现有草稿没有给出足够信息,让读者核对实验任务、样本量、成功率、人工干预和 benchmark。不能编造这些数字。
草稿还引用了一个 Hacker News 链接:https://news.ycombinator.com/item?id=50202217。
其中的 11 points、1 条 comment 是动态页面数据。发布前应重新打开链接核验。如果无法核验,就应删除具体数字,改成“公开讨论较少”。
真正可复现的材料至少应包含:
- 任务集;
pass@k;- 模型与采样配置;
- 允许的人工干预;
- 失败轨迹;
- 是否使用新任务防止训练数据污染。
目前,这项工作更适合被看作值得跟进的工程方向,而不是已经验证过的产品能力。
如果有效,AI 编程的评价标准会怎么变
现在比较 coding agent,常看生成了多少代码、覆盖多少文件,以及能否通过 SWE-bench。
这些指标要求结果在特定测试中通过。没有覆盖的分支、并发竞态、内存问题和规约歧义,仍可能留在代码里。
SWE-bench 和 HumanEval 主要考察代码能否运行、能否通过指定测试。它们不要求完整的形式化正确性。
如果 LLM 能稳定参与证明,评价标准可能增加一个指标层:满足可机器检查的规约。
这会削弱现有 benchmark 的部分解释力,但不能简单替代它们。
SWE-bench 测真实仓库里的 issue 修复。形式化验证要求开发者先给出精确规约。两者服务不同场景。
更有价值的产品,也不是单独的“会写 Lean 的聊天框”。更可能嵌入 IDE 和 CI:
- 读取代码和 issue,生成候选规约;
- 在 Lean 或 Coq 中寻找证明;
- 把失败日志交回模型修复;
- 把通过的 proof artifact 留在代码仓库;
- 在 CI 中持续检查规约是否仍成立。
三个问题决定它能不能落地
1. 是专家带着 LLM 做,还是 LLM 独立完成
两者差别很大。
如果专家持续选择 theorem、拆目标并纠正错误路径,最终效率提升不能全部算到模型头上。
阅读研究时,应先看 intervention protocol,再看最终 pass rate。
2. 训练数据是否污染
公开的形式化证明语料比自然语言代码小得多。
Lean、Coq、Isabelle 的热门 theorem 和 proof,可能反复出现在训练集里。只测已有 theorem,容易高估模型处理新任务的能力。
3. 普通工程团队能得到什么
学术 ITP 用户已经投入大量时间写规约和证明,接受自动化辅助并不奇怪。
普通工程团队却经常说不清需求边界。对它们来说,瓶颈可能不是 proof search,而是“到底要证明什么”。
验证成本也不会消失。模型减少人工试错,不代表 proof checker、构建环境和 theorem library 的成本会同步下降。
编辑思考
这项工作重要,不是因为 LLM 已经取代形式化专家,而是它把 coding agent 的终点从“代码能跑”推向“证明能被检查”。过去,Copilot 主要加快代码生成,reviewer 和测试负责兜底。现在,证明器提供更硬的反馈,但规约、证明规划和人工干预仍未解决。我的预测是,短期最先受益的会是密码学、编译器和其他安全关键代码。主流开发流程是否跟进,取决于 LLM 能否减少人工规划,而不只是多试几个 tactic。不同之处在于,形式化验证不接受“看起来合理”,只接受机器可检查的推导。我仍不确定原始实验在严格人工干预条件下有多强;发布前应先核验论文数据和 HN 页面动态数据。