大模型

Anthropic 用 LLM 写证明:形式化验证会被翻盘吗?

Anthropic 把 LLM 用在形式化软件验证上。草稿能讲清技术边界,但可确认的实验数字、HN 热度与标题判断都需要补证。

字号

Anthropic 把 LLM 用在形式化软件验证上。它能减少试错,但规约、证明规划和验证成本仍是硬门槛。

Anthropic 最近发布了一项关于 LLM 与形式化软件验证的研究。原始材料只确认了研究方向,没有提供可在本文中核对的完整实验数字。

这项研究与我的关系很直接:它决定 coding agent 的评价标准,是否能从“通过测试”继续推进到“满足可机器检查的规约”。

原始研究:https://www.anthropic.com/research/formal-verification

从 Copilot 到形式化证明:LLM 换了问题

Copilot、Devin 和大量 coding agent,主要处理这个问题:

给定一个任务,能否生成可运行、最好能通过测试的代码?

形式化验证换了一个问题:

给定一份规约,能否构造机器可检查的证明,确认程序满足规约?

以 Lean、Coq、Isabelle 等 ITP(交互式定理证明器)为例,开发者可能需要处理:

  • spec:程序必须满足什么性质;
  • proof script:逐步推导结论;
  • tactic:让证明器搜索某个子目标;
  • 辅助定义与引理:把程序改写成便于推理的形式。

一个排序算法的正确性证明,可能涉及“结果有序”“长度不变”和“元素只是被重排”等性质。过去,这类工作通常由形式化方法专家手工推进,有时需要数周。

LLM 的切入点很具体。它可以生成证明草案、补全 tactic、重写失败步骤,也可以尝试把自然语言规约整理成形式化表达。

普通代码补全猜的是“下一段代码是否合理”。证明补全猜的是“下一步能否被证明器接受”。后者有明确的机器反馈,但搜索空间也更残酷。

形式化验证为什么难,LLM 又卡在哪里

Lean、Coq、Isabelle 和 Dafny 等系统已经相当成熟。

真正卡住形式化验证的,通常有三件事。

1. 写 spec 比写代码更难

代码可以先写,再补测试。规约不行。你必须先说清楚“正确”是什么意思。

“密码必须安全”不是可验证的规约。还要定义输入长度、允许字符、校验算法、失败行为和边界条件。

更麻烦的是,规约写错后,机器可能认真证明一个错误结论。

2. 证明搜索会组合爆炸

证明器面对的不是一条直线,而是一棵巨大的搜索树。每一步都可能引入新引理或中间目标。

开发者还要决定是否展开定义、是否复用已有 theorem,以及是否更换 induction strategy。

一个 tactic 失败,不代表证明不存在。它也可能只是当前路径不合适。LLM 容易把局部失败误判为整体方向错误。

3. 失败信息对人也不友好

Coq 或 Lean 报错时,通常会给出目标状态、局部假设和未解决子目标。

信息很精确,却不一定容易理解。LLM 可以在 tactic-level 辅助:解释报错,提出候选步骤,再交给证明器检查。

但它仍不一定擅长高层证明规划。例如:

  • 为什么这个 invariant 成立;
  • 规约是否覆盖真实需求;
  • 换一种归纳方法会不会更短。

这些问题不能靠补几行 tactic 自动解决。

模型也会 hallucination。它可能编造 theorem、引用不存在的 lemma,或用无关证明掩盖规约漏洞。

形式化验证能检查证明本身。不能自动证明规约本身正确。

这次具体做了什么,能复现吗

原始材料能确认的是:Anthropic 研究利用 LLM 辅助形式化规格、证明草案和验证相关代码。

但现有草稿没有给出足够信息,让读者核对实验任务、样本量、成功率、人工干预和 benchmark。不能编造这些数字。

草稿还引用了一个 Hacker News 链接:https://news.ycombinator.com/item?id=50202217。

其中的 11 points、1 条 comment 是动态页面数据。发布前应重新打开链接核验。如果无法核验,就应删除具体数字,改成“公开讨论较少”。

真正可复现的材料至少应包含:

  • 任务集;
  • pass@k;
  • 模型与采样配置;
  • 允许的人工干预;
  • 失败轨迹;
  • 是否使用新任务防止训练数据污染。

目前,这项工作更适合被看作值得跟进的工程方向,而不是已经验证过的产品能力。

如果有效,AI 编程的评价标准会怎么变

现在比较 coding agent,常看生成了多少代码、覆盖多少文件,以及能否通过 SWE-bench。

这些指标要求结果在特定测试中通过。没有覆盖的分支、并发竞态、内存问题和规约歧义,仍可能留在代码里。

SWE-bench 和 HumanEval 主要考察代码能否运行、能否通过指定测试。它们不要求完整的形式化正确性。

如果 LLM 能稳定参与证明,评价标准可能增加一个指标层:满足可机器检查的规约。

这会削弱现有 benchmark 的部分解释力,但不能简单替代它们。

SWE-bench 测真实仓库里的 issue 修复。形式化验证要求开发者先给出精确规约。两者服务不同场景。

更有价值的产品,也不是单独的“会写 Lean 的聊天框”。更可能嵌入 IDE 和 CI:

  1. 读取代码和 issue,生成候选规约;
  2. 在 Lean 或 Coq 中寻找证明;
  3. 把失败日志交回模型修复;
  4. 把通过的 proof artifact 留在代码仓库;
  5. 在 CI 中持续检查规约是否仍成立。

三个问题决定它能不能落地

1. 是专家带着 LLM 做,还是 LLM 独立完成

两者差别很大。

如果专家持续选择 theorem、拆目标并纠正错误路径,最终效率提升不能全部算到模型头上。

阅读研究时,应先看 intervention protocol,再看最终 pass rate。

2. 训练数据是否污染

公开的形式化证明语料比自然语言代码小得多。

Lean、Coq、Isabelle 的热门 theorem 和 proof,可能反复出现在训练集里。只测已有 theorem,容易高估模型处理新任务的能力。

3. 普通工程团队能得到什么

学术 ITP 用户已经投入大量时间写规约和证明,接受自动化辅助并不奇怪。

普通工程团队却经常说不清需求边界。对它们来说,瓶颈可能不是 proof search,而是“到底要证明什么”。

验证成本也不会消失。模型减少人工试错,不代表 proof checker、构建环境和 theorem library 的成本会同步下降。

编辑思考

这项工作重要,不是因为 LLM 已经取代形式化专家,而是它把 coding agent 的终点从“代码能跑”推向“证明能被检查”。过去,Copilot 主要加快代码生成,reviewer 和测试负责兜底。现在,证明器提供更硬的反馈,但规约、证明规划和人工干预仍未解决。我的预测是,短期最先受益的会是密码学、编译器和其他安全关键代码。主流开发流程是否跟进,取决于 LLM 能否减少人工规划,而不只是多试几个 tactic。不同之处在于,形式化验证不接受“看起来合理”,只接受机器可检查的推导。我仍不确定原始实验在严格人工干预条件下有多强;发布前应先核验论文数据和 HN 页面动态数据。

来源: https://www.anthropic.com/research/formal-verification