Anthropic 把 LLM 用在形式化軟體驗證上。它能減少試錯,但規約、證明規劃與驗證成本仍是硬門檻。
Anthropic 用 LLM 寫證明:形式化驗證會被翻盤嗎?
Anthropic 最近發表一項關於 LLM 與形式化軟體驗證的研究。原始資料目前只確認了研究方向,並未提供可在本文中核對的完整實驗數字。
這項研究與我的關係很直接:它決定 coding agent 的評價標準,能否從「通過測試」進一步走向「滿足可由機器檢查的規約」。
原始研究:https://www.anthropic.com/research/formal-verification
從 Copilot 到形式化證明:LLM 換了問題
Copilot、Devin 與多數 coding agent,主要處理的是這類問題:
給定一項任務,能否產生可執行、最好也能通過測試的程式碼?
形式化驗證則換了一個問題:
給定一份規約,能否建構出可由機器檢查的證明,以確認程式滿足規約?
以 Lean、Coq、Isabelle 等 ITP(互動式定理證明器)為例,開發者可能需要處理:
spec:程式必須滿足的性質;proof script:逐步推導結論;tactic:讓證明器搜尋某個子目標;- 輔助定義與引理:將程式改寫成方便推理的形式。
一個排序演算法的正確性證明,可能涉及「結果有序」「長度不變」與「元素只是被重新排列」等性質。過去,這類工作通常由形式化方法專家手工推進,有時需要數週時間。
LLM 的切入點很具體。它可以產生證明草案、補全 tactic、重寫失敗步驟,也能嘗試把自然語言規約整理成形式化表達。
一般程式碼補全是猜測「下一段程式碼是否合理」。證明補全則是猜測「下一步能否被證明器接受」。後者有明確的機器回饋,但搜尋空間也更嚴苛。
形式化驗證為什麼難,LLM 又卡在哪裡
Lean、Coq、Isabelle 與 Dafny 等系統都已相當成熟。
真正阻礙形式化驗證的,通常有三件事。
1. 寫 spec 比寫程式碼更難
程式碼可以先寫,再補上測試;規約卻不行。你必須先說清楚「正確」是什麼意思。
「密碼必須安全」不是可驗證的規約。還得定義輸入長度、允許的字元、檢查演算法、失敗行為與邊界條件。
更麻煩的是,規約一旦寫錯,機器可能認真地證明出一個錯誤結論。
2. 證明搜尋會出現組合爆炸
證明器面對的不是一條直線,而是一棵巨大的搜尋樹。每一步都可能引入新的引理或中間目標。
開發者還必須決定是否展開定義、是否沿用既有 theorem,以及是否更換 induction strategy。
一個 tactic 失敗,不代表證明不存在,也可能只是目前這條路走不通。LLM 容易把局部失敗誤判為整體方向有誤。
3. 失敗訊息對人也不友善
Coq 或 Lean 回報錯誤時,通常會提供目標狀態、局部假設與尚未解決的子目標。
資訊很精確,卻不一定容易理解。LLM 可以在 tactic-level 提供協助:解釋錯誤、提出候選步驟,再交由證明器檢查。
但它未必擅長高層次的證明規劃,例如:
- 這個 invariant 為什麼成立;
- 規約是否涵蓋真正的需求;
- 換一種歸納方法會不會更精簡。
這些問題不是補上幾行 tactic 就能自動解決。
模型也可能出現 hallucination:編造 theorem、引用不存在的 lemma,或用無關的證明掩蓋規約漏洞。
形式化驗證能檢查證明本身,卻不能自動證明規約本身正確。
這次具體做了什麼,能否重現
原始資料能確認的是,Anthropic 的研究利用 LLM 協助處理形式化規格、證明草案與驗證相關程式碼。
但現有草稿沒有提供足夠資訊,讓讀者核對實驗任務、樣本數量、成功率、人工介入程度與 benchmark,因此不能自行補上這些數字。
草稿還引用了一個 Hacker News 連結:https://news.ycombinator.com/item?id=50202217。
其中的 11 points、1 則 comment 是動態頁面資料,發布前應重新開啟連結核對。若無法驗證,就應刪除具體數字,改寫為「公開討論較少」。
真正可供重現的材料至少應包含:
- 任務集;
pass@k;- 模型與取樣設定;
- 允許的人工介入方式;
- 失敗軌跡;
- 是否使用新任務,以避免訓練資料污染。
目前看來,這項工作更適合被視為值得持續跟進的工程方向,還不是已經驗證完成的產品能力。
如果有效,AI 程式開發的評價標準會如何改變
現在評估 coding agent,通常會看它產生了多少程式碼、涵蓋多少檔案,以及能否通過 SWE-bench。
這些指標要求結果通過特定測試。未被測試涵蓋的分支、並行競態、記憶體問題與規約歧義,仍可能留在程式碼裡。
SWE-bench 與 HumanEval 主要考察程式碼能否執行、通過指定測試,並不要求完整的形式化正確性。
如果 LLM 能穩定參與證明,評價標準或許會增加一個層級:滿足可由機器檢查的規約。
這會削弱部分既有 benchmark 的解釋力,但不能直接取代它們。
SWE-bench 測的是真實儲存庫中的 issue 修復;形式化驗證則要求開發者先給出精確規約。兩者服務的是不同場景。
更有價值的產品也不太可能只是單獨的「會寫 Lean 的聊天框」,而是更可能嵌入 IDE 與 CI:
- 讀取程式碼與 issue,產生候選規約;
- 在 Lean 或 Coq 中尋找證明;
- 把失敗日誌交回模型修復;
- 把通過檢查的 proof artifact 留在程式碼儲存庫中;
- 在 CI 中持續檢查規約是否仍然成立。
三個問題決定它能否落地
1. 是專家帶著 LLM 合作,還是 LLM 獨立完成
兩者的差異很大。
如果專家全程選擇 theorem、拆分目標並修正錯誤路徑,最終的效率提升就不能全算在模型頭上。
閱讀研究時,應先看 intervention protocol,再看最終 pass rate。
2. 訓練資料是否遭到污染
公開的形式化證明語料,比自然語言程式碼少得多。
Lean、Coq、Isabelle 的熱門 theorem 與 proof,可能早已反覆出現在訓練集裡。只測既有 theorem,很容易高估模型處理新任務的能力。
3. 一般工程團隊實際能得到什麼
學術領域的 ITP 使用者已投入大量時間撰寫規約與證明,接受自動化協助並不意外。
一般工程團隊卻經常無法清楚界定需求邊界。對它們而言,瓶頸可能不是 proof search,而是「究竟要證明什麼」。
驗證成本也不會消失。模型減少人工試錯,不代表 proof checker、建置環境與 theorem library 的成本會同步下降。
編輯觀察
這項工作的重要性,不是因為 LLM 已經取代形式化專家,而是它把 coding agent 的終點從「程式碼能執行」推向「證明能被檢查」。過去,Copilot 主要加快程式碼產生,再由 reviewer 與測試負責把關;現在,證明器提供了更嚴格的回饋,但規約、證明規劃與人工介入仍未解決。
我的預測是,短期內最先受惠的領域會是密碼學、編譯器與其他安全關鍵程式碼。主流開發流程是否跟進,取決於 LLM 能否減少人工規劃,而不只是多嘗試幾個 tactic。形式化驗證與一般程式碼審查最大的不同在於,它不接受「看起來合理」,只接受可由機器檢查的推導。
我仍不確定原始實驗在嚴格控制人工介入的情況下有多強;發布前應先核對論文數據與 Hacker News 頁面的動態資料。