Anthropic 將 LLM 可靠性從跑分比較推向形式化驗證。本文拆解這項研究的技术邊界,並提出 Agent 在驗證、拒答與人工接管上的部署設計。
Anthropic 發表研究〈Progress on provable inference for large language models〉,把問題從「模型答對多少題」轉向「推理結果能否經過形式化驗證」。
這個方向很有意思,但也很容易被說得太過頭。
一般 benchmark 衡量的是實測表現:在固定資料集上,模型能拿多少分。可證明推理瞄準的則是另一件事:針對指定任務,系統能否提供邊界明確、可以檢查的可靠性保證。
這不是要讓 Claude 變成永遠不會犯錯的模型,而比較像是替推理過程附上一份可供稽核的證明。
可證明推理要解決什麼
先區分兩個概念。
經驗性評測回答:
在這批測試題上,模型表現如何?
它依賴樣本分布。測試集一換,結論可能就會改變。模型在某個 benchmark 上拿到高分,也不能自動推論它能穩定處理正式環境中的陌生輸入。
可證明推理回答:
當任務、假設與邊界條件明確時,模型輸出的正確性或失敗風險,能否由系統證明或加以約束?
例如,一個程式分析 Agent 負責判斷輸入程式碼是否符合一組安全屬性。工程團隊需要知道的不是「過去處理過 1,000 個類似任務,準確率 98%」,而是:哪些輸入落在可證明範圍內、驗證器如何確認結果,以及超出範圍時系統該如何拒答或交由人工處理。
這與傳統軟體驗證更為接近。編譯器不會因為「大部分程式碼都能編譯」便宣告系統可靠,而是依賴型別、規則與可檢查的證明條件。
Anthropic 的研究主題,正是大模型能否為推理結果提供形式化保證,以及如何把這些保證擴展到更大規模的語言模型。
因此,這次不是在既有評測表中多加一項總分,而是換了一個問題:
模型輸出與形式化證明之間,應該建立什麼介面?
Anthropic 的研究切入點
這項研究名為〈Progress on provable inference for large language models〉。標題中的「Progress」很關鍵:它不是宣告通用大模型已取得可證明的正確性,而是回報這條研究路線的最新進展。
從公開摘要來看,Anthropic 聚焦兩個核心問題:
- 大模型能否為推理結果提供形式化保證;
- 如何把這些保證擴展到更大規模的語言模型。
第二個問題尤其困難。
形式化驗證通常要求明確界定對象:狀態空間、轉換規則、屬性與不變量。LLM 卻得面對開放式語言、自然世界資訊與模糊任務。模型規模越大,行為空間也越難完整窮舉。
Anthropic 的切入方式是縮小可驗證範圍,而不是要求模型對所有事情都提出證明。
一種合理的工程架構是:
- 由 LLM 將自然語言問題轉換成候選推理步驟;
- 形式化系統檢查這些步驟是否符合約束;
- 證明未通過時,觸發重試、縮小搜尋空間或升級處理;
- 最終輸出附帶保證成立的前提與邊界。
換句話說,大模型本身不是被證明的對象,而比較像是負責產生候選解答與自然語言介面的元件。
這與強化學習中的「可驗證獎勵」有些相似,但目標更嚴格。RL 可以利用測試結果訓練模型;形式化驗證則試圖直接建立結果與正確性之間的邏輯關係。
研究由 Anthropic 發表,直接涉及大型語言模型推理的可靠性、可驗證性與安全部署:
Progress on provable inference for large language models
證明範圍決定實際價值
理論保證能否涵蓋正式部署中的開放環境,是首先要檢查的問題。
形式化證明最怕的是,前提被設定得比產品需求窄得多。例如,若只允許 Agent 在單一結構化資料庫與固定 API 集合中操作,證明或許成立;真正的 Agent 卻會遇到網頁內容變動、權限異常、工具逾時、相依服務更新,以及使用者輸入語意含糊等情況。
證明範圍外發生什麼,才是生產系統最關心的部分。
第二個問題是,「可證明」究竟保證了什麼。
它可能保證最終答案符合某項屬性,卻不保證模型已找到完成任務所需的全部步驟;也可能只涵蓋單一局部推理環節,而非整條 Agent 執行軌跡。
如果只寫「模型可以被證明正確」,便會遺失最重要的限定條件:適用哪些任務、依賴哪些假設,以及付出多少驗證成本。
理論基礎獲得接受,不代表團隊就願意為它改造正式環境的架構。工程團隊還需要評估驗證器與實際系統之間的介面成本。
對 Agent 部署的實際影響
AI Agent 的風險通常不是某一次回答稍微出錯,而比較像一條會持續累積偏差的鏈路:
使用者意圖 → 工具選擇 → 參數產生 → API 回應 → 狀態更新 → 下一步決策
任何一環出現偏差,後果都可能一路傳遞下去。Agent 若錯誤執行刪除操作,即使先前的語言推理都合理,系統依然可能造成損失。
這也是局部可證明性較可能率先落地的原因。
工具呼叫
與其設法證明 Agent 永遠能選對工具,不如先約束高風險呼叫:
- 工具名稱只能來自註冊表;
- 參數必須通過 schema 驗證;
- 金額、收件者與資源範圍設定硬性限制;
- 刪除、付款、發布等操作要求二次確認。
LLM 決定「想做什麼」,確定性程式碼則決定「允許做什麼」。
程式碼執行
程式碼 Agent 更適合採用「生成—檢查—執行」的架構。模型寫出候選程式後,再由測試、型別檢查、靜態分析與沙箱策略攔截問題。
這裡的保證不必包裝成完整的「數學證明」。可重複執行的測試、明確的靜態規則與受控執行環境,同樣能建立工程上的可信邊界。
長鏈路任務
任務鏈越長,要提供完整的端到端保證就越困難。假設每一步的局部可靠性都是 99%,十步全部正確的機率僅約為 0.99^10 ≈ 90.4%。
這還不是嚴格證明,只能說明把可靠性寄託於 LLM 自主修正並不穩健。較可行的做法,是為關鍵節點增加狀態檢查、冪等操作、人工審批與失敗回滾。
因此,可證明推理對 Agent 部署的主要價值,可能不是自動打造出「永不出錯」的系統,而是提供一套分層方法:哪些步驟需要數學保證、哪些由工程約束處理,以及哪些必須由人介入。
評測體系需要新的指標
如果模型可靠性不能只看準確率,評測表就需要增加幾個欄位。
保證覆蓋率
所有目標任務中,有多少能取得形式化保證?
這項數字比整體準確率更接近部署風險。舉例來說,某個模型在開放式問答上的準確率很高,但只有 12% 的業務任務能夠驗證。後者才決定它能否進入付款、合規或維運等高風險流程。
這裡的 12% 只是示例,並非 Anthropic 的研究結論。
驗證成本
產生一項證明需要多少運算資源與時間?
需要耗時數小時才能驗證的定理,不適合在線上 Agent 的每一步執行。工程團隊需要掌握驗證延遲、token 消耗、工具呼叫次數,以及能否快取驗證結果。
假設完整度
保證依賴哪些前提?
例如,工具 schema 保持穩定、資料庫交易語意明確、環境變數受到約束。如果這些前提沒有寫進驗證結果,該保證就不能直接用於安全決策。
失效邊界
驗證失敗後,系統該怎麼處理?
良好的系統應明確區分:
- 證明通過;
- 證明失敗;
- 超出可驗證範圍;
- 驗證器本身發生錯誤。
這四種狀態不能全數壓縮成單一的「失敗」。Agent 需要依據不同狀態,選擇重試、降級或交由人工接管。
因此,新的評測問題不只是「Claude 比另一個模型高幾分」,而是:
它能在哪些任務上提供什麼保證?保證依賴哪些條件?驗證一次需要多少成本?失效時如何退出?
這些問題目前仍未形成統一的業界答案。
編輯觀察
可證明推理的重要性,不在於替 Claude 換上一張分數更高的排行榜,而在於把「模型大概還算可靠」改寫成可供稽核的工程條件。正式環境真正欠缺的,不是一項準確率數字,而是一個能清楚回答任務範圍、前提、成本與失敗路徑的介面。
我的判斷是,短期內它會先在高風險工具呼叫、程式碼檢查與審批節點落地,不會取代開放環境中的整條 Agent 鏈路。這與過去的評測方式不同:benchmark 通常將不同模型放進同一套評分規則;可證明推理則要求按任務拆分保證,並明確指出哪些部分必須拒絕或交由人處理。
仍需保留的不確定性在於,Anthropic 的研究能否把保證擴展到更大规模的模型,以及驗證成本能否趕上線上延遲要求。若覆蓋率長期偏低,它會更像一條研究路線,而非成為主流部署標準。