Claude Code 團隊把驗證放在生成之前。這套分層方法直接決定 AI Agent 能否接手真實專案。
Claude Code 驗證新思維:少寫程式,多留可驗證證據
Anthropic 發表〈How the Claude Code team thinks about verification〉,介紹 Claude Code 團隊的程式碼驗證流程。
文章來自 Anthropic 官方工程團隊,重點不是某項新功能,而是 AI 程式設計代理如何以證據控制生成結果。
核心變化不在於模型更會寫程式,而是驗證開始介入生成過程。
相關連結登上 Hacker News 首頁,獲得 119 points 和 123 則留言。團隊內部如何驗證程式碼,直接關係到 AI Agent 能否接手真實專案。
驗證不是生成後才補的漏洞
傳統開發流程通常把測試放在寫完程式之後:
- 開發人員實作功能。
- 撰寫或補充測試。
- 執行測試並修正失敗項目。
- 交由 code review 檢查。
在 AI 程式設計代理領域,這套順序容易變成另一種模式。Agent 一次生成大量程式碼,再依測試結果反覆修補。
表面上看起來速度更快,風險卻集中在後期。程式碼量越大,遺漏的邊界條件越多。如果錯誤又被另一段生成程式碼「解釋」掉,還可能形成錯誤的自洽。
Claude Code 團隊的做法,是讓驗證更早進入工作流。代理在寫出實作之前,先確認需求如何轉換成可檢查的條件。
例如,某個介面必須滿足兩項輸入限制,回傳值也要能由現有呼叫端使用。驗證工作不應只是在最後執行一次 pytest,而應先形成可執行的斷言:
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
app = FastAPI()
class Item(BaseModel):
name: str
quantity: int
@app.post("/items")
def create_item(item: Item) -> dict:
if not item.name.strip():
raise HTTPException(status_code=422, detail="name must not be empty")
if item.quantity <= 0:
raise HTTPException(status_code=422, detail="quantity must be positive")
return {"name": item.name.strip(), "quantity": item.quantity}
關鍵不在 FastAPI,而在於先將測試意圖寫成明確規則,再讓實作對規則負責。
生成程式碼能夠執行,只能證明語法與部分路徑成立。要準確交付,就需要更多證據。
分層驗證如何落地
官方文章討論的不是單一測試指令,而是一套分層檢查方式。可以將驗證對象拆成三類。
第一層:自動測試
測試負責可重複的機械性檢查,包括輸入與輸出、狀態變化、例外路徑及迴歸行為。
最小單元測試如下:
from fastapi.testclient import TestClient
from app import app
client = TestClient(app)
def test_create_item_rejects_empty_name():
response = client.post(
"/items",
json={"name": " ", "quantity": 1},
)
assert response.status_code == 422
def test_create_item_rejects_non_positive_quantity():
response = client.post(
"/items",
json={"name": "keyboard", "quantity": 0},
)
assert response.status_code == 422
這類證據最適合放在 CI 中。提交前執行一次,合併前再執行一次。失敗資訊必須能直接指出是哪項條件遭到破壞。
如果代理只說「已經檢查過」,卻沒有指令輸出、測試結果或失敗紀錄,那就不能稱為驗證。
第二層:靜態規則
靜態檢查負責捕捉測試不容易涵蓋的問題,例如格式、型別、未使用變數,以及專案內约定的架構邊界。
Python 專案可以透過下列方式組合執行:
ruff check .
ruff format --check .
mypy app
pytest -q
這些工具不會理解全部業務語意,也不必理解。驗證體系本來就該讓不同工具處理不同類型的問題。
測試適合回答「行為是否正確」,linter 適合回答「程式碼是否遵守形式規則」,type checker 則適合回答「型別承諾是否一致」。若將所有任務混成一句「請確保程式碼沒問題」,Agent 就缺少穩定回饋。
第三層:人工判斷
人工判斷負責機器目前難以證明的部分:產品意圖是否合理、API 設計是否清楚、變更是否超出需求,以及程式碼是否值得長期維護。
Claude Code 團隊的第一手經驗相當重要。AI Agent 可以加速局部實作,但複雜專案中的目標衝突、隱含限制與架構取捨,仍然需要工程判斷。
因此,人工檢查不應被視為在每個函式結尾再看一遍。更合理的位置是變更鏈的關鍵節點:需求邊界、介面設計、關鍵行為與最終差異。
從模型自檢轉為工程約束
許多 Agent 工具會要求模型在回答前「檢查一下自己的程式碼」。這屬於模型自檢,固然有幫助,但證據等級較低。
原因很單純:模型同時扮演實作者與評審者,可能漏掉自己剛犯的錯,也可能把「看起來合理」說成「已經驗證」。
更可靠的做法,是將判斷轉換成工程約束:
- 將需求寫成驗收條件。
- 將驗收條件轉成測試。
- 將專案規範交由靜態工具處理。
- 要求人工確認高風險路徑。
- 所有結論都附上可重現的指令與結果。
CI 的驗證入口可以保持精簡:
name: verify
on:
pull_request:
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: "3.12"
- run: pip install -r requirements-dev.txt
- run: ruff check .
- run: ruff format --check .
- run: mypy app
- run: pytest -q
對 Claude Code 這類 AI Agent 而言,工具輸出比自然語言自評更重要。測試失敗時,應提供確定輸入、實際輸出與預期輸出,Agent 才能依據穩定資訊進行修正。
這也是驗證工作流的本質:重點不是要求模型「更仔細」,而是提供更便宜、更一致的回饋。
與傳統開發流程的差異
人工寫程式與 Claude Code 協作,並不只是把鍵盤換成聊天視窗。
傳統流程通常圍繞單一函式推進:寫實作、補測試、修 bug。代理式開發則可能一次修改十幾個檔案,涉及設定、相依套件、遷移腳本與呼叫端。
因此,驗證對象從單一函式擴展到整條變更鏈:
- 修改是否涵蓋原始需求。
- 新介面是否維持相容性。
- 資料遷移能否重複執行。
- 失敗路徑是否會回滾或安全退出。
- 文件與實際行為是否一致。
- 所有自動檢查是否通過。
傳統 code review 通常著重 diff;AI Agent 協作還需要檢視「證據鏈」。例如,程式碼宣稱修復了並行問題,就應對應並行測試或可重現的復現腳本,而不是只提交一段看似合理的鎖定操作。
驗證成本也隨之改變。過去,測試成本常被視為編碼後的收尾成本;在 Agent 模式下,它更接近執行時控制。測試越具體,代理在未知空間中摸索的情況就越少。
社群爭議與適用邊界
這篇文章登上 Hacker News 首頁後,獲得 119 points 和 123 則留言。數字來自對應的 Hacker News 討論頁。
熱度背後有一個合理質疑:分層驗證能證明規則符合,卻不一定能證明規則本身選對。
當測試與規格同源時,Agent 可能將錯誤理解寫進程式碼,再寫出一套忠實通過的測試。靜態規則能檢查型別,卻不知道產品決策是否合理;人工 review 也會受到時間與注意力限制。
複雜專案還有三個現實問題:
- 歷史測試可能本身就不完整,甚至將舊有錯誤鎖定在系統中。
- 端到端環境成本高昂,代理無法在每次變更後完整重現。
- 驗證腳本同樣需要維護;規則過多會增加回饋雜訊。
因此,驗證不應變成數量競賽。重點不是測試越多越好,而是關鍵行為有足夠證據。支付邏輯、權限邊界與資料遷移通常需要更嚴格檢查;純展示文案則未必值得建立一套複雜流程。
對 Claude Code 的評價也應放在這項邊界內。它擅長執行局部修改,但不能只憑生成速度推斷專案可靠性。真正可以比較的指標是:失敗能否重現、錯誤能否定位、修復後能否自動進行迴歸測試,以及人能否在有限時間內審查關鍵決策。
落地時,可以從三個步驟開始:
- 為關鍵需求寫出可執行的驗收條件。
- 在 CI 中固定測試、lint 與型別檢查指令。
- 要求 Agent 提交失敗復現方式、實際輸出與驗證結果。
原始資料:
編輯觀察
Claude Code 團隊這篇文章的價值,不在於又提供一套測試技巧,而是將 AI 程式設計的競爭指標從「生成多少程式碼」推向「提交多少可驗證證據」。過去,程式碼生成成本高,驗證常遭壓縮;當 Agent 讓生成近乎免費後,稀缺資源正轉移到驗收規則、測試設計與失敗定位上。
我的判斷是,驗證能力不會取代程式碼生成能力,卻會改變後者的定價方式。一個能迅速寫出 2,000 行程式碼、卻無法說明關鍵行為如何驗證的代理,實際交付價值可能低於一個只修改 30 行、並附帶迴歸測試的代理。
這次與過去不同之處,在於官方工程團隊將驗證放到 Agent 工作流的前半段。測試不再是生成完成後的清潔工作,而是用來約束模型行動的控制層。不過,這套分層方法能否在大型遺留系統中線性擴展,仍不確定。規則雜訊、測試維護成本與人工判斷瓶頸,都可能限制最終成效。評估 Claude Code 等工具時,我會優先查看失敗證據與變更鏈,而非展示中的完成速度。