觀點

Claude Code 驗證新思維:少寫程式,多留可驗證證據

Anthropic 官方分享 Claude Code 團隊如何將自動測試、靜態檢查與人工判斷提前嵌入 AI 程式開發流程。這套分層驗證方法透過 CI、明確規則與可重現結果,讓 Agent 的產出更可靠,也更容易審查。

字級

Claude Code 團隊把驗證放在生成之前。這套分層方法直接決定 AI Agent 能否接手真實專案。

Claude Code 驗證新思維:少寫程式,多留可驗證證據

Anthropic 發表〈How the Claude Code team thinks about verification〉,介紹 Claude Code 團隊的程式碼驗證流程。

文章來自 Anthropic 官方工程團隊,重點不是某項新功能,而是 AI 程式設計代理如何以證據控制生成結果。

核心變化不在於模型更會寫程式,而是驗證開始介入生成過程。

相關連結登上 Hacker News 首頁,獲得 119 points 和 123 則留言。團隊內部如何驗證程式碼,直接關係到 AI Agent 能否接手真實專案。

驗證不是生成後才補的漏洞

傳統開發流程通常把測試放在寫完程式之後:

  1. 開發人員實作功能。
  2. 撰寫或補充測試。
  3. 執行測試並修正失敗項目。
  4. 交由 code review 檢查。

在 AI 程式設計代理領域,這套順序容易變成另一種模式。Agent 一次生成大量程式碼,再依測試結果反覆修補。

表面上看起來速度更快,風險卻集中在後期。程式碼量越大,遺漏的邊界條件越多。如果錯誤又被另一段生成程式碼「解釋」掉,還可能形成錯誤的自洽。

Claude Code 團隊的做法,是讓驗證更早進入工作流。代理在寫出實作之前,先確認需求如何轉換成可檢查的條件。

例如,某個介面必須滿足兩項輸入限制,回傳值也要能由現有呼叫端使用。驗證工作不應只是在最後執行一次 pytest,而應先形成可執行的斷言:

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel

app = FastAPI()

class Item(BaseModel):
    name: str
    quantity: int

@app.post("/items")
def create_item(item: Item) -> dict:
    if not item.name.strip():
        raise HTTPException(status_code=422, detail="name must not be empty")
    if item.quantity <= 0:
        raise HTTPException(status_code=422, detail="quantity must be positive")
    return {"name": item.name.strip(), "quantity": item.quantity}

關鍵不在 FastAPI,而在於先將測試意圖寫成明確規則,再讓實作對規則負責。

生成程式碼能夠執行,只能證明語法與部分路徑成立。要準確交付,就需要更多證據。

分層驗證如何落地

官方文章討論的不是單一測試指令,而是一套分層檢查方式。可以將驗證對象拆成三類。

第一層:自動測試

測試負責可重複的機械性檢查,包括輸入與輸出、狀態變化、例外路徑及迴歸行為。

最小單元測試如下:

from fastapi.testclient import TestClient
from app import app

client = TestClient(app)

def test_create_item_rejects_empty_name():
    response = client.post(
        "/items",
        json={"name": "   ", "quantity": 1},
    )
    assert response.status_code == 422

def test_create_item_rejects_non_positive_quantity():
    response = client.post(
        "/items",
        json={"name": "keyboard", "quantity": 0},
    )
    assert response.status_code == 422

這類證據最適合放在 CI 中。提交前執行一次,合併前再執行一次。失敗資訊必須能直接指出是哪項條件遭到破壞。

如果代理只說「已經檢查過」,卻沒有指令輸出、測試結果或失敗紀錄,那就不能稱為驗證。

第二層:靜態規則

靜態檢查負責捕捉測試不容易涵蓋的問題,例如格式、型別、未使用變數,以及專案內约定的架構邊界。

Python 專案可以透過下列方式組合執行:

ruff check .
ruff format --check .
mypy app
pytest -q

這些工具不會理解全部業務語意,也不必理解。驗證體系本來就該讓不同工具處理不同類型的問題。

測試適合回答「行為是否正確」,linter 適合回答「程式碼是否遵守形式規則」,type checker 則適合回答「型別承諾是否一致」。若將所有任務混成一句「請確保程式碼沒問題」,Agent 就缺少穩定回饋。

第三層:人工判斷

人工判斷負責機器目前難以證明的部分:產品意圖是否合理、API 設計是否清楚、變更是否超出需求,以及程式碼是否值得長期維護。

Claude Code 團隊的第一手經驗相當重要。AI Agent 可以加速局部實作,但複雜專案中的目標衝突、隱含限制與架構取捨,仍然需要工程判斷。

因此,人工檢查不應被視為在每個函式結尾再看一遍。更合理的位置是變更鏈的關鍵節點:需求邊界、介面設計、關鍵行為與最終差異。

從模型自檢轉為工程約束

許多 Agent 工具會要求模型在回答前「檢查一下自己的程式碼」。這屬於模型自檢,固然有幫助,但證據等級較低。

原因很單純:模型同時扮演實作者與評審者,可能漏掉自己剛犯的錯,也可能把「看起來合理」說成「已經驗證」。

更可靠的做法,是將判斷轉換成工程約束:

  • 將需求寫成驗收條件。
  • 將驗收條件轉成測試。
  • 將專案規範交由靜態工具處理。
  • 要求人工確認高風險路徑。
  • 所有結論都附上可重現的指令與結果。

CI 的驗證入口可以保持精簡:

name: verify

on:
  pull_request:

jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-python@v5
        with:
          python-version: "3.12"
      - run: pip install -r requirements-dev.txt
      - run: ruff check .
      - run: ruff format --check .
      - run: mypy app
      - run: pytest -q

對 Claude Code 這類 AI Agent 而言,工具輸出比自然語言自評更重要。測試失敗時,應提供確定輸入、實際輸出與預期輸出,Agent 才能依據穩定資訊進行修正。

這也是驗證工作流的本質:重點不是要求模型「更仔細」,而是提供更便宜、更一致的回饋。

與傳統開發流程的差異

人工寫程式與 Claude Code 協作,並不只是把鍵盤換成聊天視窗。

傳統流程通常圍繞單一函式推進:寫實作、補測試、修 bug。代理式開發則可能一次修改十幾個檔案,涉及設定、相依套件、遷移腳本與呼叫端。

因此,驗證對象從單一函式擴展到整條變更鏈:

  1. 修改是否涵蓋原始需求。
  2. 新介面是否維持相容性。
  3. 資料遷移能否重複執行。
  4. 失敗路徑是否會回滾或安全退出。
  5. 文件與實際行為是否一致。
  6. 所有自動檢查是否通過。

傳統 code review 通常著重 diff;AI Agent 協作還需要檢視「證據鏈」。例如,程式碼宣稱修復了並行問題,就應對應並行測試或可重現的復現腳本,而不是只提交一段看似合理的鎖定操作。

驗證成本也隨之改變。過去,測試成本常被視為編碼後的收尾成本;在 Agent 模式下,它更接近執行時控制。測試越具體,代理在未知空間中摸索的情況就越少。

社群爭議與適用邊界

這篇文章登上 Hacker News 首頁後,獲得 119 points 和 123 則留言。數字來自對應的 Hacker News 討論頁。

熱度背後有一個合理質疑:分層驗證能證明規則符合,卻不一定能證明規則本身選對。

當測試與規格同源時,Agent 可能將錯誤理解寫進程式碼,再寫出一套忠實通過的測試。靜態規則能檢查型別,卻不知道產品決策是否合理;人工 review 也會受到時間與注意力限制。

複雜專案還有三個現實問題:

  • 歷史測試可能本身就不完整,甚至將舊有錯誤鎖定在系統中。
  • 端到端環境成本高昂,代理無法在每次變更後完整重現。
  • 驗證腳本同樣需要維護;規則過多會增加回饋雜訊。

因此,驗證不應變成數量競賽。重點不是測試越多越好,而是關鍵行為有足夠證據。支付邏輯、權限邊界與資料遷移通常需要更嚴格檢查;純展示文案則未必值得建立一套複雜流程。

對 Claude Code 的評價也應放在這項邊界內。它擅長執行局部修改,但不能只憑生成速度推斷專案可靠性。真正可以比較的指標是:失敗能否重現、錯誤能否定位、修復後能否自動進行迴歸測試,以及人能否在有限時間內審查關鍵決策。

落地時,可以從三個步驟開始:

  1. 為關鍵需求寫出可執行的驗收條件。
  2. 在 CI 中固定測試、lint 與型別檢查指令。
  3. 要求 Agent 提交失敗復現方式、實際輸出與驗證結果。

原始資料:

編輯觀察

Claude Code 團隊這篇文章的價值,不在於又提供一套測試技巧,而是將 AI 程式設計的競爭指標從「生成多少程式碼」推向「提交多少可驗證證據」。過去,程式碼生成成本高,驗證常遭壓縮;當 Agent 讓生成近乎免費後,稀缺資源正轉移到驗收規則、測試設計與失敗定位上。

我的判斷是,驗證能力不會取代程式碼生成能力,卻會改變後者的定價方式。一個能迅速寫出 2,000 行程式碼、卻無法說明關鍵行為如何驗證的代理,實際交付價值可能低於一個只修改 30 行、並附帶迴歸測試的代理。

這次與過去不同之處,在於官方工程團隊將驗證放到 Agent 工作流的前半段。測試不再是生成完成後的清潔工作,而是用來約束模型行動的控制層。不過,這套分層方法能否在大型遺留系統中線性擴展,仍不確定。規則雜訊、測試維護成本與人工判斷瓶頸,都可能限制最終成效。評估 Claude Code 等工具時,我會優先查看失敗證據與變更鏈,而非展示中的完成速度。

來源: https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/