Claude Code 团队把验证放在生成之前。这套分层方法直接决定 AI Agent 能否接手真实项目。
Claude Code 验证方法:少写代码多做证据
Anthropic 发布了《How the Claude Code team thinks about verification》,介绍 Claude Code 团队的代码验证流程。
原文来自 Anthropic 官方工程团队。讨论的不是某个新功能,而是 AI 编程代理如何用证据控制生成结果。
核心变化不是模型更会写代码,而是验证开始介入生成过程。
相关链接登上 Hacker News 首页,获得 119 points 和 123 条评论。团队内部如何验证代码,直接关系到 AI Agent 能否接手真实项目。
验证不是生成后的补丁
传统开发流程通常把测试放在编码之后:
- 开发人员实现功能。
- 编写或补充测试。
- 运行测试并修复失败。
- 交给 code review 检查。
到了 AI 编程代理这里,这套顺序容易变成另一种模式。Agent 一次生成大量代码,再根据测试结果反复修补。
表面上速度更快,风险却集中在后面。代码量越大,遗漏的边界条件越多。错误如果被另一段生成代码“解释”掉,还可能形成错误的自洽。
Claude Code 团队的做法,是让验证更早进入工作流。代理在写出实现之前,先确认需求如何变成可检查的条件。
比如,一个接口需要满足两个输入约束,返回值还要能被现有调用方消费。验证任务不应只是最后跑一次 pytest,而应先形成可执行断言:
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
app = FastAPI()
class Item(BaseModel):
name: str
quantity: int
@app.post("/items")
def create_item(item: Item) -> dict:
if not item.name.strip():
raise HTTPException(status_code=422, detail="name must not be empty")
if item.quantity <= 0:
raise HTTPException(status_code=422, detail="quantity must be positive")
return {"name": item.name.strip(), "quantity": item.quantity}
这里的关键不在 FastAPI。关键是测试意图先被写成明确规则,再让实现对规则负责。
生成代码能跑,只证明语法和部分路径成立。交付准确,需要更多证据。
分层验证如何落地
官方文章讨论的不是一个单点测试命令,而是一套分层检查方式。可以把验证对象拆成三类。
第一层:自动测试
测试负责可重复的机械检查,包括输入输出、状态变化、异常路径和回归行为。
一个最小单元测试如下:
from fastapi.testclient import TestClient
from app import app
client = TestClient(app)
def test_create_item_rejects_empty_name():
response = client.post(
"/items",
json={"name": " ", "quantity": 1},
)
assert response.status_code == 422
def test_create_item_rejects_non_positive_quantity():
response = client.post(
"/items",
json={"name": "keyboard", "quantity": 0},
)
assert response.status_code == 422
这类证据最适合放在 CI 中。提交前运行一次,合并前再运行一次。失败信息必须能直接指向哪个约束被破坏。
如果代理只是说“已经检查过”,却没有命令输出、测试结果或失败记录,那不叫验证。
第二层:静态规则
静态检查负责捕捉测试不容易覆盖的问题,例如格式、类型、未使用变量,以及项目内约定的架构边界。
Python 项目可以这样组合运行:
ruff check .
ruff format --check .
mypy app
pytest -q
这些工具并不理解全部业务语义。它们也不需要理解。验证体系本来就该让不同工具处理不同类型的问题。
测试适合回答“行为是否正确”,linter 适合回答“代码是否遵守形式规则”,type checker 适合回答“类型承诺是否一致”。把任务混成一句“请确保代码没问题”,Agent 就缺少稳定反馈。
第三层:人工判断
人工判断负责机器暂时难以证明的部分:产品意图是否合理、API 设计是否清晰、变更是否超出需求,以及代码是否值得长期维护。
Claude Code 团队的一手经验很重要。AI Agent 可以加速局部实现,但复杂项目里的目标冲突、隐含约束和架构取舍,仍然需要工程判断。
因此,人工检查不应被理解为在每个函数末尾再看一遍。更合理的位置是变更链的关节点:需求边界、接口设计、关键行为和最终差异。
从模型自检到工程约束
很多 Agent 工具会要求模型在回答前“检查一下自己的代码”。这属于模型自检。它有帮助,但证据等级较低。
原因很简单:模型同时扮演实现者和评审者。它可能漏掉自己刚犯的错误,也可能把“看起来合理”说成“已经验证”。
更可靠的做法,是把判断转成工程约束:
- 需求写成验收条件。
- 验收条件变成测试。
- 项目规范交给静态工具。
- 高风险路径要求人工确认。
- 所有结论附上可复现的命令和结果。
一个用于 CI 的验证入口可以保持很小:
name: verify
on:
pull_request:
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: "3.12"
- run: pip install -r requirements-dev.txt
- run: ruff check .
- run: ruff format --check .
- run: mypy app
- run: pytest -q
对 Claude Code 这类 AI Agent 来说,工具输出比自然语言自评更重要。失败时,测试应当给出确定输入、实际输出和预期输出。Agent 才有稳定的修复依据。
这也是验证工作流的本质:不是要求模型“更认真”,而是给它更便宜、更一致的反馈。
和传统开发流程的差别
人工写代码与 Claude Code 协作,并不是简单地把键盘换成聊天框。
传统流程通常围绕单个函数推进:写实现、补测试、修 bug。代理式开发则可能一次修改十几个文件,涉及配置、依赖、迁移脚本和调用方。
验证对象因此从单个函数扩展到整条变更链:
- 修改是否覆盖原始需求。
- 新接口是否保持兼容。
- 数据迁移能否重复执行。
- 失败路径是否回滚或安全退出。
- 文档和实际行为是否一致。
- 全部自动检查是否通过。
传统 code review 常看 diff。AI Agent 协作还需要看“证据链”。例如,代码声称修复了并发问题,就应该对应并发测试或可重复的复现脚本,而不是只提交一段看起来合理的锁操作。
验证成本也因此发生变化。过去,测试成本常被当成编码后的收尾成本。Agent 模式下,它更接近运行时控制。测试越具体,代理越少在未知空间里猜。
社区争议与适用边界
这篇文章登上 Hacker News 首页后,获得 119 points 和 123 条评论。数字来自对应的 Hacker News 讨论页。
热度背后有一个合理质疑:分层验证能证明规则,却不一定能证明规则本身选对了。
测试与规格同源时,Agent 可能把错误理解写进代码,再写出一套忠实通过的测试。静态规则能检查类型,却不知道产品决策是否合理。人工 review 也会受时间和注意力限制。
复杂项目还有三个现实问题:
- 历史测试可能本身就不完整,甚至锁定了旧错误。
- 端到端环境昂贵,代理无法在每次改动后完整复现。
- 验证脚本也需要维护,规则过多会增加反馈噪声。
因此,验证不应变成数量竞赛。不是测试越多越好,而是关键行为有足够证据。支付逻辑、权限边界和数据迁移通常需要更严格检查;纯展示文案则未必值得搭一套复杂流程。
对 Claude Code 的评价也应放在这个边界内。它擅长执行局部修改,但不能仅凭生成速度推断项目可靠性。真正可比较的是:失败能否被复现、错误能否被定位、修复后能否自动回归,以及人是否能在有限时间内审查关键决策。
落地时,可以从三步开始:
- 为关键需求写出可执行的验收条件。
- 在 CI 中固定测试、lint 和类型检查命令。
- 要求 Agent 提交失败复现、实际输出和验证结果。
原始资料:
编辑思考
Claude Code 团队这篇文章的重要性,不在于又提供了一套测试技巧,而在于把 AI 编程的竞争指标从“生成多少代码”推向“提交多少可验证证据”。过去,代码生成成本高,验证常被压缩;Agent 让生成近乎免费后,稀缺资源正在转移到验收规则、测试设计和失败定位上。
我的判断是,验证能力不会取代代码生成能力,但会改变生成能力的定价方式。一个能快速写出 2,000 行代码、却无法说明关键行为如何验证的代理,实际交付价值可能低于一个只改 30 行、并附带回归测试的代理。
这次与过去不同之处,在于官方工程团队把验证放到了 Agent 工作流的前半段。测试不再是生成完成后的清洁工作,而是约束模型行动的控制层。不过,我不确定这套分层方法在大型遗留系统中能否线性扩展。规则噪声、测试维护成本和人工判断瓶颈仍可能限制效果。评价 Claude Code 等工具时,我会优先看失败证据和变更链,而不是演示中的完成速度。