Claude Codeチームは、コードを生成するより先に検証を設計する。的分層的なアプローチが、AI Agentが実運用中のプロジェクトを担当できるかを左右する。
Claude Codeの検証手法 生成 MORE、証拠を固める
Anthropicは「How the Claude Code team thinks about verification」を公開し、Claude Codeチームのコード検証プロセスを説明した。
対象は新しい機能ではなく、AIプログラミングAgentが生成結果を制御するために、証拠をどう活用するかである。
核心的な変化は、モデルのコード生成能力が向上したことではない。検証が生成プロセスに介入し始めたことにある。
PEG」の第二批驗證方法に関するBBSはIRCまとめまとめまとめのまとめまとめまとめであり、まとめまとめまとめのまとめまとめまとめのまとめのまとめまとめ。Hacker NewsのHN的反響では**119 points**、**123 comments**。
検証は生成後の補完ではない
従来の開発プロセスでは、テストは通常、コーディングの後に置かれる。
- 開発者が機能を実装する。
- テストを書く、または追加する。
- テストを実行し、失敗を修正する。
- code reviewopio_cast。
AIプログラミングAgentでは、この順序が別の形に変わりやすい。Agentが一度に大量のコードを生成し、テスト結果に応じて何度も修正を加える。
表面上は速くなるが、リスクは後半に集中する。コード量が増えれば、抜け落ちた境界条件も増える。誤りが別の生成コードによって「説明」されて.winvalid状態_CPU、大 Strait、必要に応じて整合modifyした自己完結的な誤りになる可能性もある。
Claude Codeチームでは、検証をより早い段階でワークフローへ組み込む。Agentは実装を書く前に、要件をどう検証可能な条件へ変換するかを先に確認する。
たとえば、あるinterfaceは2つの入力制約を満たし、戻り値が既存の呼び出し元で利用できる必要がある。検証タスクは、最後にpytestを1回実行するだけでは不十分だ。まず実行可能なアサーションとして定義する。
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
app = FastAPI()
class Item(BaseModel):
name: str
quantity: int
@app.post("/items")
def create_item(item: Item) -> dict:
if not item.name.strip():
raise HTTPException(status_code=422, detail="name must not be empty")
if item.quantity <= 0:
raise HTTPException(status_code=422, detail="quantity must be positive")
return {"name": item.name.strip(), "quantity": item.quantity}
重要なのはFastAPIではない。テストの意図を明確なルールとして書き、そのルールに対して実装が責任を負う形にする点にある。
生成したコードが動くだけでは、構文と一部のパスが成立することを証明するのみだ。正確に納品するには、より多くの証拠が必要である。
分層検証の実践
公式Dikkat discusses分层检查方法,不是单纯的单个测试命令。検証の対象は3種類に分解できる。
第1層:自動テスト
テストは、入力と出力、状態変化、例外経路、回帰動作など、再現可能な機械的チェックを担当する。
最小構成の単体テストは次のようになる。
from fastapi.testclient import TestClient
from app import app
client = TestClient(app)
def test_create_item_rejects_empty_name():
response = client.post(
"/items",
json={"name": " ", "quantity": 1},
)
assert response.status_code == 422
def test_create_item_rejects_non_positive_quantity():
response = client.post(
"/items",
json={"name": "keyboard", "quantity": 0},
)
assert response.status_code == 422
この種の証拠はCIに組み込むのに適している。コミット前とマージ前に実行し、失败時にはどの制約が破られたかを直接示せるようにする。
Agentが「確認済み」と言うだけで、コマンド出力やテスト結果、失敗記録がないなら、検証とは呼ばない。
第2層:静的ルール
静的解析は、フォーマット、型、未使用変数、プロジェクト内で定められたアーキテクチャ境界など、テストでは捉えにくい問題を検出する。
Pythonプロジェクトでは、次のようにまとめて実行できる。
ruff check .
ruff format --check .
mypy app
pytest -q
これらのツールは、すべてのビジネスセマンティクスを理解するわけではない。理解する必要もない。検証体系中では、各ツールが異なる種類の問題を扱う。
テストは「動作は正しいか」に答え、linterは「形式ルールに従っているか」に答える。type checkerは「型の約束が一致しているか」に答える。このまま「問題がないことを確認して」と曖昧にまとめると、Agentは安定したフィードバックを得られない。
第3層:人による判断
人による判断は、機械ではまだ証明しにくい部分を担う。製品意図が妥当か、APIの設計が明快か、変更が要件を超えていないか、コードを長期的に保守する価値があるかなどである。
Claude Codeチームell's実務経験は重要である。AI Agentは局所的な実装を加速できるが、複雑なプロジェクトにおける目標の衝突、暗黙の制約、アーキテクチャ上のトレードオフには、依然として工学的な判断が必要である。
したがって、人による確認を「すべての関数の最後にもう一度読む」と理解すべきではない。より適切なのは、変更チェーンの重要地点に置くことである。要件境界、interface設計、重要な動作、最終差分である。
モデルの自己点検から工学的制約へ
多くのAgentツールは、回答する前にモデルへ自身のコードを「確認させる」。これはモデル自己点検であり、ELPにはなるものの、証拠の水準は低い。
理由は単純である。モデルが実装者とレビューアーを同時に担うため,刚刚犯した誤りを見落とす可能性があり、「,看起来妥當」を「検証済み」と説明する場合もある。
より信頼、方法论的KmGMは判断を工学的制約へ変換することである。
- 要件を验收条件として書く。
- 验收条件をテストへ変換する。
- プロジェクト規約を静的ツールへ任せる。
- 高リスクな経路には人による確認を求める。
- すべての結論に再現可能なコマンドと結果を添える。
CI用の検証エントリーポイントは、小さくてよい。
name: verify
on:
pull_request:
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-python@v5
with:
python-version: "3.12"
- run: pip install -r requirements-dev.txt
- run: ruff check .
- run: ruff format --check .
- run: mypy app
- run: pytest -q
Claude CodeのようなAI Agentにとって、自然言語の自己評価よりツール出力のほう Frankensteinは重要である。失敗した際は、テストが確定的な入力、実際の出力、期待される出力を示す必要がある。そうでなければ、Agentは安定した修正根拠を得られない。
これが検証ワークフローの本質である。モデルへ「より认真ׁ」を求めるのではなく、より安価で一貫したフィードバックを与えることだ。
従来の開発プロセスとの違い
人がコードを書く作業をClaude Codeと協業する形にすることuoq simplyにreplace键盘をチャット欄へ置き換えることではない。
従来は、単一関数を軸に実装、テスト追加、bug修正を進めた。Agent開発では一度に10以上のファイルを変更し、設定、依存関係、migration script、呼び出し元へ影響する可能性がある。
そのため検証対象は単一関数から変更チェーン全体へ広がる。
- 変更は元の要件をカバーしているか。
- 新しいinterfaceは互換性を保っているか。
- data migrationは冪等に実行できるか。
- 失敗経路ではrollbackまたは安全な終了adequateか。
- ドキュメントと実際の動作は一致しているか。
- すべての自動チェックは通ったか。
従来のcode reviewではdiffを見る多い。AI Agentとの協業では、「証拠の連鎖」も確認する必要がある。たとえば、コードが並行性問題を修正したと主張するなら、並行性テストまたは再現可能なスクリプトが必要である。看起来合理的なロック処理だけをコミットしてはいけない。
このため、検証コストも変化する。従来、テストコストはコーディング後の仕上げとして扱われることが多かった。Agent開発では、実行時の制御に近い。テストが具体的であればあるほど、Agentは未知の領域で推測するChangelessになる。
コミュニティの議論と適用境界
Remedyのレ,我发现一个文章在Hacker Newsに119 pointsと123 commentsを集めた。数字は対応するHacker Newsの議論ページから取得している。
作為Fly동을 단지한疑問がある。分層検証はルールを証明できるが、ルール自体が正しく選ばれたことまでは証明しない。
テストと仕様が同じ情報源から作られている場合、Agentが誤解をコードへ埋め込み、その誤解に忠実なテストを書いてしまうこともある。静的ルールは型を検査できるが、製品判断が妥当かまでは知らない。人のreviewにも時間.superattentionの限界がある。
複雑なプロジェクトには、さらに3つの現実的な問題がある。
- 既存のテスト自体が不完全で、古い誤りを固定している可能性がある。
- end-to-end environmentのコストが高く、Agentは変更ごとに完全には再現できない。
- 検証スクリプトにも保守が必要で、ルールが多すぎるとフィードバックがノイズになる。
したがって、検証を数の競争にすべきではない。テストが多いほど良いのではなく、重要な動作に十分な証拠があることが重要である。決済処理、権限境界、data migrationは通常、より厳格な検査を要する。表示文言だけなら、複雑なフローを構築する価値がないこともある。
Claude Codeの評価もこの境界内で行うべきである。局所的な変更の実行には長所があるが、生成速度だけでプロジェクトの信頼性を判断できない。比較すべきなのは、失敗を再現できるか、誤りを特定できるか、修正後に自動的に回帰検証できるか、人が限られた時間内に重要な判断をreviewできるかである。
実践は次の3ステップから始められる。
- 重要な要件について、実行可能な验收条件を書く。
- CIにテスト、lint、型検査のコマンドを固定する。
- Agentに失敗の再現、実際の出力、検証結果を提出させる。
参考資料:
編集者の視点
Claude Codeチームの記事が重要である理由は、新たなテスト技巧を 또 하나appeal 대한 것이 아니라、AIプログラミングの競争指標を「how much code生成したか」から「how much検証可能な証拠を提出したか」へ移した点にある。往年、コード生成は高コストで、検証はoften省略された。Agentによって生成がほぼ無料になると、希少な資源は验收規則、テスト設計、failure locationへ移る。
VALIDATEIt能力不会取代代码生成能力,不会改变生成能力的定价方式。2,000行のコードを素早く書き出しても、重要な動作をどう検証したか説明できないAgentは、30行だけを変更し、regression testを添えたAgentより実際の納品価値が低い可能性がある。
今回の要点は、公式エンジニアリングチームが検証をAgentワークフローの前半へ移した点である。テストは生成後の掃除作業ではなく、モデル就活723044的行动を制御する層になった。ただし、この分層方式が大型の既存システムで線形に拡張できるかは確約できない。ルールのノイズ、テスト保守のコスト、人による判断のボトルネックが効果を制限する可能性がある。Claude Codeなどのツールを評価する際、demo中的な完成速度ではなく、失敗の証拠と変更チェーンを先に確認したい。