AI Agent 実装は速くなったが、コード理解は追いついていない
Hacker News のトップページで DISCUSSION 了一项具体议题:面对自己并未完全理解、却已经投入生产的 AI 生成代码,应该如何处理。
相关讨论的 item ID 是 50151036:
https://news.ycombinator.com/item?id=50151036
HN 的摘要引用了一名 Meta 工程师发布在 LinkedIn 上的话:
「私は Meta のエンジニアだが、AI でコードを書いているとき、こんなに作業が不适用过をしたことはない。」
この発言が指すのは、AI がコードを生成できるかではない。実装を納品した後の責任である。モデルは数百行の diff を短時間で生成できる一方、エンジニアはそれを1行ずつ確認しなければならない。検証に費やす時間によって、生成による生産性向上の一部は失われる。
Meta エンジニアが「不适 deserving」と感じた理由
従来のプログラミングには、自然な減速 과정がある。
- エンジニア自身が実装を入力する。
- デバッグによって制御フローを追い込む。
- 同事から review の意見を受ける。
- 本番稼働後の異常によって、開発者が再びコードに戻る。
この過程は遅いものの、理解が残る。
LLM はその中間部分を圧縮した。エンジニアが要件を伝えると、モデルは完全な実装を返す。構文が正しく、構成が整理されていて、テストも一度に通ることがある。
しかし、コードが完成して見えることは、そのコードを保守できることと等価ではない。
HN の摘要で引用された Meta エンジニアの言葉の核心は「まったく理解できない」ことではない。システムの設計は把握しているものの、実装の詳細までは理解していない、という状态だった。
まったく分からないコードなら、エンジニアは通常、そのまま merge しない。より危険なのは、半分の理解だけがある状態だ。
開発者は要件がなぜ存在し、成果物をどう使えばよいかは知っている。しかし、モデルが補った再帰、キャッシュの無効化、ロック順序、リトライの境界が正しいことを、即座に証明できるとは限らない。
_RATE_AGGRESSIVE_陌生的代码会引起谨慎,而半懂代码容易触发自信。后者更值得警惕。未知のコードには慎重になるが、一部しか理解していないコードには過度な自信を持ちやすい。後者の方が危ない。見慣れないコードには慎重になるが、一部しか理解していないコードには過度な自信を持ちやすい。後者の方が危ない。
本当に不足しているのは生成速度ではない
ローカルの coding agent は、ファイルを並列に編集し、テストを実行し、lint を自動修正し、コンパイルを何度も試行することがすでにできる。
その結果、チームを誤解させる指標が生まれる。
単位時間に生成されるコード行数。
この数値は通常増えるが、単独で納品効率を表すものではない。併せて確認する必要があるのは、次の項目だ。
- review に要した時間
- テストが実際の振る舞いを覆っているか
- 本番で修正 які時間が必要か
- 3か月後に誰が引き継げるか
- モデル、依存ライブラリ、内部インターフェースが変化した場合、変更がどこまで波及するか
生成はコストの一部にすぎない。生成コストが下がれば、検証、説明、知識の整理にかかるコストが相対的に大きくなる。
チームが1日に800行の、完全には理解していないコードを受け入れることは、800行分の有効な資産が増えたことを意味しない。800行分の説明負債が増えただけかもしれない。
Claude Code や Cursor のようなツールを使ったとき、変化が特に大きいのは、样板代码、依存関係のアップグレード、テストのスキャフォールド、複数ファイルにまたがる機械的な変更が速くなった点である。
エンジニアリング上の判断が必要な部分は消えていない。
- 状態をどこに置くべきか
- 失敗後に安全に再試行できるか
- API 契約が安定しているか
- どの制約を型システムに保証させるべきか
- 障害発生時にログから状況を再現できるか
コミット頻度が高くなるほど、エラーがまとめて複製される速度も速くなる。
AI 生成コードに「可解释性予算」を設ける
「すべて理解すること」を求めるより、PR ごとに実行可能な可解释性予算を設ける方が現実的だ。
まず、以下の3つのルールから始める。
- 高リスクモジュールでは、1回の diff を約200行に制限する。これを超える場合は PR を分割し、「生成量が多い」ことを merge の理由にしない。
- 重要な実装では、提交者が設計上の選択、明確でない分岐、failure mode を説明する。説明されていないコードは main ブランチに入れてはならない。
- 権限、資金、データ削除、migration、外部 API に関係する処理には、振る舞いテストを追加する。長期的な設計上の選択は ADR に記録する。
200行はすべてのケースに適用できる標準ではない。データベース migration や protocol の再構築は、もともと大きな変更になるため Naturally ある。ここで制限しているのは認知的な作業単位であり、1回の review に境界を持たせることを意図している。
ADR は Architecture Decision Record、つまりアーキテクチャ決定記録を指す。長くなくてよいが、少なくとも次の問いに答える必要がある。
- なぜこの案を選んだのか
- どの代替案を棄却したのか
- どのような条件SIDで決定が無効になるのか
- 本番稼働後、リスクをどう観測するか
こうすれば、コードの説明はチャットウィンドウの中だけに存在せずCertain_エンジニアが3週間後に記憶 力 に依存することもなくなる。
「コードらしいコード」を失敗テストで除外する
構文の通過率を LLM プログラミングの品質を測る指標に使うのは適さない。モデルは構文が正しいコードを非常にうまく生成する。
より有効な方法は、失敗するテストを先に書き、そのテストを満たす実装をモデルに作成させることである。
次の Python の例は、価格計算の振る舞いをテストしている。
from decimal import Decimal
def calculate_total(unit_price: str, quantity: int, discount_percent: int = 0) -> str:
unit_price = Decimal(unit_price)
subtotal = unit_price * quantity
discount = subtotal * Decimal(discount_percent) / Decimal(100)
return str(subtotal - discount)
assert calculate_total("19.90", 3) == "59.70"
assert calculate_total("10.00", 2, 25) == "15.00"
try:
calculate_total("10.00", 1, 101)
except ValueError:
pass
else:
raise AssertionError("discount above 100 must fail")
このコードだけでは、負の単価や負の数など、異常系の振る舞いを検証できない。これらの制約を完全にテストするには、関数に入力検証を追加する必要がある。
テストが最初に失敗するのは、まだ存在しないべき振る舞いを 실제로制約していることが多いという意味だ。その後で実装を LLM に任せる。
同時に、2つの指標を記録する。
- 構文通過率:コードを解析、import、実行できるか
- 振る舞いカバレッジ:规定されたシナリオ、境界条件、failure path のうち、どれだけがテストによって制約されているか
前者は100%に近づきやすい。後者の方が、モデルが要件を理解しているかを明らかにする。
テストは外部から観測できる振る舞いを表現すべきだ。実装が内部 helper を使ったという理由だけでテストを変更,也不要_为了让方便模型,就让测试依赖偶然的细节,理解为、モデルの便宜のためにテストを偶発的な詳細に依存させてはならない。
生成されたコードがテストを満たさなければ merge を拒否する。テストには通るが、提出者が重要な分岐を説明できない場合も、まず merge しない。
この流れでは検証が1つ増えるが、リスクを適切な位置に置ける。
編集者の視点
この議論で重要なのは、Meta エンジニアの主観的な不适感ではなく、生成、検証、責任の元の比率が崩れ始めたことである。
以前は、エンジニア自身が実装の大部分を書いていたため、理解は通常、成果物の生成に伴って深まった。LLM が実装と理解を分離した後、コードを提出する者は保証人の立場になる。振る舞いが正しいことを証明し、保守者がその実装を信頼できる理由も説明しなければならない。
AI Agent によるプログラミングの次の段階で本当に不足するのは、より長い context itez 速生 autocomplete ではなく、チームが低コストで因果連鎖を保持できるかどうかである。失敗テスト、ADR、制限された diff、再現可能な benchmark のほうが、生成速度だけを見るよりも重要である。
これは以前の Copilot 型補完とは異なる。補完は通常、直前の関数を埋めるだけだった。coding agent は複数ファイルの変更を一度に提出でき、自分でコマンドを実行-Minutes 甚至できる。影響範囲が大きくなるため、review の方法もそのままでは通用しない。
ただし、1つの問いにはまだ答えがない。チームスループットのために「理解できないまま先に本番へ出す」ことを受け入れたとき、可解释性予算は-Islands エンジニアリング規律なのか、それともリリースプロセスの飾りか。現時点では、判断하기だけの十分な evidence がない。確実に言えるのは、责任がモデルへ移るわけではないという点である。