8월 24일, Anthropic은 claude.dev/blog에 《How the Claude Code team does code review》를 게시했다. 이 글은 HN 메인 페이지에서 39점을 받았고 29개의 댓글도 모였다. AI가 모든 것을 바꾼다는 상투적인 글이 아니라, Claude Code 팀이 수개월간 운영해 온 내부 workflow를 구체적으로 공개한 내용이다.
AI Agent를 개발하면서 LLM이 실제 소프트웨어 개발 과정에서 어떤 역할을 맡을 수 있는지 파악하고 싶다면 한 번 읽어볼 만하다.
Anthropic은 어떻게 코드를 리뷰하는가
방식을 한 문장으로 요약하면 이렇다. 사람이 PR diff를 직접 비교하게 하는 대신, Claude Code로 reviewer agent를 실행하고 diff를 익숙하지 않은 codebase를 탐색하는 입구로 삼는다.
구체적인 과정은 다음과 같다.
- PR이 올라오면 GitHub Action이 자동으로
@claude를 실행해 PR comment를 남긴다. 여기에는 PR 요약, 핵심 변경 사항, 잠재적 위험 요소가 포함된다. - Reviewer는 코드를 처음부터 읽지 않는다. AI가 작성한 요약을 확인한 뒤 자신이-interesting 문제를 골라 검증한다.
- 30분마다 AI agent가 PR에서 새 댓글을 검색하고, 질문에 답하거나 코드를 수정한다.
- 병합 전에는 반드시 사람이 LGTM을 남겨야 한다.
가장 중요한 점은 Anthropic이 prompt도 일부 공개했다는 것이다. 글에는 reviewer agent의 핵심 prompt가 다음처럼 제시됐다.
You are an expert code reviewer. Analyze this PR as if you're joining a new team and need to understand:
1. What does this PR do in plain English?
2. What files are changed and why?
3. Are there any obvious bugs, race conditions, security issues?
4. What's missing? Tests, error handling, logging?
5. Flag any concerns but don't make up issues.
If unsure, say "I'm not sure" rather than invent problems.
마지막 문장의 “don't make up issues”에 주목할 필요가 있다. Anthropic이 AI 리뷰에서 반복해서 강조하는 원칙이다.
대체하는 것이 아니라 Reviewer의 확인 범위를 넓힌다
많은 댓글이 이 글을 AI가 reviewer를 대체한다는 식으로 오해했다. 실제로 Anthropic은 리뷰를 두 단계로 나눴다.
AI가 담당하는 일(자동화 단계)
- 문법과 스타일 검사
- 테스트 커버리지 분석
- 인터페이스 계약의 일치 여부 확인
- 기본값, 오류 처리, log 변경 사항 점검
- 5초 안에 파악할 수 있는 한 줄 diff 요약 작성
사람이 리뷰하는 일(판단 단계)
- 아키텍처 결정
- API 설계의 타당성
- 경계 사례와 business logic
- “이 코드를 6개월 후에도 유지할 사람이 있는가”라는 질문
Anthropic의 설명도 간결했다.
“We're using AI to handle the parts that humans find tedious, so humans can focus on the parts only humans can do.”
AI를 만능 reviewer로 사용하는 것과는 다르다. AI는 승인하지 않는다. 최종 승인 책임은 엔지니어에게 있다.
HN 댓글에서 다툼의 핵심은 무엇인가
HN에서는 39점과 29개의 댓글 underneath 찬성과 반대가 모두 나왔지만, 논쟁은 주로 세 가지 주제에 집중됐다. 원문 discussion을 확인하면 세 가지 주제를 확인할 수 있다.
1. Reviewer 책임의 소재
가장 많은 지지를 받은 반대 의견은 다음과 같은 내용이었다. AI가 PR summary에 “문제없음”이라고 썼고, 사람인 reviewer가 대충 훑은 뒤 승인했다면 문제가 발생했을 때 책임은 누구에게 있는가.
댓글은 이를 automation bias, 즉 자동화된 결론이 인간을 게을게 만들어 실제로 코드를 확인하지 않게 만드는 현상으로 정리했다. Anthropic도 이 문제를 인정했기 때문에 사람에 의한 LGTM을 필수로 요구한다.
2. AI 제안이 과도하게 사용될 가능성
AI가 reviewer 역할만 하는 것이 아니라 언제부터 PR에 fix를 직접 제안하게 되는지 묻는 댓글도 있었다.
Anthropic의 답은 명확했다. 이미 사용 중이다. AI agent가 PR에 fix suggestion을 남기지만, 사람이 apply를 눌러야 실제 코드가 변경된다. 이는 곧바로 auto-merge하는 방식과는 차이가 있다.
3. 소규모 팀이 따라 하기 어렵다는 지적
한 댓글은 현실적인 문제를 찔렀다. “Anthropic에는 50개의 reviewer agent가 돌아가고 있지만, 평범한 팀은 하나도 감당하기 어렵다.”
실제로 Claude Code 자체는 token 기준으로 비용이 높지 않다. 하지만 prompt 템플릿, threshold 조정, fail-safe 설계가 필요하다. 모든 팀에 이 엔지니어링 역량이 이미 갖춰져 있는 것은 아니다.
따라 해 볼 만한 3가지
전체 workflow를 그대로 따라 할 필요는 없지만, 도입하기 쉬운 세 가지 engineering practice가 있다.
1. 리뷰를 두 단계로 나누고 경계를 명확히 하기
AI가 모든 리뷰를 맡도록 설계하지 말고, AI와 사람이 각각 담당하는 일을 문서로 명시해야 한다. 작은 팀도 AI가 lint, coverage, 인터페이스 변경 사항을 검사하고, 사람이 설계와 경계 사례를 리뷰하는 방식으로 운영할 수 있다.
2. Prompt에 ‘don't make out issues’를 명시하기
이 원칙은 시스템이 작동하기 위한 전제조건이다. LLM은 자신감 있는 어조로 존재하지 않는 문제를 만들어 낼 가능성이 높다. reviewer agent에 이 제약을 넣는 것은 어떤 scoring mechanism보다 효과적이다.
3. Reviewer는 낯선 사람의 시선을 유지하기
Anthropic은 agent가 “as if you're joining a new team”, 즉 새로 합류한 팀원이 필요한 것처럼 PR을 살펴보도록 하는 점을 반복해서 강조한다.
이 관점은 중요하다. reviewer는 author의 설명을 그대로 따라 읽는 사람이 아니라, 새로 온 사람처럼 질문해야 한다. “이 PR을 이해해야 한다면 새로 합류한 엔지니어라고 가정하라”는 prompt가 “이 코드의 품질을 평가해 달라”보다 훨씬 효과적이다.
다음 checklist를 그대로 활용할 수도 있다.
- [ ] PR summary 한 문장으로 목적을 설명할 수 있는가
- [ ] Diff가 파일별로 묶이고 위험 등급이 표시되었는가
- [ ] Tests가 추가되었는가? coverage 변화는?
- [ ] backwards-incompatible 변경 사항이 있는가?
- [ ] Error handling / logging이 보완되었는가?
- [ ] AI가 확신하지 못한 부분은 "Not sure"로 표시했는가
편집자 관점
이 사례에서 중요한 것은 Anthropic이 어떤 AI tool을 사용하느냐가 아니라, Anthropic이 자신의 engineering culture를 공개했다는 점이다.
대기업은 개발 프로세스를 드러내지 않는 경우가 많다. 복제당하거나人才을 빼앗기거나 비교당하는 일을 꺼리기 때문이다. 이번에 Anthropic은 Claude Code 팀의 리뷰 workflow를 공개하고 prompt 템플릿 예시도 몇 가지 제시했다. AI 산업에서 이러한 투명성은 드물다. “AI로 X를 혁신적으로 개선했다”는 PR 자료보다 이 글이 더 배울 만한 점이 많다.
하나의 비합의적 관점은 이렇다. 많은 팀이 AI 활용법을 익힐 때 prompt 작성법이나 Agent orchestration을 먼저 배운다. 그러나 실제로 차이를 만드는 것은 workflow 설계다. Anthropic이 공개한 것도 바로 이 부분이다.
또한 Anthropic의 이 workflow는 Claude Code 팀 내부에서 만들어지고 검증된 방식이라는 한계가 있다. 그 팀의 엔지니어 역량, 제품 형태, 리뷰 습관은 모두 특수하다. 이를 10명 규모의 SaaS 팀에 그대로 옮기면 맞지 않을 수 있다. prompt를 복제하기보다 workflow를 단계로 나누는 설계 방식을 배워야 한다. 이것이 글에서 얻은 가장 큰 교훈이다.
출처: claude.dev/blog/solving-code-review-at-anthropic | HN 토론: news.ycombinator.com/item?id=50122951