AI编程 에이전트가 코드 생산 속도를 끌어올린 뒤에도 팀의 업무는轻松的해지지 않았다. 코드는 더 빨리 저장소에 들어오지만 심사 대기열은 더 길어졌다. 하버드 연구에 따르면 병목은 코드 작성에서 Code Review로 이동했다. 팀은审查 에이전트를 하나 더 연결하는 것이 아니라 프로세스 자체를 바꿔야 한다.
81점과 125개 댓글 뒤에 드러난 쟁점
이 뉴스 Hacker News 메인 페이지에 올라 81점과 125개의 댓글을 받았다.
논의의 핵심은 ‘AI가 프로그래머를 대체할 것인가’였다. 개발자들이 더 궁금해한 문제는 다른 쪽이었다. 코드 생성 속도가 빨라진 뒤에도 팀은 기존 프로세스로 코드를 심사하고 있는가? 답은 대개 ‘아니다’였다.
많은 팀이 여전히 과거 방식으로 일하고 있다.
- 에이전트가 한 번에 완성된 기능 전체를 제출해 PR이 수백 줄에서 수천 줄에 이르고,
- 리뷰어가 먼저 코드 형식을 확인한 뒤 업무 로직을 추적하고 마지막으로 테스트를 보충하며,
- 보안, 컴플라이언스, 권한 문제는 여러 도구에서 각각 점검하며,
- 병합 후 구현 방향이 잘못되었음을 발견해 다시 에이전트에게 되돌려 재작성한다.
생산 단계는 이미 대량화됐지만 심사 단계는 여전히 수작업에 가까운 상태다. 처리량 격차는 계속 벌어질大概率다.
하버드 연구가 발견한 것
Complex Discovery의 보도 제목은 ‘Harvard researchers find AI coding agents shifted the bottleneck to code review’다. 핵심 결론은 분명하다. AI 코딩 에이전트가 코드 생성 효율을 높였지만 병목은 코드 리뷰로 옮겨 갔다.
보도는 이것이 특정 코딩 단계의 속도 향상이 아니라 소프트웨어 개발 워크플로의 구조적 변화를 의미한다고 강조한다.
코딩은 워크플로의 한 단계일 뿐이다.
요구사항 → 코딩 → 테스트 → 보안 점검 → Code Review → 병합 → 운영
에이전트가 ‘코딩’을 며칠에서 몇 시간으로 줄이면 그 뒤의 단계에 작업이 쌓인다. 테스트가 자동으로 통과하지도 않고 리뷰어의 시간이 자동으로 늘어나지도 않는다. 코드를 더 빨리 작성하더라도 권한 경계가 자동으로 신뢰할 만해지는 것도 아니다.
과거에는 팀이 PR 개수로 업무량을 대략 측정했다. 이제 이 지표는 왜곡되기 시작한다. 코드가 많아졌다고 Problems도 함께 많아질 수 있기 때문이다.
진짜 비용은 병합 이후에 나타난다
기능 하나를 생성하는 데 10분이 걸렸다고 해서 인도 비용도 10분인 것은 아니다.
에이전트가 코드를 제출한 뒤에도 팀은 보통 몇 가지 비용을 부담해야 한다.
- 테스트 비용: 경계 조건 테스트를 보충하고 flaky test를 처리하며 재시도와 동시 실행 동작을 확인한다.
- 취약점 위치 추적 비용: 문제가 업무 로직, 의존성 버전, 에이전트의 인터페이스 의미 해석 중 어디에서 왔는지 판단한다.
- 권한 점검 비용: 에이전트가 token, 파일 시스템, 데이터베이스 또는 클라우드 리소스 권한을 넓히지 않았는지 확인한다.
- 수동 검증 비용: 구현이 그럴듯해 보이지만 실제 요구사항과 다르지 않은지 확인한다.
그중 가장 비싼 것은 대개 오류를 찾는 일이 아니라 재작업이다.
원래 하나의 PR을 리뷰하는 데 40분이 걸렸다고 하자. 에이전트가 이를 10개의 PR로 나누고 각각 15분씩 걸린다면 겉보기 총 심사 시간은 150분으로 줄어든다.
하지만 컨텍스트 전환, 중복 댓글, 반복 테스트 실행, 최종 통합 검증에 100분이 더 들 수도 있다. 코드가 많이 생성될수록 대기 시간과 재작업은 오히려 심해질 수 있다.
따라서 ‘생성한 코드 줄 수’와 ‘완료한 코드 수’는 에이전트 시대의 주요 지표로 적합하지 않다. 입력과 중간 산출물만 보여줄 뿐 시스템이 최종적으로 무엇을 인도했는지는 설명하지 못한다.
모든 PR에 AI 심사자를 붙이면 안 된다
가장 직관적인 방법은 에이전트가 코드를 작성할 수 있으므로 코드를 심사하는 에이전트도 연결하면 된다는 것이다.
결과는 더 빠른 PR, 더 긴 댓글 목록, 그리고 사람이 중복 제거와 사실 확인을 해야 하는 오탐(false positive)이 늘어난다는 것일 가능성이 높다.
두 번째 에이전트는 표면적인 문제를 찾는 데는 능하다.
- 이름 짓기 규칙 불일치
- 누락된 null 검사
- 중복 로직
- 흔히 볼 수 있는 안전하지 않은 작성 방식
하지만 코드 리뷰는 lint만으로 끝나지 않는다. 리뷰어는 다음 사항도 판단해야 한다.
- 이번 변경이 올바른 문제를 해결하는가
- 실패했을 때 되돌릴 수 있는가
- 새로운 의존성과 권한이 최소 권한 원칙을 따르는가
- 이번 추상화가 다음 수정 비용을 높이지 않는가
- 문제가 발생했을 때 누가 확인하고处置할 책임을 지는가
여러 에이전트를 겹쳐 사용하면 서로의 판단을 강화할 수도 있다. 한 심사자가 다른 심사자의 결론을 인용하면 근거가 많아 보이지만 실제로는 같은 오류가 여러 번 반복된 것뿐이다.
审查 시스템은 기존 프로세스 위에 로봇 하나를 추가하는 방식이 아니라 위험도와 책임 체계를 중심으로 다시 설계해야 한다.
AI Agent 개발 프로세스 다시 설계하기
다음 네 단계로 변경하는 편이 낫다고 본다.
1. 변경 위험도에 따라分流하기
모든 PR에 같은 강도의 심사를 적용해서는 안 된다.
먼저 변경 범위, 의존성 개수, 권한 변화, 데이터 마이그레이션, 테스트 커버리지를 기준으로 점수를 매길 수 있다. 고위험 변경은 별도의 심사 대기열로 보내고, 저위험한 기계적 변경은 빠른 경로를 따른다.
위험 등급은 감사 가능해야 한다. 최소한 판정 조건, 등급 결과, 상향 경로를 남겨야 한다. 설명할 수 없는 ‘AI 위험 점수’만으로 코드를 누가 볼지 결정하게 해서는 안 된다.
2. 에이전트 제출 단위 줄이기
에이전트의 PR 하나가 완성된 기능 전체를 의미해서는 안 된다.
에이전트에게 독립적으로 검증할 수 있는 경계 단위로 제출하도록 요구한다. 예를 들면 다음과 같다.
- schema와 migration
- 백엔드 인터페이스와 계약 테스트
- 프런트엔드 호출과 오류 처리
- 관측성, 알림, 롤백 설정
제출 개수는 늘지만 리뷰어가 매번 다시 구성해야 하는 컨텍스트는 줄어든다. 제출 개수 자체가 목표는 아니다. 검증 가능한 제출 단위가 목표다.
3. 고위험 변경에는 독립 검증자 지정하기
에이전트는 테스트와 보안 스캔에 참여할 수 있지만 ‘구현자’와 ‘최종 승인자’ 역할을 동시에 맡아서는 안 된다.
인증과 권한 부여, 자금, 개인정보, 운영 환경 설정, 파괴적 마이그레이션이 포함된 변경은 최소 한 명의 독립된 엔지니어가 확인해야 한다. 에이전트의 출력은 근거가 될 수 있지만 책임 이전을 의미하지는 않는다.
4. 재작업률로 프로세스 측정하기
‘얼마나 많은 코드를 생성했는가’보다 다음 지표가 더 유용하다.
- 최초 심사 통과율
- 병합 후 롤백률
- PR 하나당 리뷰어의 실제 활동 시간(분)
- 요구사항 오해로 인한 재작업률
- 최초 제출부터 배포 가능 상태까지의 소요 시간
- 보안 문제가 발견된 뒤 종료될 때까지 걸리는 시간
에이전트가 생성한 코드량이 3배로 늘었는데 전체 소요 기간이 줄지 않았다면 문제는 보통 모델이 아니라 프로세스 설계와 작업 분할에 있다.
편집자 관점
이번 병목 이동은 IDE 자동완성과는 다르다. 자동완성 도구는 보통 개발자가 현재 보고 있는 몇 줄을 수정하도록 돕지만 제출 권한은 개발자에게 남아 있다. AI 에이전트는 완전한 구현을 대량 생성하고 심지어 작업을 스스로 나누며 테스트를 보충하고 PR까지 제출할 수 있다. 생산 단위가 ‘함수 하나’에서 ‘변경 체인 하나’로 바뀌기 때문에 기존의 PR 단위 심사 방식으로는 이 규모를 감당할 수 없다.
다음 단계의 경쟁력은 팀에 가장 많은 에이전트를 연결한 팀에서 나오지 않는다. 위험도分流, 제출 단위, 독립 검증, 책임 체계를 측정 가능한 엔지니어링 시스템으로 만드는 팀에서 나온다. Code Review가 사라지는 것은 아니다. 다만逐行으로 diff를 읽는 방식에서 심사 프로토콜과 검증 근거를 설계하는 방향으로 이동할 뿐이다. 다만 현재 보도는 표본 규모, 팀 유형, 산업 범위를 제시하지 않았으며 모든 팀에서 동일한 수준의 병목 이동이 발생했는지도 확인할 수 없다. 하버드의 결론은 진지하게 받아들여야 하지만 더 많은 기업 데이터를 통해 재현해야 한다.
출처: