의견

AI Agent 코딩 실전, 빠른 배포背后의 이해도 격차

coding agent가 생성하는 코드 속도가 review 속도보다 빨라지면서 엔지니어가 변경 사항을 검증하고 관리하며 설명하는 책임이 커지고 있다. diff 제한, 실패 테스트, ADR을 통해 해석 가능한 코드와 설명 가능한 개발 프로세스를 유지하는 방법이 필요하다.

글자 크기

AI Agent는 코드를 빠르게 생성하지만 review, 검증, 유지보수까지 같은 속도로 빨라지는 것은 아니다. 이 글에서는 diff 상한, 행동 테스트, ADR을 중심으로 AI가 만든 코드를 통제하고 설명 불이익을 줄이는 방법을 살펴본다.

AI Agent 코딩 실전, 빠른 배포背后의 이해도 격차

Hacker News 메인 페이지의 한 토론은 이해하지 못한 AI 코드를 이미 배포했다면 어떻게 관리해야 하는지라는 구체적인 문제를 제기했다.

원 토론의 item 번호는 50151036이다.

https://news.ycombinator.com/item?id=50151036

HN 요약에는 Meta 엔지니어가 LinkedIn에 올린 다음과 같은 말이 인용됐다.

“나는 Meta 엔지니어지만, AI로 코드를 작성할 때만큼은 이 일을 이렇게 불쾌하게 느낀 적이 없었다.”

이 말이 지적하는 것은 AI가 코드를 생성할 수 있는가가 아니라 배포 이후의 책임이다. 모델이 수백 줄의 diff를 빠르게 만들어도 엔지니어는 이를 한 줄씩 검토해야 한다. 검증에 걸리는 시간이 생성 단계에서 얻은 효율을 다시 삼킨다.

Meta 엔지니어는 왜 불쾌했을까

전통적인 프로그래밍에는 자연스러운 감속 과정이 있다.

  • 엔지니어가 직접 구현 코드를 작성한다.
  • 디버깅을 통해 제어 흐름을 이해한다.
  • 동료가 review 의견을提出한다.
  • 배포 후 문제가 생기면 개발자가 다시 코드를 들여다본다.

이 과정은 느리지만 이해가 함께 쌓인다.

LLM은 중간 단계를 압축했다. 엔지니어가 요구사항을 입력하면 모델이 완성된 구현을 반환한다. 문법이 정확하고 디렉터리 구조도 정돈되어 있으며 테스트가 한 번에 통과할 수도 있다.

문제는 코드가 완성처럼 보여도 유지보수할 수 있다는 뜻은 아니라는 점이다.

HN 요약이 인용한 Meta 엔지니어의 핵심은 구현 내용을 전혀 모른다는 것이 아니다. 시스템 설계는 이해하지만 세부 구현은 파악하지 못했다는 의미에 가깝다.

완전히 이해하지 못한 코드라면 보통 바로 병합하지 않는다. 더 위험한 경우는 반쯤 아는 코드다.

개발자는 요구사항이 왜 생겼는지, 결과를 어떻게 사용해야 하는지는 알고 있다. 하지만 모델이 추가한 재귀 호출, 캐시 무효화, lock 순서, 재시도 경계가 올바른지 즉시 증명할 수는 없다.

낯선 코드에서는 신중해지기 쉽지만 반쯤 이해한 코드에서는 과신하기 쉽다. 후자가 더 경계할 만하다.

진짜 희소한 것은 생성 속도가 아니다

로컬 coding agent는 이미 파일을 병렬로 수정하고, 테스트를 실행하고, lint 오류를 자동으로 수정하며, 컴파일을 여러 차례 시도할 수 있다.

이 기능은 팀을 잘못된 지표로 유도할 수 있다.

단위 시간당 생성한 코드 줄 수.

이 수치는 대체로 증가하지만 그 자체로 배포 효율을 나타내지는 않는다. 다음 항목도 함께 확인해야 한다.

  • review에 얼마나 걸렸는가
  • 테스트가 실제 행동을 얼마나 검증하는가
  • 운영 환경의 문제 수정에 얼마나 걸리는가
  • 3개월 뒤 누가 인계받을 수 있는가
  • 모델, 의존성, 내부 인터페이스가 바뀌었을 때 어느 정도의 코드에 영향이 생기는가

생성은 비용의 일부일 뿐이다. 생성 비용이 줄면 검증과 설명, 조직 지식의 비용이 더 두드러진다.

팀이 하루에 완전히 이해하지 못한 코드 800줄을 추가로 받아들인다고 해서 유효한 자산이 800줄 늘어난 것은 아니다. 설명해야 할 책임만 800줄 늘어났을 수도 있다.

Claude Code나 Cursor 같은 도구를 사용할 때 가장 크게 달라진 부분은样板 코드, 의존성 업그레이드, 테스트 기반 코드, 여러 파일에 걸친 기계적 수정의 속도다.

공학적 판단이 필요한 부분은 사라지지 않았다.

  • 상태를 어디에 두어야 하는가
  • 실패한 작업을 안전하게 재시도할 수 있는가
  • API 계약이 안정적인가
  • 어떤 제약을 type system으로 보장해야 하는가
  • 오류가 발생했을 때 로그에서 상황을 복원할 수 있는가

커밋 빈도가 높아질수록 한 번의 실수도 더 많은 곳에 복제된다.

AI 코드에 해석 가능성 예산 두기

모든 내용을 이해하라고 요구하기보다 PR마다 실행 가능한 가독성과 설명 가능성 예산을 정하는 편이 낫다. 먼저 세 가지 규칙을 적용할 수 있다.

1. 고위험 모듈은 한 번의 diff를 약 200줄로 제한한다. 초과하면 PR을 분리하며, ‘많이 생성했다’는 이유로 병합하지 않는다.

2. 핵심 구현에 대해서는 제출자가 설계 선택, 자명하지 않은 분기, 실패 모드를 설명해야 한다. 설명되지 않은 코드는 main branch에 들어갈 수 없다.

3. 권한, 자금, 데이터 삭제, migration, 외부 API와 관련된 경로에는 반드시 행동 테스트를 추가한다. 장기적인 설계 선택은 ADR에 기록한다.

200줄은 보편적인 기준이 아니다. 데이터베이스 migration이나 protocol 재구성은 본질적으로 더 큰 변경이 필요할 수 있다. 여기서 제한하는 것은 한 번에 처리하는 인지 단위다.

목표는 한 번의 review가 여전히 명확한 경계를 갖도록 하는 것이다.

ADR은 Architecture Decision Record, 즉 아키텍처 결정 기록이다. 길 필요는 없지만 최소한 다음 질문에 답해야 한다.

  • 왜 이 접근 방식을 선택했는가
  • 어떤 대안을 포기했는가
  • 어떤 조건이 결정의 전제를 무효화하는가
  • 배포 후 어떤 지표로 위험을 관찰할 것인가

이렇게 하면 코드에 대한 설명이 채팅 창에만 남거나, 엔지니어의 3주 뒤 기억에 의존하지 않게 된다.

실패 테스트로 ‘코드처럼 생긴 코드’ 걸러내기

문법 통과율은 LLM 코딩 품질을 측정하는 데 적합하지 않다. 모델은 문법적으로 올바른 코드를 생성하는 데 능하다.

더 유용한 방법은 실패하는 테스트를 먼저 작성한 뒤 모델에게 구현을 맡기는 것이다.

다음 Python 예제는 가격 계산의 행동을 검증한다.

from decimal import Decimal

def calculate_total(unit_price: str, quantity: int, discount_percent: int = 0) -> str:
    unit_price = Decimal(unit_price)
    subtotal = unit_price * quantity
    discount = subtotal * Decimal(discount_percent) / Decimal(100)
    return str(subtotal - discount)

assert calculate_total("19.90", 3) == "59.70"
assert calculate_total("10.00", 2, 25) == "15.00"

try:
    calculate_total("10.00", 1, 101)
except ValueError:
    pass
else:
    raise AssertionError("discount above 100 must fail")

이 코드만으로는 음수 단가나 음수 수량 같은 예외 경로를 검증할 수 없다. 이러한 제약을 완전하게 테스트하려면 함수에 입력 검증도 추가해야 한다.

테스트가 먼저 실패했다면 현재 구현되지 않은 행동을 실제로 제약하고 있을 가능성이 높다는 뜻이다. 그다음 모델에게 구현을 맡긴다.

다음 두 지표를 함께 기록할 수 있다.

  • 문법 통과율: 코드를 파싱하고 import하며 실행할 수 있는가
  • 행동 커버리지: 정해진 시나리오, 경계 조건, 실패 경로 중 테스트가 제약하는 비율

문법 통과율은 쉽게 100%에 가까워질 수 있다. 행동 커버리지가 모델이 요구사항을 이해했는지 더 잘 드러낸다.

테스트는 외부 행동을 표현해야 한다. 구현이 특정 내부 helper를 사용한다고 테스트를 바꾸거나, 모델을 편하게 하기 위해 우연한 세부 사항에 의존하게 만들면 안 된다.

생성된 코드가 테스트를 통과하지 않으면 병합을 거부한다. 테스트는 통과하지만 제출자가 핵심 분기를 설명하지 못한다면 그때도 병합하지 않는다.

이 과정에는 검증 단계가 하나 늘지만, 위험은 올바른 위치에 놓인다.

편집자의 생각

이번 논의에서 중요한 것은 Meta 엔지니어의 주관적인 감정보다, 생성과 검증, 책임 사이의 균형이 기존 proportions을 잃기 시작했다는 점이다.

과거에는 엔지니어가 대부분의 구현을 직접 작성해 이해가 산출과 함께 이루어졌다. LLM이 구현과 이해를 분리한 뒤에는 코드를 제출한 사람이 보증인이 되었다. 행동이 올바름을 증명하는 동시에 유지보수자가 그 구현을 신뢰할 수 있는 이유도 설명해야 한다.

내 판단으로는 AI Agent 코딩의 다음 단계에서 진짜 희소한 것은 더 긴 context나 더 빠른 autocomplete가 아니라, 팀이 합리적인 비용으로 인과 관계를 보존할 수 있는지 여부다. 실패 테스트, ADR, 제한된 diff, 재현 가능한 benchmark는 생성 속도만 따지는 것보다 중요하다.

이는 과거의 Copilot 방식과 다르다. 자동 완성은 보통 현재 보고 있는 함수만 채운다. coding agent는 여러 파일 변경을 한 번에 제출하고 명령도 직접 실행할 수 있다. 영향 범위가 더 넓어졌으므로 review 방식도 그대로 적용할 수 없다.

하지만 하나의 질문은 여전히 답이 없다. 처리량을 위해 팀이 이해하지 못한 코드라도 먼저 배포하기로 결정한다면, 설명 가능성 예산은 실제 엔지니어 규율인가, 배포 프로세스를 장식하는 형식적 절차인가. 아직 이를 판단할 충분한 증거는 없다. 확실한 것은 책임이 모델로 이전되지 않는다는 점이다.

출처: https://news.ycombinator.com/item?id=50151036