거대 언어 모델

MAI Code 2 분석: 코드 Agent의 비용 경쟁 시작

微软가 MAI Code 2와 MAI Code 2 Flash를 함께 공개하며 코드 Agent의 성능과 운영 비용을 함께 내세웠다. 개발자는 단일 응답 품질뿐 아니라 지연 시간, 모델 라우팅, 재시도 비용까지 고려해야 한다.

글자 크기

微软 AI가 MAI Code 2와 MAI Code 2 Flash를 공개했다. 두 모델은 모두 MAI 모델 제품군에 속하며, 소프트웨어 개발과 코드 생성을 대상으로 한다.

이번 출시에서 가장 눈여겨볼 만한 점은 benchmark 점수가 얼마나 올랐는지가 아니다.azaar Microsoft가 처음으로 두 단계의 모델을 하나의 제품 구성에 넣었다는 사실이다. 상위 모델은 복잡한 생성과 Agent 작업에, Flash 모델은 더 낮은 지연 시간과 더 낮은 추론 비용이 필요한 고빈도 호출에 대응한다.

코드 Agent에는 단일 응답이 얼마나 완성도 높은지보다 생산 환경에 더 가까운 문제가 있다. 버그 수정 작업은 일반적으로 저장소 읽기, 관련 파일 찾기, 코드 수정, 테스트 실행, 오류 메시지를 반영한 추가 수정으로 이어진다. 모델은 한 번만 호출되는 것이 아니라 반복적인 작업 흐름에 들어간다.

두 모델은 단순한 고저 구성 이상의 차이

MAI Code 2와 MAI Code 2 Flash는 성능과 효율성 측면에서 서로 다른 위치를 차지한다.

두 모델을 같은 모델의 ‘풀 버전’과 ‘미니 버전’으로만 이해하면 제품 설계의 핵심을 놓치기 쉽다. Code 2는 복잡한 코드 생성과 긴 컨텍스트를 이해해야 하는 Agent 작업에 적합하다. Code 2 Flash는 더 짧은 응답 시간과 더 낮은 단위 추론 비용을 겨냥한다.

이 차이는 중요하다.

대화형 개발 도구에서는 사용자가 코드 자동 완성을 한두 초 동안 기다릴 수 있다. 반면 일괄 코드 리뷰, 테스트 자동 수정, CI에서 계속 실행되는 Agent는 하루에 수천 번의 모델 호출을 발생시킬 수 있다. 후자는 비용에 훨씬 민감하다.

코드 모델의 역할도 ‘Python 코드 한 덩어리 생성’뿐이 아니다. 이전 단계의 테스트 로그를 이어받아 이미 수정한 파일 상태를 유지하고, 다음 행동을 결정해야 한다. 컨텍스트가 길어지고 대화 단계가 많아질수록 지연 시간과 비용은 무시하기 어려워진다.

따라서 두 버전의 동시 출시는 최소한 Microsoft가 코드 모델에 모든 환경에 맞는 단일 구성이 없다고 인정했다는 뜻이다. 성능은 한 축이고, 호출 비용과 대기 시간은 또 다른 축이다.

이번 출시에 대한 Microsoft의 설명은 공식 글에서 확인할 수 있다: Introducing MAI Code 2 and MAI Code 2 Flash.

93점 뒤에 개발자가 계산하는 비용

이번 출시 소식은 Hacker News 메인 페이지에 올라가 93점과 댓글 33개를 받았다.

93점은 개발자의 높은 관심도를 보여주지만 생산 환경에서의 사용 가능성으로 바로 환산할 수는 없다. 개발자가 더 자주采用的是 다음과 같은 판단 기준이다.

  • 한 번의 수정에 얼마가 드는가?
  • 명령을 내린 뒤 첫 결과를 보기까지 얼마나 기다려야 하는가?
  • 10차례 연속 호출한 뒤에도 상태 유지와 오류 복구가 안정적인가?
  • 테스트가 실패하면 작업을 다시 설명하지 않고 수정을 이어갈 수 있는가?

Code 2 Flash가 플래그십 모델보다 더 연구할 가치가 있을 수 있는 이유도 여기에 있다.

Agent 작업 한 번에 모델을 20번 호출한다고 가정하자. 단가 차이가 작아 보여도 여러 차례의 호출, 실패 후 재시도, 병렬 도구 호출이 곱해지면 API 청구액의 큰 부분을 차지할 수 있다. 반대로 첫 token까지의 지연 시간이 1초 줄고 그 지연이 매번 도구 호출 앞에 발생한다면, 전체 작업 흐름의 대기 시간은 더욱 크게 누적된다.

개발자들은 모델을 논할 때 benchmark 점수를 나란히 비교하는 경우가 많다. 하지만 AI Agent에는 ‘병합 가능한 변경 하나를 완성하는 총비용’이 더 유용한 지표일 수 있다.

작업 총비용 = 모델 호출 횟수 × 단위 입력·출력 비용
작업 총지연 = 모델 대기 시간 + 도구 실행 시간 + 재시도 시간

이 식은人工 검토, 테스트 실행, 배포 시간까지는 의도적으로 포함하지 않았다. 모델 리더보드에서 앞서더라도 추가 수정 단계가 늘어난다면 최종적으로 더 저렴하지 않을 수 있다는 뜻이다.

Flash가 더 중요한 버전일 가능성

코드 Agent의 반복 호출 구조가 Flash 버전의 핵심 가치다.

여러 파일에 걸친 리팩터링을 예로 들면, Agent는 먼저 호출 지점을 검색하고 관련 모듈을 읽은 뒤 수정 계획을 제시한다. 이후 코드를 편집하고 단위 테스트를 실행한다. 테스트가 실패하면 오류 출력을 읽어 구현 오류인지 테스트 환경 문제인지 판단하고 다시 수정한다.

이러한 단계의 난이도와 비용은 고르지 않다.规划和 수정이 가장 어렵고 더 많은 연산 자원을 투입할 가치가 있는 단계일 수 있다. 검색, 요약, 단순 패치, 오류 분류에는 같은 수준의 모델이 필요하지 않을 수 있다.

이를 이용하면 현실적인 아키텍처를 설계할 수 있다. MAI Code 2로 계획과 복잡한 수정을 처리하고, MAI Code 2 Flash로 빈도가 높고 상대적으로 기계적인 하위 작업을 처리한다. 시스템은 하나의 모델만 선택할 필요가 없으며, 작업 단계에 따라 모델을 라우팅할 수 있다.

실제 생산 환경의 관문은 라우팅의 신뢰성이다. 저렴한 모델이 한 번 잘못 판단하면 추가 테스트를 실행하고 더 많은 호출을 소비할 수 있다. 마지막에 절약한 token은 재작업에 그대로 사라질 수 있다. Flash를 평가할 때는 ‘함수 하나를 한 번에 생성하는’ 성능만 측정해서는 안 된다. 전체 Agent 경로에서 다음 항목을 기록해야 한다.

  1. 완료율
  2. 평균 호출 단계 수
  3. 실패 후 복구 횟수
  4. 작업별 token 및 비용
  5. 사용자 대기 시간

공식 시연에서 보는 첫 단계의 결과만으로는 실제 저장소에서 두 버전의 차이를 판단하기 어렵다.

모델 출시에서 엔지니어링 배포까지

코드 모델을 선택할 때 네 가지를 확인한다.

지연 시간은 전체 작업 흐름에서 측정해야 한다

모델 응답 시간은 제품 응답 시간과 같지 않다. 코드 Agent는 여전히 shell 명령 실행, 검색 인덱스 조회, 파일 읽기, 테스트 실행을 수행한다. 일부 작업은 병렬로 처리할 수 있지만, 일부는 모델이 다음 단계를 결정할 때까지 기다려야 한다.

MAI Code 2 Flash의 낮은 지연 시간이 도구 호출 반복 구조 안에서 안정적으로 나타난다면 개발 경험에 직접 영향을 준다. 사용자가 Agent가 몇 초마다 한 단계씩 진행하는지, 또는 오랫동안 피드백 없이 머무르는지를 체감하는 방식은 완전히 다르기 때문이다.

컨텍스트는 길수록 좋지 않다

긴 컨텍스트는 더 많은 저장소 내용을 담을 수 있지만 추론 시간과 비용도 늘린다. 더 중요한 것은 관련 파일을 정확히 찾고 여러 단계에 걸친 작업에서 상태를 일관되게 유지할 수 있는지다.

코드 저장소는 처음부터 끝까지 읽는 문서가 아니다. 심볼 참조, 호출 관계, 버전 차이, 테스트 실패 정보는 파일 전체보다 더 결정적인 경우가 많다.

코드 실행의 닫힌 루프가 단일 자동 완성보다 중요하다

한 번의 생성 결과가 정확하다는 사실만으로 Agent 작업이 완료되지는 않는다. 모델은 도구가 반환한 구조화 결과를 이해하고 컴파일 오류, 테스트 로그, 코드 diff를 다음 의사결정에 반영해야 한다.

이때 HumanEval 같은 짧은 문제 대신 실제 저장소를 대상으로 평가해야 한다. ‘검색—수정—테스트—수정—재테스트’ 과정을 안정적으로 수행할 수 있는지는 단일 단계 코드 정확률보다 실제 배포 결과에 더 가깝다.

API 비용은 실패율과 함께 계산해야 한다

낮은 가격을 볼 때 표시 가격만 확인해서는 안 된다. 입력 token, 출력 token, 캐시, 병렬 호출, 재시도, 모델 라우팅이 모두 최종 청구액을 바꾼다.

성공적으로 병합된 작업 하나당 비용을 기록하는 편이 유용하다.

성공 작업당 비용 = 전체 모델 비용 + 테스트·실행 리소스 비용

이 값을 사람의 수정 시간과 함께 비교해야 한다. 그래야 홍보용 숫자가 아니라 실제 business 비용을 계산할 수 있다.

편집자 생각

전용 코드 모델은 엔지니어링 비용 경쟁 단계에 들어가고 있다. 과거 개발자가 모델을 고를 때는 먼저 단일 생성 품질을 확인했다. benchmark 점수, 코드가 테스트를 통과하는지, 응답 속도가 어느 정도인지가 주요 기준이었다. 지금은 이 지표만으로 부족하다. AI Agent가 단일 모델 응답을 여러 단계의 도구 호출 흐름으로 확장하면서 실패 후 재시도와 컨텍스트 증가가 비용을 키우기 때문이다.

이번 출시가 과거와 다른 점은 Microsoft가 플래그십 모델 하나만 공개하지 않고, 성능형 Code 2와 효율형 Code 2 Flash를 함께 제공해 단위 작업당 비용과 대기 시간을 제품의 중심에 직접 놓았다는 데 있다. 제품 구성만 보면 Flash가 더 높은 점수의 모델보다 규모화 배포의 필수 조건에 더 가까울 수 있다.

다만 이 판단에는 한계가 있다. 공개 정보만으로 실제 저장소에서 두 모델의 완료율 차이를 입증할 수는 없으며, 작업 단위 비용 데이터도 충분하지 않다. 가격, 라이선스 범위, 인터페이스 제한, 장기 작업에서의 안정성이 기존 개발 도구 체인에 들어갈 수 있는지를 결정한다. 모델은 이미 비용 경쟁에 진입했지만, 최종 답은 발표회가 아니라 청구서와 실패 로그에 있다.

출처

출처: https://microsoft.ai/news/introducing-mai-code-2-and-mai-code-2-flash/