거대 언어 모델

MS 새 모델 7종 공개, AI Agent 경쟁의 기준이 바뀐다

Microsoft Ignite 2026에서 MS가 새 모델 7종을 공개했다. 핵심은 모델 수의 확대가 아니라, Azure가 AI Agent의 경쟁 기준을 성능 평가에서 태스크당 비용으로 옮기고 있다는 점이다.

글자 크기

Microsoft Ignite 2026에서 MS가 새 모델 7종을 공개했다. 주목할 점은 모델 수가 아니라, Azure가 AI Agent 경쟁의 기준을 성능 평가에서 단위 태스크 비용으로 옮기고 있다는 데 있다.

MS는 Microsoft Ignite 2026에서 새 모델 7종을 출시했다. 마이크로소프트는 모델 품질과 확장 가능한 가격 대비 성능을 주요 무기로 내세웠다.

이번 출시에는 품질, 지연 시간, 가격 요구사항을 각각 충족하는 7종의 모델이 포함됐다.

수치만 보면 일례적인 모델 라인업 확장으로 해석하기 쉽다. 그러나 이를 AI Agent의 운영 환경에 놓으면, 7종이 동시에 등장했다는 사실의 의미는 단순히 ‘개발자가 선택할 수 있는 모델이 늘었다’는 데 그치지 않는다. MS는 경쟁의 단위를 ‘한 번의 답변이 얼마나 똑똑한가’에서 ‘하나의 태스크를 완수하는 데 얼마가 드는가’로 바꾸고 있다.

이번 소식은 Hacker News 메인 페이지에도 올라 143점과 댓글 91개를 기록했다. 개발자들은 댓글 투표로 더 직접적인 질문을 던졌다. 바로 모델을 저렴하고 안정적으로 운영 환경에 deploying할 수 있는가라는 문제였다.

7종의 모델, 하지만 Typical 모델 발표회

각 모델의 파라미터, 컨텍스트 길이, benchmark 점수를 하나씩 나열하면 이번 출시를 긴 제품 목록으로 정리할 수 있다. 그러나 목록은 Agent 팀에 도움이 제한적이다.

Agent의 태스크는 대개 한 번의 질문을 답하는 방식이 아니라 다음과 같은 과정으로 이루어진다.

사용자 요청 → 의도 판단 → 도구 호출 → 결과 확인 → 추가 추론 → 도구 재호출 → 답변 생성

하나의 태스크에 모델 호출이 10여 번 들어갈 수 있다. 단순한 작업이라면 2회면 충분하지만, 실패 후 재시도하거나 웹 검색, 구조화 출력 검증이 필요하면 호출 횟수는 계속 늘어난다.

따라서 한 공급업체가 7개 가격 등급을 동시에 출시한 것은 단순한 SKU 확대가 아니다. Agent workload의 가격표를 다시 나누었다고 볼 수 있다.

  • 단순 분류와 필드 추출은 저가 모델로 처리할 수 있다.
  • 코드 수정과 복잡한 계획 수립에는 더 높은 품질의 모델이 필요하다.
  • 사용자에게 노출되는 핵심 단계에는 더 낮은 지연 시간이 필요하다.
  • 오프라인 태스크는 batch processing과 더 긴 대기 시간을 허용할 수 있다.

7종 모델의 가치는 모든 모델이 기본 옵션이 될 필요는 없다는 데 있으며, routing layer에 더 세밀한 조정 수단을 제공한다.

MS가 ‘확장 가능한 가격 대비 성능’을 강조한 이유도 여기에 있다. 챗봇 제품에서는 사용자가 하나의 prompt를 제출하지만, Agent 플랫폼은 시스템이 각 단계를 서로 다른 모델에 할당할 수 있다.

다시 말해 모델 출시는 첫 단계에 지나지 않는다. 모델을 기본적인 dispatch mechanism으로 바꾸는 것이 이번 출시에서 더 주목할 부분이다.

Agent 가격은 태스크 단위로 계산해야 한다

Token 단가는 여전히 중요하지만 Agent의 최종 청구 금액을 의미하지는 않는다.

실제 운영 비용에 closer한 공식은 다음과 같이 표현할 수 있다.

단위 태스크 비용 =
  모델 호출 비용
  + 도구 호출 비용
  + 재시도 비용
  + routing 및 orchestration 비용
  + 사람의 개입 비용

Agent 태스크 하나에서 모델을 평균 8회 호출하고, 그중 2회가 도구가 잘못된 형식을 반환해 재시도한다고 가정하자. 이때 ‘다른 모델을 지원하면 20% 저렴해진다’고 해서 태스크 비용도 20% 줄어드는 것은 아니다. 새 모델이 무효 호출을 한 번 줄이거나 사람의 개입을 아예 피할 수도 있다.

반대로 단가가 더 낮은 모델이 파싱 불가능한 JSON을 더 자주 출력한다면 총비용은 오히려 높아질 수 있다. 운영 환경에서는 최소 4가지 변수를 함께 살펴야 한다.

  1. 호출 1회당 가격
  2. 태스크별 평균 호출 횟수
  3. P50 및 P95 지연 시간
  4. 실패율, 재시도율, 사람의 개입률

평가 결과는 다음과 같은 구조로 기록할 수 있다.

{
  "model": "example-model",
  "task": "support-ticket-triage",
  "success_rate": 0.93,
  "average_model_calls": 7.4,
  "p95_latency_ms": 8200,
  "cost_per_successful_task": 0.041
}

여기서 핵심 지표는 cost_per_call가 아니라 cost_per_successful_task다. 태스크가 성공해야 비로소 호출 1회당 가격을 비교할 의미가 생긴다.

이것이 Agent 평가와 일반적인 LLM benchmark의 가장 큰 차이다. 공개 테스트 세트에서 얻은 점수는 모델의 기본 능력을 보여줄 뿐이다. Agent가 운영 환경에 적합한지는 실제 도구 체계 안에서 실행해 봐야 한다.

Azure는 Agent 비용 변수를 통제한다

MS는 이 모델 그룹을 모델 API만으로推广하지 않는다. Azure 클라우드 인프라, 모델 API, 기업용 소프트웨어 유통 채널을 동시에 보유하고 있다.

이 3개 계층을 결합하면 MS는 Agent 비용의 여러环节에 영향을 미칠 수 있다.

  • Azure 인프라를 통해 서로 다른 GPU, 리전, 인스턴스를 선택한다.
  • 모델 API를 통해 품질, 지연 시간, 가격 등급을 제공한다.
  • GitHub, Microsoft 365, Copilot 등 기업용 소프트웨어 채널을 통해 모델을 유통한다.
  • 모델 routing으로 태스크를 서로 다른 모델에 할당한다.
  • 컨텍스트 캐싱으로 반복 입력을 줄인다.
  • batch processing으로 실시간이 필요 없는 태스크를 처리한다.

가장容易被 놓치는 부분은 캐싱이다. Agent는 시스템 prompt, 도구 정의, 검색 결과, 과거 상태를 반복해서 전달하는 경우가 많다. 이를 매번 다시 과금한다면 캐싱이 주는 이점은 속도 향상뿐 아니라 직접적인 비용 절감이다.

batch processing은 다른 유형의 문제를 해결한다. 대규모 문서 분류, 요약, 백그라운드 감사는 초 단위 응답을 요구하지 않는다. 업무상 지연이 허용된다면 batch processing으로 더 낮은 단위 비용을 얻을 수 있다.

독립적인 모델 업체에는 경쟁이 모델 API에서 벌어진다. 그러나 MS의 경쟁은 태스크 실행 process 전체에서 벌어진다.

이렇다고 Azure의 모든 workload가 더 저렴해지는 것은 아니다. 플랫폼이 강해질수록 control plane도 복잡해진다. 개발자는 여전히 리전 제한, 데이터 residency, 모델 버전 변경, 과금 세부 사항을 검증해야 한다.

Hacker News 143점이 말해주는 것

이번 소식은 Hacker News 메인 페이지에 올라 143점과 댓글 91개를 기록했다.

단순한 모델 순위표와 비교하면 이런 점수는 개발자의 업무 우선순위를 더 잘 보여준다. 모두가 궁금해하는 것은 ‘어떤 모델이 특정 benchmark에서 2점 더 높은가’보다 다음과 같은 질문이다.

  • Agent를 1,000번 실행하는 데 얼마가 드는가?
  • P95 지연 시간이 허용 범위인가?
  • 도구 호출 실패 후 안정적으로 복구할 수 있는가?
  • 모델 버전 업데이트로 온라인 동작이 갑자기 바뀌지는 않는가?
  • 장애가 발생했을 때 다른 모델로 전환할 수 있는가?

143점은 폭발적인 인기가 아니며, 댓글 91개도 압도적인 논의 규모는 아니다. 그러나 모델 출시 소식에서는 개발자들이 데모 영상만 공유하는 대신 운영 환경의 문제를 진지하게 논의하려 한다는 점을 보여준다.

원문과 논의는 다음 링크에서 볼 수 있다.

논의가 활발했다는 사실만으로 7종 모델이 모두 훌륭하다고 단정할 수는 없다. 다만 하나의 관찰 창을 제공한다. 개발자의 관심이 ‘모델이 무엇을 할 수 있는가’에서 ‘하나의 태스크를 안정적으로 완수할 수 있는가’로 옮겨가고 있다는 사실이다.

7종의 모델은 선택 부담을 키울 수도 있다

모델 등급이 많아질수록 routing, 평가, 운영은 복잡해진다.

7종 모델이 품질, 지연 시간, 가격 요구사항을 폭넓게 포괄하는 것은 장점이자 다른 한면에서는 새로운 prompt 차이, 도구 호출 형식, 컨텍스트 제한, regression 문제를 불러올 수 있다.

흔한 오류는 모델이 직접 모델을 선택하도록 맡기는 것이다. 유연해 보이지만 실제로 2가지 문제가 생긴다.

첫째, 선택 비용이 추론 과정 안에 숨겨진다. 저렴한 모델이 한 번 잘못 선택하면, 이후 재시도 비용이 처음부터 고품질 모델을 사용하는 것보다 비싸질 수 있다.

둘째, 시스템 동작을 재현하기 어려워진다. 같은 요청이 서로 다른 시점에 다른 모델에 할당되면 결과가 일치하지 않을 수 있다. 금융, 의료, 기업 승인 process에서는 사소한 문제가 아니다.

더 안전한 방법은 업무 태스크별로 소규모 평가를 먼저 conducted한 뒤 routing 규칙을 정하는 것이다.

태스크 유형 우선 지표 routing 방식
분류 및 추출 성공률, 단위 비용 기본 저가 모델
문서 요약 품질, 허용 가능한 지연 시간 대량 태스크는 batch processing
코드 수정 성공률, 테스트 통과율 실패 시 고품질 모델로 전환
사람의 승인 자료 안정성, 설명 가능성 고정 모델을 사용하고 로그 보존

routing을 처음부터 너무 복잡하게 만들 필요는 없다. 규칙부터 시작하자. 실제 로그에서 규칙이 병목임이 확인된 뒤에만 자동 routing을 검토하면 된다.

MS가 최종적으로 구축하려는 것은 개발자가 7종 모델을 반복해서 비교하지 않아도 되는 기본 layer일 것이다. 사용자가 태스크를 제출하면 Azure가 모델을 선택하고, 입력을 캐싱하고, batch processing을 예약하며, 필요할 때 대체 모델로 전환한다.

이 approach가 성숙한다면 7종 모델 자체는 중요하지 않다. 중요한 것은 그중 어떤 모델이든 백엔드 resource가 될 수 있다는 점이다. 모든 Agent 팀이 복잡한 가격표를 직접 관리하도록 요구하지 않아도 된다는 의미다.

편집자의 생각

이번 출시가 과거 모델 발표회와 다른 점은 모델이 더 많이 출시됐다는 데 있지 않다. MS가 Azure control plane을 활용해 Agent의 단위 태스크 비용에 직접 개입하기 시작했다는 데 있다. 모델 capability는 태스크 performance의 상한을 결정하고, routing, 캐싱, batch processing, 실패 복구는 청구 금액의 하한을 결정한다. 후반의 지표들이 기업 procurement이 실제로 확인하는 항목에 더 가깝다.

앞으로 가장 가치 있는 모델 출시가 가장 큰 파라미터의 모델에서 나오지 않을 수 있다. 오히려 가장 덜 신경 쓰이는 기본 dispatch mechanism에서 나올 가능성이 있다. 다만 이 판단에는 아직 uncertainty가 남아 있다. 7개 등급이 구성과 평가 부담을 키울지는 Azure가 충분히 성숙한 자동 routing, 버전 고정, cross-model regression 도구를 제공하는지에 달려 있다. 이 기능들이 성숙하다면 7종 모델은 백엔드 resource가 된다. 성숙하지 않다면 선택 비용을 개발자에게 떠넘기는 데 그친다.

출처

출처: https://microsoft.ai/news/microsoft-ignite-2026/