거대 언어 모델

마이크로소프트 Decision-1, 작고 빠른 모델에 올인:결정 특화 모델이 과소평가되고 있지 않을까

Azure AI Foundry에 올라온 마이크로소프트의 전용 결정 모델 Decision-1이 HN 1페이지에 이름을 올렸다. Agent 스택에서 오랫동안 외면받아 온 결정 모델이라는 영역이 다시 수면 위로.

글자 크기

최근 Hacker News 1페이지에 조용히 떠 있는 게시물이 하나 있었다. microsoft-decision-1-model-foundry라는 제목으로, 124 포인트, 댓글 47개. 게시자는 마이크로소프트의 Command Line 엔지니어링 블로그이고, 모델은 Azure AI Foundry에 호스팅되어 있다.

게시물 자체의 화제성은 평범하지만, 제품 포지셔닝이 흥미롭다. 이건 전용 결정 모델이다. 채팅 모델이 아니다. 마이크로소프트는 요약에서 직접 "our model for fast decision-making"이라고 못 박았다.

Agent 스택 안에서 이 영역은 한동안 방치돼 왔다. 공개된 자료를 모두 훑어보고 내 판단을 정리해 봤다.

Decision-1이 뭔데

Decision-1은 대화용이 아니다. 다루는 작업 범위가 좁다. 제한된 시간 안에, 정해진 액션 공간에서 다음에 무엇을 할지 골라내는 것.

Agent 맥락에서 보면, ReAct 루프의 "Thought → Action" 그 한 컷을 맡는다.

  • 브라우저 Agent가 이 버튼을 눌러야 할지 말지
  • 고객 지원 Agent가 다음에 어떤 API를 조회할지
  • 워크플로우 Agent가 여러 tool 중 뭘 고를지

범용 LLM과 뭐가 다른가? 속도다. "더 깊이 추론한다"는 종류의 빠름이 아니라, 문자 그대로 latency가 낮고, 1스텝 의사결정 비용이 싸다는 뜻이다.

마이크로소프트는 구체적인 파라미터와 벤치마크 수치를 공개하지 않았다(이에 대해서는 뒤에서 언급한다). Foundry에서의 포지셔닝과 네이밍(Decision-1, "1"이 붙어 있다)만 보면, 이 시리즈의 첫 제품으로 방향성 검증이 목적이지, 처음부터 SOTA를 노린 게 아니다.

참고: Command Line은 작년부터 마이크로소프트가 운영하기 시작한 엔지니어링 콘텐츠 채널이다. 기존 Azure 문서/마케팅 블로그와는 결이 좀 다르다.

왜 결정 모델을 따로 만드나

여기가 내가 흥미를 느낀 부분이다.

거대 모델이 이미 "만능"인데, 왜 굳이 결정 모델을 따로 만드는 걸까? 반직관적인 시각: 운영 환경에서 Agent의 진짜 병목은 "능력 부족"이 아니라 "속도 부족"인 경우가 많다.

예를 들어 보자. RAG Agent가 복잡한 작업을 돌리면 10~20스텝을 순환할 수 있다. 매 스텝마다 GPT-4o나 Claude 3.5 같은 범용 거대 모델로 의사결정을 하면, 그 결정 한 번의 latency만 해도 수 초, 심하면十几 초가 쌓인다. 토큰 비용도 감당하기 어렵다.

여기에 작은 결정 모델을 끼워 넣으면:

  • 1스텝 지연이 800ms에서 100~200ms로 줄어든다
  • 1스텝 비용이 수십 원에서 1원 미만으로 줄어든다
  • 20스텝 순환 기준으로, 총 지연이 15초에서 3초로 떨어지니 사용자 체감 자체가 달라진다

전용 결정 모델의 핵심 가치는 범용 LLM의 비용·지연 함정을 우회하는 것이다. 시를 쓰거나 개방형 대화를 할 필요가 없고, 주어진 action space에서 정확하고 빠르게 고르기만 하면 된다.

이건 데이터베이스의 인덱스 레이어와 비슷하다. 풀 테이블 스캔(범용 거대 모델)이 있고, 인덱스(전용 결정 모델)가 있다. 대부분의 쿼리는 인덱스만으로 충분하고, 복잡한 쿼리만 풀 테이블을 본다.

마이크로소프트 Foundry 생태계 안에서의 위치

글이 호스팅된 곳은 commandline.microsoft.com이다. 이 도메인은 마이크로소프트의 엔지니어링 블로그 채널인데, URL에 "model-foundry"가 그대로 박혀 있다는 건 모델 자체가 Azure AI Foundry 플랫폼에 묶여 있다는 뜻이다.

이는 곧 다음을 의미한다.

  1. 독립 API로 판매하는 게 아니라, Foundry 생태계의 일부다. 사용하려면 기본적으로 Azure 위에서 돌려야 한다.
  2. 마이크로소프트의 Agent 프레임워크와 깊게 통합돼 있을 가능성이 높다. 마이크로소프트가 최근 밀고 있는 Microsoft Agent Framework(AutoGen에서 진화한 그 프레임워크)의 기본 결정기 옵션 중 하나가 Decision-1일 가능성이 크다.
  3. 엔터프라이즈 시장 지향. 마이크로소프트는 Agent 솔루션을 파는 쪽이고, 핵심 고객은 enterprise다. latency, cost, compliance를 중시하는데, 이게 정확히 전용 모델의 강점이다.

마이크로소프트의 전략이 점점 선명해진다. OpenAI/Anthropic과 "최대·최강" 범용 모델로 정면 승부하는 게 아니라, 기업落地의 중간 레이어에서 차별화를 노린다. Foundry가 플랫폼, Decision-1이 전용 컴포넌트, Agent Framework가 오케스트레이션.

유사 솔루션과의 비교

가로로 놓고 보면, 비슷한 일을 하려는 카테고리가 몇 개 있다.

1. Anthropic의 "경량 모델" 노선

Anthropic의 Claude 3.5 Haiku가 이 포지션이다. 작고, 빠르고, 싸다. 하지만 Haiku도 범용 대화 모델이고, 단지 파라미터가 작은 것뿐이다. Decision-1은 태스크 전용이고, 훈련 목적 자체가 다르다.

비교 관점: Haiku로 결정 태스크를 돌리면, 컨텍스트를 이해한 뒤 결정 텍스트를 생성하는 구조다. Decision-1은 컨텍스트가 이미 구조화돼 있다고 가정하고 곧장 action을 출력한다.

2. OpenAI o 시리즈 추론 모델

o1, o3는 반대 방향이다. 더 많은 연산으로 더 깊은 추론을 한다. Decision-1은 정반대 방향, 더 적은 연산으로 더 빠른 결정.

두 노선은 충돌하지 않는다. 적용 상황이 다르다.

  • 복잡한 계획, 한 번에 내리는 결정 → o 시리즈
  • 고빈도 순환, 매 스텝마다 결정 → Decision-1

3. RL 기반 결정 소형 모델(로보틱스 / 게임)

학계에선 이미 이런 시도가 많았다. Decision Transformer, Trajectory Transformer, 각종 robotics RL policy 등. 하지만 대부분 시뮬레이션 환경 위주라 실제 Agent 스택에落地한 사례가 드물다.

Decision-1의 차별점은 운영 환경 Agent 워크플로우를 위해 설계됐다는 점이다. 게임/로봇용이 아니다. 입력은 tool/API 스키마와 현재 상태, 출력은 다음 action 호출이다. 연속 제어 신호가 아니다.

4. 오픈소스 소형 모델 노선

Qwen2.5, Llama 3.1 같은 오픈소스 소형 모델을 파인튜닝해도 괜찮은 결정 능력을 뽑을 수 있다. 하지만 엔터프라이즈 고객이 직접 파인튜닝하는 경우는 드물다. 데이터 부족, 엔지니어링 비용 때문이다. 마이크로소프트가 호스팅된, 바로 쓸 수 있는 결정 모델을 제공한다는 가치는, 소기업엔 크지 않지만, 엔터프라이즈엔 상당히 크다.

솔루션포지션강점약점
Claude 3.5 Haiku소형 범용 모델다용도, 성숙한 생태계결정 전용이 아니어서 latency 여지 있음
OpenAI o 시리즈심층 추론복잡한 결정 능력 우수느리고 비싸서 순환 호출에 부적합
오픈소스 소형 + 파인튜닝자체 결정기 구축통제 가능, 커스터마이즈 용이엔지니어링 비용, 데이터 필요
Decision-1태스크 전용빠르고 싼 엔터프라이즈 호스팅폐쇄형, 생태계 초기 단계

편집자 생각

이 사건에서 진짜 흥미로운 건, Agent 스택의 중간 레이어가 과소평가되고 있다는 점이다.

현재 업계의 시선은 양극단으로 쏠려 있다.

  • 한쪽 끝은 "더 큰 범용 모델" — GPT-5, Claude 4, Gemini 2 같은 것들
  • 반대쪽 끝은 "더 복잡한 Agent 프레임워크" — LangGraph, AutoGen, CrewAI 같은 오케스트레이션 레이어

그 사이 "결정 모델" 레이어는 거의 손이 안 갔다. 다들 범용 거대 모델이兼任한다고 가정해 버렸다.

Decision-1의 논리는 이렇다. 어떤 일은 범용 거대 모델이 맡기엔 비용이 너무 비싸다. MySQL을 Redis 대신 쓰는 일은 없듯이. 둘 다 데이터를 저장하지만, 용도가 다르고 효율 차이가 수십 배다.

내가 건 방향은 이거다. 앞으로 1~2년 안에 "전용 중간 레이어" 모델이 더 등장할 거다. 결정이 첫 사례지만, 마지막은 아닐 것이다. 예컨대:

  • 전용 Reranker 모델(RAG용)
  • 전용 Tool Selection 모델(Agent가 tool 고르는 용도)
  • 전용 Guardrail 모델(출력 컴플라이언스 체크용)

마이크로소프트가 한 수 둔 거지만, 여기까지 갈 수 있을지는 아직 모른다. 가장 큰 리스크는 범용 모델에 먹히는 것이다. GPT-6이나 Claude 5가 1스텝 결정 latency를 100ms 이하로, 가격도 전용 모델 수준으로 끌어내리면 Decision-1 같은 전용 컴포넌트의 존재 이유가 옅어진다.

또 하나 불확실한 부분: 마이크로소프트가 벤치마크 수치도, 파라미터 규모도 공개하지 않았다. 아직迭代 중일 수도 있고, 숫자가 미덜지 못했을 수도 있다. HN에서의 화제성도 보통 수준(엔지니어링 글 기준 124점은 중간)이라 커뮤니티는 관망 중이다.

하지만 어쨌든, 결정 모델을 범용 모델에서 분리해 내는이라는 방향은 옳다고 본다. Agent가 진짜로落地하려면, 한 스텝이 얼마나 똑똑한지가 아니라, 전체 루프가 얼마나 매끄러운지가 승부다.

출처: https://commandline.microsoft.com/microsoft-decision-1-model-foundry/