Strands Decider란 무엇인가
한 줄 요약: 2B 파라미터, Agent 의사결정 라우팅 전용 오픈소스 소형 모델이다.
Strands Agents 프레임워크는 처음부터 '다중 모델 협업' 구조를 채택해왔다. 메인 LLM이 생성을 담당하고, 주변의 보조 모델들이 분류·라우팅·추출을 맡는다. Strands Decider는 이 흐름에 새로 추가된 한 고리인데, 메인 LLM을 대체하는 것이 아니라 '다음에 무엇을 할지'를 판단하는 계층을 넘겨받는다.
더 직관적으로 말하면 이렇다. 사용자가 Agent에게 "다음 주 서울행 비행기 좀 잡아줘"라고 요청하면, 메인 LLM은 여전히 답변을 작성하고 도구를 호출한다. 하지만 항공료를 먼저 조회할지, 날짜부터 확인할지, 예산을 물어볼지, 실패 시 어느 단계로 롤백할지 같은 판단은 Decider에 맡긴다.
2B 파라미터로 의사결정을 맡길 수 있는 이유
먼저 직관에 반하는 사실 하나부터 짚자. 의사결정 라우팅은 본질적으로 분류+정렬 문제지, 생성 문제가 아니다.
의사결정 라우팅이 해야 할 일은 범위가 좁다. 현재 상태와 후보 행동을 받아서 최적인 다음 단계를 고르는 것. 멋진 답변을 쓰는 것도, A 대신 B를 선택한 이유를 설명하는 것도 아니다. 이건 '소설 쓰기'와는 완전히 다른 난이도의 작업이다.
Strands 팀의 판단도 여기에 기반한다. 공식 블로그에서 이 모델이 'Agent decision routing' 전용으로 학습됐으며, 데이터 역시 의도적으로 선별한 궤적이라고 명시했다.带来的好处는 세 가지다:
- 추론 비용이 낮다: 2B 모델은 단일 GPU甚至는 엣지 디바이스에서 돌아간다. 지연 시간과 단건 비용 모두 GPT-4/Claude를 플래너로 호출하는 것보다 한 자릿수 낮다
- 자체 호스팅 가능: 가중치가 오픈소스로 공개돼 있어 사내 인프라에 배포할 수 있고, 데이터가 외부로 나가지 않는다
- 데이터 유출 걱정 없음: 의사결정 궤적에는 사용자 의도나 도구 호출 컨텍스트가 자주 포함되는데, 이런 정보를 클라우드 거대 모델에 보내는 것 자체가 컴플라이언스 리스크였다
자주 간과되는 지점이 하나 더 있다. 2B 모델의 출력이 더 안정적이라는 점이다. 의사결정 라우팅은 일관성 요구가 높은 작업인데, 거대 모델은 가끔 '발휘'를 해서 동일한 상태에서 서로 다른 행동을 내놓기도 한다. 소형 모델이 오히려 더 통제하기 쉽다.
기존 방식과 비교: ReAct, Function Calling과는 무엇이 다른가
현재市面上의 Agent 의사결정 방식은 크게 세 가지다:
- 메인 LLM이 직접 계획: ReAct, Plan-and-Solve가 여기에 해당한다. 메인 모델이 답변을 생성하면서 다음 단계까지 동시에 결정한다
- 거대 모델을 router로 사용: GPT-4를 분류기로 써서 요청을 여러 전문가 모델에 분배하는 방식이다
- 소형 모델 라우팅 + 거대 모델 생성: Strands Decider가 선택한 길이다
앞의 두 방식의 공통 문제는 의사결정 비용이 메인 모델 규모에 따라간다는 점이다. Claude를 메인으로 쓰면 의사결정 비용도 Claude 비용이다. 고동시성 Agent를 돌리려면 비용이 곧바로 하늘을 뚫는다.
세 번째 방식의 핵심 아이디어는 '의사결정'과 '생성'을 분리하는 것이다. 의사결정은 소형 모델(싸고 빠르고 통제 가능), 생성은 거대 모델(비싸고 느리지만 품질 높음). 파이프라인 전체에서 '반드시 거대 모델이 필요한' 구간만 거대 모델을 호출하고, 나머지는 소형 모델이 처리한다.
이思路가 Strands가 처음은 아니다. LlamaIndex의 일부 라우팅 작업, Haystack의 classifier 등이 비슷한 방향을 시도한 바 있다. 하지만 Strands는 '의사결정 라우팅'을 독립적인 오픈소스·자체 배포 가능한 모델로 만들어낸 첫 사례다.
HN 커뮤니티 반응
Hacker News 메인 페이지에 올라왔고, 104점·20개 토론. 중상위권의 화제성을 기록했다.
대표적인 코멘트 흐름은 이렇다:
- 자체 호스팅 환영파: "드디어 직접 배포 가능한 의사결정 모델이 나왔다. 매번 사용자 의도를 OpenAI에 보낼 필요가 없어"
- 2B 사이즈 의문파: "2B로 정말 충분한가? 실제 시나리오의 의사결정 트리는 복잡한데, 소형 모델이 본 궤적이 부족하지 않나"
- 벤치마크 관심파: "GPT-4 router랑 비교한 숫자는 있나? 데이터 없으면 프로덕션에 투입하기 좀 그렇다"
- 아키텍처 관심파: "다중 모델 협업이라는 방향이 맞다. 메인 모델이 뭘 다 해먹을 게 아니지"
마지막 두 코멘트는 같은 문제를 지적한다. 현재 공개된 비교 데이터가 없다는 점이다. 이 부분은 아래에서 이어서 다룬다.
실측 데이터 공백: 프로덕션 환경 검증은 아직 없다
솔직히 말하면, 블로그에 빠진 것이 있는 것보다 훨씬 많다.
- 벤치마크 숫자가 없다 — 2B 모델이 SWE-bench, τ-bench 같은 Agent 평가에서 몇 점을 받는지?
- 지연 시간 데이터가 없다 — 의사결정 추론 한 번에 몇 ms가 걸리는지, Claude를 router로 쓸 때 대비 얼마나 절약되는지?
- 비용 비교가 없다 — 자체 호스팅 2B 모델과 API 호출을 비교했을 때 실제 TCO는 어떤지?
- '의사결정 정확률'이 없다 — 동일한 상태에서 Decider와 거대 모델 router의 선택 일치율이 얼마나 되는지?
이건 전부 프로덕션 투입 전에 반드시 확인해야 할 항목이다. Strands 팀은 지금 '모델이 존재한다'와 '아키텍처가 합리적이다'만 보여줬지, '실제로 잘 돌아간다'는 아직 증명하지 못했다.
제 제안은 이렇다. 내부 저위험 시나리오(예: 고객 FAQ 라우팅, 도구 호출 분배)에 소량 트래픽으로 먼저 써보고, 핵심 비즈니스에는 바로 투입하지 말라는 것.
편집자의 생각
이 길이 제대로 열린다면, Agent 아키텍처는 '거대 모델 혼자 다 해먹기'에서 '소형 모델 라우팅 + 거대 모델 생성' 파이프라인으로 넘어갈 것이다. 이론적으로 비용과 지연 시간을 모두 한 자릿수 줄일 수 있다. 점진적 최적화가 아니라 아키텍처 차원의 역할 재구성이다.
다만 2B 모델의 일반화 능력은 명백한 약점이다. 의사결정 라우팅이 분류 문제처럼 보이지만, 실제 환경의 '상태'는 가지각색이다 — 사용자가 도중에 마음을 바꾸거나, 도구가 잘못된 형식으로 응답하거나, 컨텍스트가 너무 길어 잘리거나. 이런 롱테일 케이스들을 2B 모델이 한 번도 보지 못하면 바로翻車한다. 지금 당장 잘 돌아갈 건 구조화된 태스크뿐이다: FAQ 라우팅, 도구 분배, 정해진 흐름의 고객 응대. 이런 시나리오에서 2B는 충분하다.
과거의 유사한 작업과 다른 점: 이전의 라우팅 소형 모델은 대부분 클로즈드 소스였고, API 호출 방식이었으며, 특정 프레임워크(예: LangChain의 일부 컴포넌트)에 종속돼 있었다. Strands Decider는 '의사결정 라우팅 모델'을 독립적인 오픈소스 가중치로, 어떤 Agent 프레임워크와도 조합 가능한 제품 형태로 만든 첫 사례다. 덕분에 '소형 모델 라우팅'이 사내 테크닉에서 재사용 가능한 인프라 레이어로 격상했다.
제 판단: 주시할 가치는 있지만, '소형 모델이 의사결정에서 거대 모델을 대체한다'까지는 아직 최소 두 버전 정도는 더 나와야 한다. 첫 버전은 '돌아간다'를 증명하고, 두 번째 버전에서 벤치마크와 툴체인을 채우며, 세 번째 버전에서야 프로덕션 진입 가능성이 보인다. Strands Decider는 지금 0.5 버전쯤이다.
확인이 안 되는 부분: 다중 턴, 복잡한 도구 체인 시나리오에서 2B 모델의 안정성은 제가 검증할 수 없고, 블로그에서도 언급이 없다. 실제 데이터를 돌려본 팀이 있다면 댓글에 한마디 부탁한다.
참고 출처: