Amazon은 Strands Decider로 Claude Sonnet 4.6을 대체한 뒤 수백만 달러를 절감했다고 밝혔다. 눈여겨볼 부분은 모델 단가가 아니라 Agent의 의사결정 계층을 별도로 최적화했다는 사실이다.
수백만 달러는 어디서 절감됐나
Amazon에 따르면 실제 업무에서 Strands Decider를 Claude Sonnet 4.6 대신 사용한 결과 수백만 달러를 절감했다.
공개된 요약에 따르면 이번 변화에는 모델 선택뿐 아니라 모델 호출 비용, Agent 의사결정 프레임워크, 모델 routing 전략에 대한 변경도 포함됐다.
비용 절감 내역은 나누어 살펴봐야 한다.
- 모델 호출 비용 감소: 단가도가 더 낮은 모델을 사용해 입력과 출력 Token 비용이 줄었다.
- Task chain 비용 감소: 중복 추론, 무효 tool 호출, 잘못된 routing, 재시도가 감소했다.
수백만 달러는 Amazon이 제시한 실제 업무 성과다. 그러나 공개된 사례에는 전체 계산 기간, 처리량, 동시 실행 규모, 교체 전후의 항목별 비용이 모두Fdds되지는 않았다.
따라서 절감액 전부를 모델 단가의 차이로 설명할 수는 없다.
더 정확한 이해는 Strands Decider가 Agent의 의사결정 계층을 바꾸었다는 점이다. Claude Sonnet 4.6이 맡던 일부 업무는 다른 곳으로 옮겨지거나, 캐시되거나, 구조화된 의사결정을 처리하는 데 적합한 모델에 할당됐을 수 있다.
Sonnet은 생성, Decider는 의사결정
Strands Decider와 Claude Sonnet 4.6의 차이는 성능 순위가 아니라 역할 분담에 있다.
두 계층으로 이해할 수 있다.
- 생성 계층: 요구사항을 이해하고 답변을 구성하며 코드나 tool 호출 매개변수를 생성한다.
- 의사결정 계층: 다음에 무엇을 할지 판단하고, tool을 호출할지 결정하며, 어떤 경로를 선택할지 정한다.
전통적인 방식에서는 하나의 범용 모델이 모든 업무를 처리한다.
하나의 task가 8회의 추론, 3회의 tool 호출, 2회의 재시도를 거치면 고가 모델이 반복 호출될 수 있다. 일반적으로 라운드가 늘어날수록 context도 길어진다.
총 추론 비용 ≈ Σ(각 라운드 입력 Token × 입력 단가
+ 각 라운드 출력 Token × 출력 단가
+ tool 호출 및 재시도 부가 비용)
의사결정을 더 가벼우면서 출력이 짧은 모델이 담당할 수 있다면 Sonnet 4.6이 모든 단계를 계속 처리할 필요가 없다.
이는 약한 모델로 강한 모델을 대체하는 방식이 아니라 routing 의사결정을 콘텐츠 생성에서 분리하는 것이다. Sonnet 4.6은 계속 이해와 생성을 담당하고, Decider는 구조화된 판단을 처리한다.
이러한 구조는 compiler와 비슷하다.
- 중간 표현이 충분히 안정적이다.
- 단계별로 서로 다른 모델을 사용할 수 있다.
- 의사결정 결과를 기록하고 평가하며 다시 실행할 수 있다.
- 고비용 모델은 필요한 경로에서만 실행된다.
반常识: 고가 모델을 항상 호출할 필요는 없다
기업이 모델을 선택할 때 흔히 한 번의 요청에 필요한 Token 비용을 기준으로 추정한다.
estimated_cost = (
input_tokens / 1_000_000 * input_price
+ output_tokens / 1_000_000 * output_price
)
하지만 Agent의 실제 비용은 Token뿐이다. 하나의 요청이 여러 단계를 유발할 수 있다.
사용자 요청
→ 의도 판단
→ tool 선택
→ 매개변수 생성
→ tool 실행
→ 결과 파싱
→ 실패 재시도
→ 최종 답변
routing이 잘못 선택되는 순간 뒤따르는 모든 고가 호출이 헛수작이 될 수 있다.
저렴한 모델이 tool을 자주 잘못 선택하면 task chain이 길어진다. 비싼 모델이 모든 작은 판단에 계속 참여하면 Token 역시 빠르게 누적된다.
단일 생성 비용을 최적화해도 전체 task chain 비용이 반드시 낮아지는 것은 아니다.
더 실용적인 지표에는 다음 항목이 포함돼야 한다.
- 성공한 task 하나당 전체 모델 비용
- 성공한 task 하나당 tool 호출 횟수
- 무효 단계 비율
- 재시도율과 복구율
- 의사결정 결과를 안정적으로 재현할 수 있는지 여부
Agent 비용은 ‘모델 가격표’라기보다 ‘계산 예산’으로 보는 것이 더 적절하다.
기업용 Agent 비용을 네 가지로 나눠 계산하기
1. 모델 비용
입력과 출력, cache hit, tool 결과를 다시 입력하는 비용, 재시도로 발생하는 추가 Token을 모두 포함한다.
Decider가 짧은 JSON을 출력한다면 고가 모델이 구조화된 의사결정을 처리하는 횟수를 줄일 수 있다. 하지만 실제 감소 여부는 Decider의 단가보다 routing 적중률에 달려 있다.
2. 오케스트레이션 오버헤드
Agent는 상태 저장, context 구성, 이벤트 전달, tool protocol 변환, timeout 제어 등의 비용도 부담한다.
이 비용은 모델 Token 청구서에 나타나지 않더라도 latency와 유지보수 비용에 영향을 준다.
3. 재시도 메커니즘
tool 실패, 잘못된 출력, timeout은 모두 재시도를 유발할 수 있다. 재시도는 명시적인 규칙으로 통제해야 하며, 같은 context를 고가 모델에 다시 보내 운에 기대서는 안 된다.
일반적인 방법은 다음과 같다.
- 복구 가능한 오류에는 제한된 횟수만큼 재시도한다.
- 오류 유형을 고정된 복구 경로에 매핑한다.
- 의사결정 출력에 schema 검증을 적용한다.
- 반복 실패가 발생하면 task를 중단해 추가 Token 소비를 막는다.
4. 평가 체계
평균 Token 비용만 보면 기업은 잘못된 결론을 내리기 쉽다. 저렴한 모델일수록 시스템이 좋다고 판단할 수 있기 때문이다.
더 실용적인 평가는 task 결과에 따라 나눠 진행해야 하며, 최소한 다음 항목을 기록한다.
task_success_rate
tool_call_count
invalid_tool_call_rate
retry_rate
end_to_end_cost
p50 / p95 latency
그런 다음 두 구조를 비교한다.
- 모든 단계에서 Claude Sonnet 4.6을 사용한다.
- Sonnet 4.6은 생성을 담당하고 Strands Decider는 routing과 의사결정을 담당한다.
task 성공률이 비슷하면서 전체 비용이 낮을 때만 교체가 의미가 있다.
이 사례의 적용 경계
원문이 공개된 뒤 Hacker News 메인 페이지에 올라갔다. 토론은 주로 세 가지 질문에 집중됐다.
benchmark를 재현할 수 있는가
업무 사례와 공개 benchmark는 서로 다르다.
Amazon의 workload에는 내부 데이터, tool 집합, prompt, routing 규칙이 포함돼 있다. 외부에서 모의 task로 Strands Decider를 테스트해도 전체 비용 구조를 동일하게 재현할 수는 없다.
결론을 검증하려면 최종 평균 비용뿐 아니라 task 분포, 성공률, 재시도 데이터도 필요하다. 이 정보가 없으면 ‘수백만 달러 절감’은 범용적인 모델 선택 결론보다 사례 보고에 가깝다.
다른 기업으로 이전할 수 있는가
구조적 아이디어는 이전할 수 있지만 구체적인 숫자를 그대로 적용할 수는 없다.
task가 고정적이고 tool 호출이 잦으며 선택 가능한 경로가 제한적이라면 의사결정 계층을 별도로 최적화하는 데 일반적으로 가치가 있다. 반대로 task가 개방형 추론에 의존해 의사결정과 생성이 얽혀 있다면 계층 분리가 오케스트레이션 비용을 늘리고 심지어 성공률을 낮출 수도 있다.
수백만 달러라는 집계 기준은 투명한가
공개 자료만으로는 다음 사항을 확인할 수 없다.
- 절감 집계 기간이 몇 개월인지 1년인지
- 업무 규모가 어느 수준인지
- 이전, monitoring, 평가 비용이 포함됐는지
- 절감이 모델 단가, 호출 횟수, 또는 두 요인의 결합에서 왔는지
- Decider가 사용하는 모델과 infrastructure 비용이 얼마인지
이 사례가 무효라는 뜻은 아니다. 하지만 기업이 기술 결정을 내릴 때는 결론만 베끼지 말고 적용 경계까지 검토해야 한다.
편집자 생각
이번 사례에서 중요한 것은 Amazon이 더 저렴한 모델을 찾았다는 사실보다, Agent의 ‘무엇을 할지 결정하는 작업’과 ‘실제로 일을 처리하는 작업’을 두 계층으로 나눴다는 점이다. 이는 기존에 흔했던 모델 비용 절감 방식과는 다르다. distillation, quantization, cache, 작은 모델로 교체하는 방법은 주로 단일 추론 비용을 줄이지만, 이번 사례는 전체 task chain의 계산 예산을 재배치한 방식이다.
모델 routing은 기업용 Agent의 기반 구성 요소가 될 가능성이 크지만, Decider가 특정 모델에 영구적으로 묶일 필요는 없다. 오히려 평가와 교체가 가능한 의사결정 interface에 가깝다. Amazon도 향후 기반 모델을 바꾸면서 의사결정 계층과 생성 계층의 경계를 유지할 수 있다.
불확실한 부분도 분명하다. 공개 자료에는 수백만 달러 절감에 포함된 기간, task량, 이전 비용이 자세히 밝히지 않았다. 성공률, 호출 횟수, 재시도율 없이 총 절감액만 공개하면 오해를 살 수 있다. 이전할 가치가 있는 접근법은 금액을 그대로 베끼는 데 있지 않다. 먼저 task 결과 기준으로 전체 비용을 계산한 뒤, 어느 계층에 고가 모델을 사용할지 결정하는 것이다.