OpenAI와 Anthropic은 일부 LLM API 가격을 최대 80% 낮췄다. 이미 서비스 중인 AI Agent라면 모델을 바로 교체하기 전에 성공한 업무 1건당 총비용을 다시 계산해야 한다.
LLM 가격 80% 인하, Agent 비용은 다시 계산해야 한다
OpenAI와 Anthropic은 몇 달 사이 일부 LLM API 가격을 최대 80% 낮췄다.
이번 가격 인하는 Hacker News 첫 화면 뉴스 《OpenAI and Anthropic cut their LLM prices by up to 80% within a few months. Why?》를 통해Attention 끌었다. HN 페이지에는 12 points와 댓글 7개가 표시됐다.
가격은 실제로 낮아졌다. 하지만 이미 운영 중인 AI Agent라면 가장 먼저 할 일은 모델을 즉시 교체하는 것이 아니라 호출 내역과 비용 구조를 다시 들여다보는 것이다.
토큰 하나의 단가가 낮아졌다고 업무 1건의 비용도 함께 낮아지는 것은 아니다. 다轮 호출, 도구 반복, 실패 후 재시도, 긴 문맥이 여전히 백그라운드에서 예산을 삼킬 수 있다.
가격은 내려갔지만 Agent의 비용 구조는 더 복잡해졌다
Agent 비용은 입력과 출력의 100만 토큰당 가격만으로 계산할 수 없다.
대표적인 처리 흐름은 다음과 같다.
- 사용자 요청을 읽는다.
- 모델을 호출해 다음 행동을 판단한다.
- 검색, 데이터베이스 또는 MCP 도구를 호출한다.
- 도구 결과를 문맥에 다시 넣는다.
- 모델이 다음 단계를 추론한다.
- 출력이 유효하지 않아 재시도한다.
- 다시 실패하면 사람에게 전달하거나 다른 모델로 전환한다.
매 라운드마다 앞선 도구 결과를 함께 전달하면 문맥이 계속 늘어난다. 사용자가 요청을 한 번 보냈다고 해서 모델 호출 횟수도 한 번인 것은 아니다.
업무 1건당 평균 8번 모델을 호출하고, 호출당 입력 12,000토큰과 출력 2,000토큰을 사용한다고 가정하자. 실제 사용량은 입력 약 96,000토큰, 출력 약 16,000토큰이다. 한 번 실패해 전체 과정을 다시 실행한다면 비용 증가폭은 12.5%를 넘을 수 있다. 재실행할 때 전체 이력을 다시 첨부한다면 증가폭은 더 커질 수도 있다.
가격 인하는 주로 세 가지 지출을 개선한다.
- 다轮 호출: 같은 업무에서도 더 많은 추론 라운드를 감당할 수 있다.
- 긴 문맥 처리: 더 긴 코드베이스, 문서, 과거 대화를 문맥에 넣을 수 있어 비용 부담이 줄어든다.
- 배치 추론: 오프라인 요약, 분류, 문서 처리 같은 업무를 저가 API에서 더 쉽게 처리할 수 있다.
하지만 빈번한 재시도, 도구 반복, 문맥 증가 문제는 그대로 남아 있다. 단가가 80% 내려가도 원래 20번 호출이 필요했던 Agent가 잘못된 라우팅이나 부실한 프롬프트 설계로 절약한 예산을 모두 소비할 수 있다.
따라서 가격 인하는 비용 모델을 무효화하지 않는다. 오히려 비용 구조를 더 선명하게 드러낸다.
80% 가격 인하의 실제 배경
minaxir.com의 글 《Cheap LLMs》은 2026년 10월 게시됐다. 글 주소는 다음과 같다.
https://minimaxir.com/2026/10/cheap-llms/
이 글은 추론 비용이 본질적으로 낮아졌다는 사실보다, 여러 요인이 겹쳐 시장을 바꾼 데 무게를 둔다. 추론 효율, 하드웨어 활용률, 모델 증류, open-weight 모델의 추격, 공급사의 보조금 정책이 함께 작용했다는 관점이다.
각 요인은 따로 살펴봐야 한다.
추론 효율은 같은 답을 생성하는 데 필요한 연산량이 감소하는 것을 뜻한다. Sparse Transformer, 개선된 KV cache 관리, speculative decoding, 구조화된 출력은 지연 시간이나 연산량을 줄일 수 있다.
하드웨어 활용률은 클라우드 사업자의 운영 문제에 가깝다. GPU 클러스터가 충분한 부하를 받는지, 서로 다른 길이의 batch로 요청을 분산했는지, 추론 서비스가 안정적으로 실행되는지가 단위 비용에 영향을 준다.
모델 증류를 통해 소형 모델이 대형 모델의 출력 분포를 학습하면 분류, 추출, 재작성처럼 범위가 제한된 업무에서 허용 가능한 정확도를 더 낮은 가격으로 얻을 수 있다. 복잡한 계획에는 적합하지 않을 수 있지만 Agent 내부의 국소 판단에는 유용하다.
open-weight 모델의 추격은 가격 압박을 넓힌다. Qwen, DeepSeek, Llama, Mistral 같은 open-weight 모델은 상용 API의 가격 프리미엄을 계속 낮춘다. 자체 호스팅에 GPU, 운영, 엔지니어링 비용이 필요하더라도 일부 트래픽을 자사 클러스터로 옮길 수 있다는 실제 선택지가 생긴다는 점은 중요하다.
공급사 보조금은 가장容易被 놓친다. API 표시 가격은 장기적으로 유지되는 가격이 아니다. 신모델 출시 초기, 개발자 점유율 확보, 기업 계약, 용량 확충 단계에서는 임시 할인이 적용될 수 있다.
따라서 ‘가격 80% 인하’를 보면 다음 네 가지를 먼저 확인한다.
- 어떤 모델과 어떤 입력·출력 가격 단계가 낮아졌는가?
- 새 가격에 조건, 사용량 제한, 캐시 기록 조건이 함께 붙어 있는가?
- 지연 시간, 처리량, 가용성도 함께 변했는가?
- 이 가격을 향후 12개월의 예산 가정에 반영할 수 있는가?
일시적인 할인을 구조적인 비용 절감으로 보는 것은 비용 모델에서 가장 흔하게 발생하는 실수다.
open-weight 모델의 추격으로 닫힌 소형 공급사가 먼저 잃는 것은 프리미엄
상용 API의 가치는 모델 성능만은 아니다. 자동 확장, 전 세계 가용성, 보안과 컴플라이언스, 도구 호출 호환성, 운영 부담의 부재도 포함된다.
하지만 open-weight 모델과 닫힌 API의 가격 차이가 줄어들면 기업은 공급자 종속을 다시 검토하게 된다. 과거 모델 마이그레이션에는 프롬프트 수정, 회귀 테스트 재수행, 도구 프로토콜 조정이 필요했다. 가격이 내려갈 때마다 이 마이그레이션 비용에 대한 심리적 장벽도 조금씩 낮아진다.
실제 운영에서는 어떤 공급사를 고르는가보다 모델 라우팅 설계가 더 중요하다.
예를 들어 Router는 먼저 저비용 모델로 의도를 분류한다. 단순한 추출 업무는 증류 모델로 처리하고, 코드 수정이 필요한 단계에서는 성능이 더 뛰어난 모델을 호출한다. 도구가 대량의 로그를 반환하면 먼저 압축한 뒤 전체 내용을 유지할지 판단한다. 실패했을 때는 모델을 바꿀 수 있지만 재시도 횟수는 제한해야 한다.
이런 점에서 상태를 관리하는 워크플로 프레임워크인 LangGraph의 가치가 커진다. 흐름 노드, 상태 영속화, 실패 시 롤백, 사람의 개입을 명시적으로 설계해야 한다. 모델만 바꿨다면 상태 머신, 도구 파라미터, 오류 분기도 그대로 유지되는 한, 장부상의 가격 인하가 업무당 비용 인하로 이어지지 않을 수 있다.
open-weight 모델이 모든 닫힌 API를 대체할 필요는 없다. 현실적인 목표는 안정적이고 표준화 가능한 트래픽의 30~60%를 이전하고, 난이도가 높은 업무는 닫힌 모델에 남긴 뒤 빠른 롤백 경로 하나를 확보하는 것이다.
Agent 운영에서 바꿔야 할 것
우선 코드를 수정하기 전에 토큰 비용 모델부터 다시 실행한다.
업무를 성공률, 평균 호출 횟수, 평균 문맥 길이, 사람의 개입률에 따라 나눈다. 최소한 다음 다섯 가지 지표를 기록해야 한다.
- 성공한 업무 1건당 모델 비용
- 성공한 업무 1건당 총 호출 횟수
- 도구 호출 성공률
- P50 및 P95 지연 시간
- 사람이 개입하는 비율
그다음 이론적인 토큰 추정치가 아니라 실제 trace를 바탕으로 다시 계산한다.
아래는 실행 가능한 Python 스크립트다. Agent trace를 읽어 성공한 업무 1건당 모델 비용을 계산하고, 비용이 가장 높은 업무 10건을 출력한다. price_in과 price_out의 단위는 달러/100만 토큰이다.
import json
from pathlib import Path
PRICE_IN = 0.25
PRICE_OUT = 1.25
records = []
for path in Path("traces").glob("*.json"):
with path.open(encoding="utf-8") as f:
trace = json.load(f)
if not trace.get("success"):
continue
input_tokens = 0
output_tokens = 0
calls = 0
for event in trace.get("events", []):
if event.get("type") != "model_call":
continue
usage = event.get("usage", {})
input_tokens += int(usage.get("input_tokens", 0))
output_tokens += int(usage.get("output_tokens", 0))
calls += 1
cost = (
input_tokens * PRICE_IN / 1_000_000
+ output_tokens * PRICE_OUT / 1_000_000
)
records.append({
"task_id": trace.get("task_id", path.stem),
"calls": calls,
"input_tokens": input_tokens,
"output_tokens": output_tokens,
"cost_usd": round(cost, 6),
})
for record in sorted(
records, key=lambda item: item["cost_usd"], reverse=True
)[:10]:
print(json.dumps(record, ensure_ascii=False))
분석을 마친 뒤 네 가지 개선을 적용한다.
첫째, 업무 난이도에 따라 동적으로 라우팅한다. 브랜드별로 고정 라우팅을 적용하지 말고 업무 특성과 평가 점수를 기준으로 모델을 선택한다.
둘째, 캐시를 도입한다. 안정적인 시스템 프롬프트, 검색 문서, 반복되는 도구 결과는 캐시한다. 시맨틱 캐시는 유사도 기준을 설정하고 적중률을 기록해 잘못된 결과를 재사용하지 않도록 한다.
셋째, 실패 재시도 횟수에 상한을 둔다. 무제한 재시도보다 2회 재시도가 비용을 통제하기 쉽다. 지수 백오프를 사용하면 일시적인 혼잡으로 인한 중복 요청을 줄일 수 있다.
넷째, 사람의 개입 절차를 준비한다. 중요한 쓰기, 결제, 삭제, 게시 같은 작업에서 Agent가 무한히 시도하도록 두지 않는다. 도구 파라미터 검증이 연속해서 두 번 실패하거나 업무 1건의 비용이 예산 상한을 넘으면 사람의 개입을 요청할 수 있다.
마지막으로 공급사 전환을 위한 인터페이스 계층을 남겨 둔다. 모델명, 파라미터, 타임아웃, 재시도 정책을 설정 파일에 두고 핵심 비즈니스 로직에는 특정 SDK를 하드코딩하지 않는다. 그렇지 않으면 가격이 내려갈 때마다 엔지니어링 코드를 다시 수정해야 한다.
진짜 경쟁 지표는 100만 토큰당 가격이 아닐 수 있다
가장 저렴한 모델이 핵심 Agent 흐름에 항상 적합한 것은 아니다.
모델 A가 호출당 80% 저렴하지만 도구 호출 성공률이 5%포인트 낮고 업무당 평균 재시도가 0.4회 늘어난다고 가정하자. 더 비싼 모델 B가 많은 업무를 한 번에 완료한다면 성공한 업무 1건당 비용은 오히려 A가 더 높을 수 있다.
Agent는 ‘총 완료 비용’을 비교해야 한다.
성공한 업무 1건당 비용 =
모델 호출 비용
+ 도구 비용
+ 재시도 비용
+ 사람의 처리 비용
+ 실패로 인한 업무 손실
지연 시간도 중요하다. 대화형 Agent의 P95가 2초에서 8초로 늘어나면 사용자가 작업을 포기할 수 있다. 배치 업무는 처리량과 단위 시간당 비용을 더 중시한다.
문맥 창이 클수록 좋은 것도 아니다. 창을 128K에서 1M으로 늘려도 청구 비용이 함께 낮아지지는 않는다. 많은 모델은 긴 입력에 더 비싼 가격 단가를 적용한다. 관련 없는 대화를 전부 넣으면 토큰을 낭비할 뿐 아니라 방해 요소도 늘어난다.
모델을 업그레이드할 때마다 다음 항목을 포함하는 소규모 회귀 테스트 세트를 유지한다.
- 파라미터 생성
- 도구 선택
- 다轮 상태 유지
- 타임아웃과 오류 복구
- 프롬프트 인젝션과 권한 초과 쓰기
가격, 지연 시간, 성공률, 업무 완료 비용을 함께 기록한다. 100만 토큰당 가격만 보고는 Agent가 어떤 모델을 사용해야 할지 결정할 수 없다.
편집자 관점
이번 가격 인하는 모델을 단순히 저렴하게 만든 사건이라기보다 Agent의 시행착오 비용을 압축한 변화에 가깝다. 다轮 추론, 재시도, 긴 문맥은 그동안 Agent의 도입 범위를 제한했다. 단가가 낮아지,企业는 더 복잡한 흐름을也更하게 됐지만无效 순환도 커질 수 있다. 단기적으로는 trace 감사, 캐시, 롤백 방식을 먼저 검토한 뒤 모델 이전 여부를 결정해야 한다. 이번 변화의 핵심은 가격이 OpenAI와 Anthropic 사이에서만 내려간 게 아니라 open-weight 모델도 프리미엄을 계속 낮추며 가격 변동이 라우팅 아키텍처까지 진입했다는 점이다. 앞으로 유리한 것은 가장 저렴한 제안을 한 모델이 아니라 업무에 따라 동적으로 모델을 선택하고 실패율, 사람의 개입, 공급사 전환까지 명확히 계산하는 시스템일 가능성이 높다. 다만 보조금 기간, 계약 가격, 실제 처리량은 여전히 불확실하므로 한 번의 판촉 가격으로 연간 예산을 다시 작성해서는 안 된다.