의견

AI Agent 비용 최적화: 계산 낭비 줄이는 5가지 방법

AI Agent의 비용은 개별 API 호출이 아니라 성공한 업무 하나를 완수하는 데 필요한 총비용으로 측정해야 한다. 모델 라우팅, 캐싱, 양자화, 데이터 선별과 작업 수준 평가를 통해 계산 효율을 높이는 방법을 정리한다.

글자 크기

Dwarkesh Patel은 AI 개발의 병목을 ‘수학의 눈싸움’에 비유했다. 핵심은 모델의 크기가 아니라 훈련과 추론, Agent 업무 한 번이 얼마나 많은 유효한 결과로 이어지는가다.

AI Agent 비용 최적화: 5가지 방법

AI 개발을 향한 ‘수학의 눈싸움’

Dwarkesh Patel의 글 ‘The avalanche that hit math is coming for AI development’가 Hacker News 메인에 올라갔을 때 페이지는 44 points, 47개 댓글을 기록했다.

모델 발표도, 특정 API의 작은 버전 변경도 아니다. AI 역량이 확장될수록 더 많은 계산 자원이 필요하지만 계산投入과 역량 생산 사이의 효율은 떨어지고 있다는 추세를 다룬 글이다.

‘수학의 눈싸움’은 일종의 비유다. 수학 연구도 비슷한 압박을 받았다. 투입은 계속 늘었지만 연구人员在 높은 가치를 지닌 새로운 결과를 찾기는 어려워졌다. 논문 수는 증가해도 분야의 경계를 실제로 넓힌 발견이 같은 속도로 늘지는 않는다.

Patel은 이 논리를 AI 개발에 적용했다. 더 큰 모델을 계속 훈련하면 진전이 있을 수 있다. 하지만 추가 연산 자원이 가져오는 한계 이득이 계속 감소한다면 개발은 구조적 문제에 부딪힌다.

모델을 더 크게 만드는 것이 여전히 가치 있는가?

예산표에 바로 옮겨 적을 수 있는 훈련 비용, GPU 수, 성능 증가율은 제시되지 않았다. 그 수치를 임의로 덧붙이지는 않겠다. 이 글의 초점은 한 단계 더 나중이다. AI 제품이 계산을 여전히 효율적으로 활용하고 있는지 어떻게 판단할 것인가다.

진짜 병목은 GPU 수가 아니다

‘연산 자원이 부족하다’는 가장 쉽게 설명할 수 있지만 가장 쉽게 오판하기 쉬운 문제다.

기업이 모델 성능 부족을 보면 보통 GPU를 추가한다. 그래도 부족하면 더 큰 모델로 교체하거나 훈련 데이터와 훈련 기간을 늘린다. 역량이 선형에 가깝게 성장할 때는 맞지만, 한계 이득이 감소하는 단계에서 이 방식을 반복하면 비용과 엔지니어링 복잡도만 함께 커진다.

LLM의 계산 장부는 최소 세 층으로 나뉜다.

첫째는 사전 훈련이다. 모델이 원시 말뭉치에서 언어와 세계의 패턴을 학습하는 단계로, 막대한 token과 GPU 시간, 데이터 처리가 필요하다. 여기에는 중복되거나 품질이 낮거나 출처가 불분명하거나 이미 충분히 포함된 데이터로 인한 ‘무효 연산’이 많이 발생한다.

둘째는 추론이다. 요청마다 컨텍스트를 읽고 token을 생성한다. 모델 성능이 그대로여도 호출량, 컨텍스트 길이, 출력 길이가 비용을 밀어 올린다.

셋째는 AI Agent 배포다. Agent는 모델을 한 번만 호출하지 않는다. 작업을 분해하고 파일을 읽고 도구를 호출하고 결과를 확인한 뒤 다음 단계를 결정한다. 작업이 복잡할수록 모델 호출 회차가 많아지며, 매 회차마다 시스템 프롬프트와 과거 메시지, 도구 결과를 다시 전달할 수 있다.

따라서 추론 비용은 회차당 token 가격만으로 계산할 수 없다. 작업이 끝날 때까지 몇 번 호출했고, 얼마나 많은 컨텍스트를 전달했으며, 도구 호출이 중복되지 않았는지, 실패 후 처음부터 다시 실행했는지를 함께 봐야 한다.

더 비싼 모델로 교체한 뒤 Agent가 자동으로 더 똑��해지길 기대하는 것은 결국 비효율을 확대하는 데 그칠 수 있다.

추론 비용이 제품의 상한을 결정한다

AI Agent가 하루 10,000개의 작업을 처리한다고 하자. 각 작업은 먼저 분류한 뒤 문서 5개를 읽고, 도구를 4번 호출하고, 마지막으로 답변을 생성한다. 작업 하나가 API 요청 하나가 아니라 요청의 연속이라는 뜻이다.

매 회차마다 같은 맥락을 컨텍스트에 다시 넣으면 반복 token이 제품 마진을 잡아먹는다. 모델 리더보드에서 몇 점 앞선다는 사실도 업무당 비용이 더 낮다는 의미는 아니다.

다음 지표로 비용을 계산하는 편이 좋다.

  • 업무당 호출 횟수: 계획, 도구 호출, 재시도, 결과 검증을 모두 포함한다.
  • 입력 token 구성: 시스템 프롬프트, 동적 컨텍스트, 도구 결과가 각각 얼마나 차지하는지 확인한다.
  • 캐시 적중률: 안정적인 프롬프트와 검색 결과를 재사용할 수 있는지 측정한다.
  • 유효 완료율: 답변이 그럴듯해 보이는지가 아니라 실제 작업이 완료된 비율을 본다.
  • 실패 복구 비용: 오류 뒤 부분적으로 재시도하는지 전체 체인을 다시 시작하는지 확인한다.

모델 선택 기준도 ‘점수가 가장 높은 모델’에서 ‘총비용으로 업무를 가장 저렴하게 완수하는 모델’로 바뀌어야 한다. 저렴한 모델은 분류, 추출, 매개변수 검사에 쓰고, 고성능 모델은 여러 단계의 추론이 필요한 단계에 남긴다. 모든 요청을 하나의 플래그십 모델로 처리하는 것보다 일반적으로 통제하기 쉽다.

Claude, GPT, Gemini, Qwen 또는 오픈소스 모델 사이에서도 동일한 업무 집합으로 비교할 수 있다. 몇 개의 질의응답 예시만 시험해서는 안 된다. 최소한 성공률, 지연 시간, token 사용량, 수동 수정 시간을 기록해야 한다.

Agent에서真正하게 최적화해야 하는 것은 개별 호출의 가격이 아니라 업무 하나를 끝내는 데 필요한 계산량이다.

개발 접근법은 훈련에서 엔지니어링으로

사전 훈련이 중요하지 않다는 뜻은 아니다. 여전히 모델의 기반 역량을 결정한다. 하지만 대부분의 AI 애플리케이션 팀에게는 엔지니어링 쪽에서 조정할 여지가 더 많다.

1. 규모 확대보다 데이터를 먼저 선별한다

훈련 데이터에는 가치가 낮은 샘플이 많다. 품질이 낮거나 중복되거나 목표 작업과 무관한 데이터는 연산 자원을 소비할 뿐 아니라 훈련 신호를 희석시킬 수도 있다.

더 현실적인 방법은 데이터를 계층화하는 것이다. 고품질 핵심 집합, 업무 관련 집합, 소량의 롱테일 집합으로 나눈다. 훈련 전에 샘플 분포와 중복 제거 결과를 확인한다. 구체적인 비용 비율은 제시되지 않았으므로 선별만으로 얼마를 절약할 수 있다고 단정할 수는 없다. 하지만 무효 데이터를 덜 주는 편이 훈련이 끝난 뒤 추론 문제를論하기 전부터 실행하기는 더 쉽다.

2. 일괄 적용 대신 모델 라우팅을 사용한다

라우팅은 복잡할 필요가 없다. 먼저 작업 난이도, 시각 기능 필요 여부, 컨텍스트 길이, 지연 시간 요구사항에 따라 분류하면 된다.

from dataclasses import dataclass

@dataclass
class Route:
    name: str
    max_tokens: int
    supports_tools: bool

ROUTES = {
    "extract": Route("extract", max_tokens=800, supports_tools=False),
    "reason": Route("reason", max_tokens=2400, supports_tools=True),
}

def select_route(task: dict) -> Route:
    if task.get("type") == "extract":
        return ROUTES["extract"]
    return ROUTES["reason"]

이 코드는 라우팅만 담당한다. 실제 운영 환경에는 타임아웃, 재시도, 성능 저하 시 대체 전략도 필요하다. 하지만 방향은 분명하다. 규칙과 평가로 먼저 작업을 나눈 뒤 사용할 모델을 결정한다.

3. 안정적인 내용을 캐시한다

시스템 프롬프트, few-shot 예시, 반복해서 등장하는 문서는 캐시 후보가 될 수 있다. 동적 부분과 안정적인 부분을 분리해 설계하면 사용자가 입력만 바꿔도 긴 접두사 전체가 무효화되는 상황을 피할 수 있다.

긴 컨텍스트에서는 특히 중요하다. 20쪽짜리 문서를 매 회차마다 모델에 다시 전달하는 것은 관련 부분만 검색해 보내는 것보다 대체로 비싸다. RAG의 가치는 모델에 더 많은 지식을 제공하는 데만 있는 것이 아니라 각 요청이 실제로携带하는 정보량을 통제하는 데에도 있다.

4. 양자화는 성능 테스트를 대신할 수 없다

양자화는 GPU 메모리 사용량을 줄이고 처리량을 높일 수 있다. 하지만 업무 품질 저하를 감수할 수 있는지에 따라 도입할 가치가 결정된다.

방법은 간단하다. 실제 업무 집합을 준비해 원본 가중치와 양자화 가중치를 각각 실행한 뒤 성공률, 지연 시간, GPU 메모리를 비교한다. perplexity만 측정해서는 안 되며, benchmark 점수가 뚜렷하게 떨어지지 않았다는 이유만으로 곧바로 배포해서는 안 된다.

5. 업무 수준 평가를 구축한다

모델 평가와 Agent 평가는 서로 다르다.

모델 평가는 ‘이 문제에 얼마나 잘 답했는가’를 평가한다. Agent 평가는 ‘이 Agent가 비용과 시간 제한 안에서 업무를 완수했는가’를 평가한다. 후자는 최소한 다음 항목을 확인해야 한다.

  • 최종 업무 성공률
  • 완료된 업무당 평균 호출 횟수
  • 총 입력·출력 token
  • 도구 호출 실패율
  • 타임아웃과 재시도 횟수
  • 사람이 직접 처리하는 비율

이 수치는 업무 유형별로 나눠야 한다. 그렇지 않으면 간단한 추출 작업이 많아지고 복잡한 추론 작업이 적은 시스템의 문제가 평균값에 묻힐 수 있다.

더 중요한 것은 평가를 배포 프로세스에 연결하는 것이다. 프롬프트, 모델, 도구를 바꿀 때마다 동일한 업무 집합을 실행해야 한다. 그러지 않으면所谓한 ‘최적화’가 다른 예시에서만 더 좋아 보이는 결과로 끝나기 쉽다.

편집자 관점

‘수학의 눈싸움’이 의미하는 것은 AI의 발전이 멈출giuJl한다는 예측이 아니라, 투입과 산출을 다시 계산하라는teams,管에 대한 경고다. 모델 규모는 계속 증가하겠지만 애플리케이션 계층의 경쟁은 업무 완료 효율로 집중될 가능성이 크다. 같은 결과를 얻는 데 token 몇 개, 도구 호출 몇 회, 수동 수정 몇 번이 필요한지가 중요해진다.

다음 단계의 AI Agent 제품에서 핵심 지표는 개별 호출 가격이 아니라 ‘성공한 업무 하나당 총비용’에 가까워질 것이다. 이에 따라 모델 라우팅, 캐싱, 양자화, 평가, 실패 복구가 출시 직전에야 추가하는 요소가 아니라 인프라 계층으로 편입될 가능성이 있다.

이번 변화는 과거와 달리 경쟁의 단위가 모델 역량에서 완전한 워크플로로 이동한다는 점이다. 리더보드 점수는 여전히 중요하지만 Agent가 왜 반복해서 우회 경로를 타는지 설명해 주지는 않는다. 훈련 또는 추론 알고리즘에서 뚜렷한 도약이 나와 업무당 비용을 계속 낮출 가능성도 불확실하다. 이런无论如何이든 업무 수준 지표를 먼저 정의한 뒤 계산 방식을 선택하는 편이 여전히 안전하다.

출처: https://www.dwarkesh.com/p/rsi