의견

AI Agent 모델 선택, 성공 한 건당 비용으로 판단하기

Village.dev는 폐쇄형 모델이 가격 대비 성능의 최전선에 있다고 분석했다. Agent 팀의 핵심 기준은 API 단가가 아니라 재시도, 도구 호출, 사람의 개입까지 포함한 성공 한 건당 총비용이다.

글자 크기

폐쇄형 모델이 가격 대비 성능의 최전선을 차지하고 있다. AI Agent 팀에는 순위보다 ‘성공한 태스크 한 건에 얼마가 드는가’가 더 중요한指標가 됐다.

비용 효율의 우위를 차지한 폐쇄형 모델, Agent 구매 기준은 바뀌어야 한다

폐쇄형 모델이 가격 대비 성능의 최전선을 차지하고 있다.

새 모델 출시도, 공식 benchmark도, 동료 심사 연구도 아니다. 오히려 추론 가격과 모델 능력을 한 표에 놓고 실제 태스크에서 안정적으로 결과물을 delivers할 수 있는지를 살펴보는 구매决策 지도가에 가깝다.

AI Agent 팀에겐 단가 인하가 표면에 보이는 현상일 뿐이다. 실제 마진을 결정하는 건 성공한 태스크 한 건당 비용이다.

가격 최전선은 어떻게 바뀌었나

Village.dev의 글은 폐쇄형 AI 모델이 이미 가격 대비 성능의 최전선을 차지했다는 판단을 제시한다.

비교 기준은 특정 benchmark 순위나 모델 답변이 얼마나 그럴듯하게 보이는지가 아니다. 추론 가격과 모델 능력을 함께 놓고 누가 더 유리한지를 묻는다.

원문은 기업 차원의 변화도 다룬다. 폐쇄형 모델이 왜 오픈소스 모델을 대체해 기업 AI 구매에서 비용 대비 효율적인 선택이 될 수 있는지, 그리고 그 논의가 Agent 배포 비용까지 어떻게 확장되는지를 설명한다.

이는 일반적인 모델 순위표와는 접근 방식이 다르다.

일반적인 순위표는 이런 질문에 답한다. ‘고정된 테스트셋에서 누가 더 높은 점수를 받았는가?’

구매 문제는 다르다. ‘주어진 예산과 지연 시간 조건에서 누가 더 많은 태스크를 완료했는가?’

두 질문은 관련이 있지만 같은 문제가 아니다. 어떤 모델은 단일 평가에서는 강해도 출력이 불안정하거나 재시도가 잦거나 더 긴 컨텍스트가 필요해 최종 태스크 비용은 오히려 높아질 수 있다.

따라서 가격 대비 성능의 최전선에서真正하게 볼 부분은 폐쇄형 모델이 그래프에서 얼마나 이동했는지가 아니다. 기업이 단위 경제성에 훨씬 가까운 기준으로 모델을 선택하기 시작했다는 점이다.

원문 분석은 Village.dev의 Closed AI Models Now Dominate the Price-Performance Frontier에서 볼 수 있다.

모델 단가를 태스크 비용으로 착각하지 말 것

Agent 제품에서 가장 쉽게 잘못 계산하는 비용 항목은 token 단가다.

공급업체 페이지는 보통 입력 token 100만 개와 출력 token 100만 개를 기준으로 가격을 표시한다. 이 숫자는 예산 세팅과 모델 1차 선별에 적합하지만, Agent가 최종적으로 전달하는 것은 token이 아니라 태스크 완료다.

단위 태스크 비용은 대략 다음과 같이 표현할 수 있다.

단위 태스크 비용 =
(입력 token 비용 + 출력 token 비용 + 도구 호출 비용) × 총 시도 횟수
+ 사람의 개입 비용
+ 실패와 지연으로 인한 손실

여기서 최소 세 가지 변수가 결과를 바꾼다.

첫째, 재시도다. 한 번의 성공률이 80%라면 평균 1.5번의 시도가 필요하다. 성공률이 60%로 떨어지면 평균 시도 횟수는 2번에 가까워진다. 입력이 더 길고 출력이 더 엉킨 모델은 낮은 단가에도 예산을 반복해서 소모할 수 있다.

둘째, 도구 호출이다. Agent가 데이터베이스를 조회하거나 코드를 실행하거나 브라우저를 호출하거나 파일을 생성해야 한다면, 모델 자체의 가격은 총비용의 일부일 뿐이다. 언제 멈춰야 하는지, 도구를 어떻게 써야 하는지, 실패 후 스스로 수정할 수 있는지가 태스크당 필요한 단계 수에 영향을 준다.

셋째, 컨텍스트 길이다. 긴 컨텍스트가 반드시 더 유리한 것은 아니다. 컨텍스트가 길수록 라운드별 입력 비용이 커지고, 무관한 자료를 대량으로 넣으면 핵심 정보의 적중률도 낮아질 수 있다.

넷째, 완료율이다. 여기서 말하는 완료율은 benchmark 점수가 아니라 엔드투엔드 완료율이다. 사용자가 ‘이번 주 판매 데이터를 정리해 보고서를 만들어 달라’라고 요청했을 때, 모델이 정답을 한 번 출력했더라도 첨부파일이나 형식, 예외 처리를 빠뜨렸다면 업무상으로는 실패로 볼 수 있다.

따라서 폐쇄형 모델이 ‘한 번 싸다’ Doesn’t mean ‘태스크 한 건이 싸다’는 뜻이 아니다. 반대로 오픈소스 모델도 배포가 안정적이고 캐시 적중률이 높다면 단위 태스크 비용이 더 낮을 수 있다.

오픈소스 모델은 여전히 배포할 가치가 있는가

이 문제는 오픈소스와 폐쇄형 중 하나로 일절划分하면 안 된다.

고빈도 온라인 Agent에는 폐쇄형 모델의 가격 우위가 대체로 더 직접적으로 나타난다. 개발팀은 GPU 구매, 추론 서비스의 오버Provisioning, 운영 업무를 줄일 수 있다. API의 단위 태스크 비용이 충분히 낮고 공급업체의 안정성과 데이터 약관 조건을 수용할 수 있다면, 폐쇄형 API가 더 빠르게 출시되기 쉽다.

하지만 다음과 같은 경우에는 오픈소스 모델을 여전히 배포하거나 유지할 만하다.

  • 데이터가 외부로 나가면 안 되는 경우 의료, 금융, 공공기관, 기업 내부 코드는 데이터 보관, 삭제, 접근 범위를 명확히 정해야 한다. 로컬 배포의 가치는 가격뿐 아니라 통제권에도 있다.
  • 태스크 규모가 크고 트래픽이 안정적인 경우 호출량만으로 GPU 비용을 상쇄할 수 있다면, Self-hosting의 고정비도 관리 가능한 수준이 된다.
  • 지연 시간 요구가 엄격한 경우 고정 워크로드, 짧은 컨텍스트, 빈번한 요청에는 로컬 추론이 공용망의 지연 변동을 피할 수 있다.
  • 효율적으로 캐시할 수 있는 경우 반복 질문, 고정된 검색 결과, 결정론적 prefix는 Self-hosting 모델의 한계 비용을 낮춘다.
  • 가중치 customization이 필요한 경우 특정 언어, 특정 행동, 통제된 생성을 업무에 사용한다면 오픈소스 가중치가 더 넓은 조정 공간을 제공한다.

물론 로컬 배포에도 숨은 비용이 있다. GPU, 양자화로 인한 성능 저하, 모니터링, 업그레이드, capacity planning, 장애 복구가 여기에 해당한다.

캠프를 고르는 문제가 아니라 조합 문제로 보는 편이 낫다.

  • 범용적이고 복잡하며 빈도가 낮은 태스크는 폐쇄형 API로 처리한다.
  • 빈도가 높고 안정적이며 캐시 가능한 태스크는 Self-hosting으로 처리한다.
  • 민감한 데이터는 컴플라이언스 요구사항에 따라 먼저 라우팅한다.
  • 고위험 행동에는 사람의 확인 절차를 남긴다.

이러한 아키텍처는 단일 공급업체에 집중하지 않는다. 공급업체의 가격 인상, 트래픽 제한, API 변경이 미치는 영향도 줄일 수 있다.

HN 논쟁이 드러낸 것

Village.dev의 이 글은 Hacker News에서 47 points와 34개의 댓글을 얻었다. 논의는 두 가지 질문에 집중됐다. 폐쇄형 모델의 비용 효율 우위가 실제로 존재하는가, 그리고 그 근거가 된 평가 방법이 신뢰할 만한가.

HN 페이지: item?id=50387546.

논쟁 지점은 예상 범위 안이었다.

먼저 이 글은 모델 가격과 성능 데이터를 바탕으로 한 분석이지, 새 모델 출시나 공식 benchmark, 동료 심사 연구가 아니다. 표본을 어떻게 선택했고, 태스크에 어떤 가중치를 줬으며, API 가격을 동일한 기준으로 계산했는지는 계속 검증해야 한다.

둘째 공개 평가는 보통 분포가 비교적 명확한 태스크에서 나온다. 반면 기업 Agent는 웹 조작, 데이터 정제, 코드 수정, 고객 지원 판단, 문서 생성을 섞어 처리한다. 어떤 모델이 특정 태스크에서 우위에 있다고 해서 실제 기업 트래픽에서도 우위를 가진다는 뜻은 아니다.

셋째 ‘가격 대비 성능’ 곡선은 시간에 의존한다. 오늘의 입력 가격, 출력 가격, 컨텍스트 윈도는 다음 주에 달라질 수 있다. 정적인 표를 이용해 장기 구매 결론을 바로 도출하면 위험이 크다.

HN 논쟁에서 가장 가치 있는 부분은 오픈소스와 폐쇄형 중 승자를 정하는 데 있지 않다. 평가자가 기본적인 질문에 답하도록 만든다는 데 있다. 무엇을 테스트했는가? 어떻게 테스트했는가? 실패는 어떻게 계산했는가? 프로덕션 트래픽과 테스트셋의 분포는 같은가?

이 질문들은 캠프를 외치는 구호보다 중요하다.

Agent 팀을 위한 구매 평가표

공개 순위표만 보고 모델을 고르지 않는다. 먼저 자체 태스크셋으로 엔드투엔드 평가를 한 차례 돌려야 한다.

최소한 다음 지표를 기록하는 것이 좋다.

차원기록할 내용중요한 이유
성공 태스크 비용성공적으로 완료된 태스크 한 건의 전체 비용단위 경제성에 직접 영향을 준다
P95 지연 시간트리거부터 태스크 완료까지의 긴 꼬리 지연 시간사용자 경험과 동시 처리 용량에 영향을 준다
재시도율평균 시도 횟수와 복구 성공률신뢰성과 숨겨진 모델 비용을 측정한다
도구 호출 횟수태스크 완료를 위한 호출 수와 실패한 호출 수Agent가 불필요한 순환을 하는지 판단한다
엔드투엔드 완료율업무 검수를 통과한 비율모델 점수만 보는 것을 피하게 한다
이동 가능성모델 변경 시 수정해야 하는 코드와 prompt의 양공급업체 종속 위험을 줄인다
데이터와 컴플라이언스보관, 학습 활용, 리전, 삭제 정책모델이 프로덕션에 도입될 수 있는지 결정한다

평가할 때는 동일한 태스크 묶음을 후보 모델에 무작위로 배정하고, 최대 단계 수, 도구 권한, timeout 설정을 통일한다. 실패한 결과를 조용히 제외하거나 성공 표본의 평균 token만 집계해서는 안 된다.

더 세밀하게 원인을 분석하려면, 우선 최소한의 스크립트로 호출과 재시도를 집계할 수 있다.

from dataclasses import dataclass

@dataclass
class RunStats:
    attempts: int = 0
    input_tokens: int = 0
    output_tokens: int = 0
    tool_calls: int = 0
    tool_failures: int = 0
    completed: bool = False

    def attempt(self) -> None:
        self.attempts += 1

    def usage(self, input_tokens: int, output_tokens: int) -> None:
        self.input_tokens += input_tokens
        self.output_tokens += output_tokens

    def tool_result(self, failed: bool = False) -> None:
        self.tool_calls += 1
        if failed:
            self.tool_failures += 1

    def finish(self, completed: bool) -> None:
        self.completed = completed

이 코드는 모델을 호출하지 않으며, 평가 기준이 누락되지 않도록 기록만 남긴다. 마지막으로 다음과 같이 계산한다.

successful_costs = [
    cost
    for cost, stats in results
    if stats.completed
]

avg_cost_per_success = (
    sum(successful_costs) / len(successful_costs)
    if successful_costs else float("inf")
)

더 안정적인 방법으로는 실패한 태스크도 총비용의 분모에 포함해야 한다. 그렇지 않으면 간단한 태스크만 완료하는 모델이 지나치게 싸 보이는 결과가 나올 수 있다.

편집자 관점

폐쇄형 모델이 가격 대비 성능의 최전선을 차지하는 현상은 오픈소스 모델의 기능이 갑자기 퇴보한 것보다 Agent 구매 구조가 바뀌고 있다는 신호에 가깝다. Agent 팀은 모델 간 차이를 마진으로 바로 환산한다. 호출 한 번의 비용이 몇 밀리나 싸다는 것보다, 태스크 한 건당 재시도가 두 번 덜 돌아가는 것이 더 중요하다.

이번 변화의 핵심은 평가 단위가 ‘모델 능력’에서 ‘성공적인 결과물 전달’로 옮겨갔다는 점이다. 모델 파라미터, 공개 순위표, token 가격표는 여전히 존재하지만, 구매팀은 ‘성공한 태스크 한 건에 얼마가 드는가?’, ‘실패와 재시도 비용은 누가 부담하는가?’를 더 자주 묻게 된다.

향후 주류 아키텍처가 한 공급업체에 장기간 집중할 가능성은 낮다. 폐쇄형 모델이 범용 트래픽의 대부분을 차지하더라도, 오픈소스 모델은 민감한 데이터, 고빈도 캐시, customization이 필요한 시나리오를 계속 지킬 수 있다. 다만 Village.dev의 방법만으로 폐쇄형 모델의 전면 우위를 입증했다고 결론 내리기는 이르다. 공식 benchmark와 동료 심사 연구가 없고, 공개 태스크와 기업 태스크의 분포 차이가 있을 수 있다. 신뢰할 수 있는 결론은 각 팀이 자체 데이터로 같은 검증을 반복한 뒤에야 얻을 수 있다.

출처: https://village.dev/blog/closed-ai-models-now-dominate-the-price-performance-frontier/