프레임워크

Intelligence Index v5 심층 분석, 기업 모델 선택의 기준

Artificial Analysis가 공개한 Intelligence Index v5는 모델별 성능과 사용 비용을 비교하는 새로운 평가 체계다.评测 기준부터 Agent 트래jectory 분석, 실제 예산에 맞는 모델 선별 절차까지 살펴본다.

글자 크기

대형 언어 모델 리더보드는 가장 쉽게 오독되기 때문이다.

이 글에서는 Intelligence Index v5의 평가 기준, 비용 계산 방식, Agent 트래jectory 평가를 분석해 기술 리더가 실제로 활용할 수 있는 모델 선택 절차를 정리한다.

Intelligence Index v5 심층 분석: 기업의 모델 선택은 점수만 보지 말아야 한다

Artificial Analysis가 최근 Intelligence Index v5를 공개했다. 새로운 모델이 아니라, 서로 다른 대형 언어 모델의 성능과 사용 비용을 비교하기 위한 평가 기준과 순위 체계의 다섯 번째 업데이트다.

이번 업데이트가 Hacker News 메인 페이지에 오르며 54점과 61개의 댓글을 얻었다. 개발자들이关注한 것은 단순히 누가 몇 위인지에 그치지 않는다. 서로 다른 모델 간에 순위를 비교할 수 있는지, 실제 팀의 모델 선택에 도움이 될지가 핵심이었다.

먼저 한 가지 제한을 명시하자. 현재 제공된 뉴스 요약에는 v5의 구체적인 모델 순위, 지표 가중치, 점수 변화가 나와 있지 않다. 확인 가능한 내용은 프레임워크가 업그레이드되었다는 사실과, 추론 품질·출력 가격·응답 속도의 세 축을 비교한다는 점이다. 정확한 가중치와 모델 순위는 원문을 다시 확인해야 한다.

v5는 새로운 성적표가 아니다

Intelligence Index v5는 단일 모델이 아니라 평가 프레임워크의 업그레이드다.

문제만 바꾸어 모델을 다시 실행한 뒤 새 리더보드를 내놓는 방식이라면, 결국 유효기간이 제한된 성적표를 얻는 것에 불과하다. 프레임워크 업그레이드는 ‘모델을 어떻게 비교할 것인가’를 다시 정의하는 작업에 더 가깝다.

예전의 모델 리더보드는 대체로 모델의 성능을 하나의 정수로 압축했다. 편리하지만 정보 손실이 크다.

어떤 모델은 추론 문제에서 높은 성능을 내면서도 빈번한 호출에는 부담스러운 가격일 수 있다. 다른 모델은 총점이 조금 낮아도 출력 속도가 빨라 고객 상담 AI Agent에 연결했을 때 오히려 안정적으로 작동할 수 있다. 리더보드가 최종 순위만 제공한다면 Procurement 팀이 별도로 데이터를 분해해 분석해야 한다.

v5는 최소한 성능과 비용을 함께 비교하는 수준으로 나아갔다. Artificial Analysis의 글 요약도 이번 버전이 서로 다른 대형 언어 모델의 성능과 사용 비용을 비교하는 데 사용된다고 명시한다.

원문 출처: Artificial Analysis의 Intelligence Index v5 기사.

HN의 54점과 61개 댓글도 하나의 방증이다. 개발자들은 리더보드에 대해 willingly 토론하며, 초점은 순위 자체가 아니라 비교 가능성이다.

총점은 Procurement 비용을 가린다

기업이 모델을 선택할 때는 최소한 세 가지 질문을 분리해야 한다.

  1. 추론 품질은 얼마나 높은가?
  2. 출력 가격은 얼마인가?
  3. 응답 속도는 충분히 빠른가?

세 항목을 하나의 총점에 합치면 순위는 간결해지지만 Procurement 결정이 반드시 쉬워지는 것은 아니다.

두 모델의 점수 차이가 몇 점밖에 없는데, 한쪽은 가격이 80% 싸고 다른 쪽은 첫 token latency가 절반 수준이라고 하자. 하루 수백만 번 호출하는 AI Agent에서는 몇 점의 성능 차이보다 이 비용 차이가 더 중요할 수 있다.

품질과 가격의 절충 관계도 고정되어 있지 않다. 호출 빈도가 높고 업무 구조가 명확하며 실패 비용이 큰 작업과 일회성 조사 업무는 서로 다른 비용 곡선이 적합할 수 있다.

점수는 낮지만 저렴한 모델이 곧 저가치 모델을 뜻하지는 않는다. 리더보드의 어려운 문제에는 부적합할 수 있어도 분류, 추출, 재작성, 라우팅처럼 반복되는 작업에는 적합할 수 있다. Agent의 메인 루프에서 발생하는 요청 대부분은 ‘지적 문제에 답하는 일’이 아니라, 불안정하지만 호출 가능한 실행 엔진으로 모델을 사용하는 일이다.

따라서 Intelligence Index v5를 볼 때 1위부터 확인하지 않는다. 먼저 세 지표가 기업 고유의 호출 구조에서 어떤 의미 갖는지 살핀다.

예를 들어 고객 상담 Agent가 하루 20만 건의 대화를 처리하며, 각 대화마다 입력 2,000 token과 출력 300 token이 필요하다고 하자. 두 모델의 리더보드 성능이 비슷하더라도 출력 단가에 호출량을 곱한 청구서 차이는 곧 분기 예산에 반영된다.

현재 뉴스 요약에 각 모델의 실제 가격이 없다면 순위만으로 누가 더 저렴한지 추측해서는 안 된다. 리더보드 프레임워크는 비교를 위한 통일된 출발점을 제공하지만, 마지막에는 공급업체 청구서와 실제 token 사용량으로 확인해야 한다.

AI Agent는 트래jectory로 평가해야 한다

이것이 v5에서 가장容易被 놓치지만 기업에는 가장 중요한 층위다.

정적 benchmark는 ‘한 번의 답변’을 측정한다. AI Agent는 목표를 이해하고, 도구를 호출하고, 결과를 읽고, 편차를 발견한 뒤 재시도할지 종료할지 결정하는 일련의 동작을 수행한다.

모델이 처음에 잘못된 도구를 선택했다고 해서 작업 전체가 즉시 실패하는 것은 아니다. 시스템은 재시도 루프에 들어갈 수 있다. 더 많은 token을 소비하고, 더 오래 기다리고, 결국 잘못된 결과를 전달한다.

리더보드 점수와 실제 작업 완료율 사이에는 여러 엔지니어링 문제가 있을 수 있다.

  • 도구 설명이 명확한가?
  • 파라미터 형식이 안정적인가?
  • 컨텍스트에 불필요한 정보가 포함되어 있지 않은가?
  • 실패 후 재시도하거나 모델을 교체하거나 사람에게 넘기는가?
  • timeout과 오류 상태를 안정적으로 포착할 수 있는가?

이 문제는 점수가 더 높은 모델로 교체한다고 자동으로 해결되지 않는다.

내가 본 대표적인 사례에서는 리더보드 1위 모델의 완료율이 82%, 2위 모델은 88%였다. 그러나 최종적으로 Production 환경에는 2위 모델을 선택했다. 1위 모델은 도구 호출 형식이 더 흔들려 파싱 실패와 사람의 개입이 더 많이 발생했기 때문이다.

실제로 측정해야 하는 것은 최종 답이 아니라 트래jectory다.

최소한 다음 네 가지 지표를 기록해야 한다.

  • 작업 완료율
  • 평균 도구 호출 횟수
  • 실패 후 재시도율
  • 성공한 작업 하나당 end-to-end 비용

그중 마지막 지표가 Procurement 측면에서 가장 가치 있다. token 소비, latency, 인프라 비용, 사람의 개입 비용을 같은 기준에 묶기 때문이다.

저렴한 모델이 작업마다 네 번 재시도해야 한다면, 단가가 세 배 비싸더라도 한 번에 성공하는 모델보다 저렴하지 않을 수 있다.

Index는 심판이 아니라 필터로 활용한다

Intelligence Index v5를 기업 모델 선택의 최종 답으로 보지 않는다. 더 적절한 위치는 후보 모델을 거르는 필터다.

첫째, 업무 작업을 기준으로 내부 데이터 세트를 만든다

공개 benchmark를 그대로 복제하지 않는다. 실제 업무에서 개인정보와 민감 정보를 제거한 뒤, 반복 실행 가능한 수백 개의 샘플을 만든다. 고객 상담 티켓, 코드 수정, 데이터 추출, 리포트 생성, 또는 LangGraph의 라우팅과 도구 호출이 사례가 될 수 있다.

각 샘플에는 명확한 검수 기준이 필요하다. 최종 텍스트만 보는 것이 아니라 중간 단계의 실패도 기록해야 한다.

둘째, v5로 후보 범위를 줄인다

품질, 속도, 예산 조건에 unmistakably 맞지 않는 모델을 먼저 제외한 뒤 소수의 후보만 남긴다. 이 단계에서는 각 팀이 선호하는 모델을 임의로 시험하는 것보다 통일된 프레임워크로 비교하는 편이 통제하기 쉽다.

셋째, 실제 부하 테스트를 실행한다

최소한 세 가지 부하를 측정해야 한다.

  • 피크 concurrency 환경의 P50, P95 latency
  • 지속적인 throughput과 token 소비량
  • 도구 호출 실패, 재시도, 작업 완료 현황

넷째, 실제 청구서 기준으로 비용을 다시 계산한다

가격은 공급업체가 제시한 단가만으로 판단하지 않는다. 내부 업무에서 실제로 발생한 입력, 출력, 캐시, 재시도 token으로 계산해야 한다. 속도 제한, 일괄 할인, 지역별 배포, 컨텍스트 캐시 정책도 포함해야 한다.

공개 평가 데이터를 공통 형식으로 입력받는 단순한 필터 스크립트는 다음과 같이 시작할 수 있다.

from dataclasses import dataclass

@dataclass
class ModelCost:
    name: str
    quality_score: float
    output_price_per_million: float
    tokens_per_second: float

def shortlist(
    models: list[ModelCost],
    min_quality: float,
    max_price: float,
    min_speed: float,
) -> list[ModelCost]:
    return [
        model
        for model in models
        if model.quality_score >= min_quality
        and model.output_price_per_million <= max_price
        and model.tokens_per_second >= min_speed
    ]

models = [
    ModelCost("model-a", 78.0, 1.50, 95.0),
    ModelCost("model-b", 81.0, 4.00, 70.0),
]

result = shortlist(
    models,
    min_quality=75.0,
    max_price=2.0,
    min_speed=80.0,
)

for model in result:
    print(model.name)

이 코드는 임계값에 따른 필터링만 수행하며 완전한 평가 체계는 아니다. 품질, 가격, 속도를 하나의 총점에 억지로 합치지 않는다는 점이 의도적이다. 기업은 먼저 제약을 설정한 뒤 소수의 후보를 내부 업무에서 시험해야 한다.

편집자 관점

Intelligence Index v5의 가장 큰 가치는 모델 순위를 다시 매긴 데만 있는 것이 아니라, Procurement 팀과 개발팀에 품질·가격·속도를 같은 언어로 논의할 수 있는 기준을 제공했다는 데 있다고 본다. 기존 리더보드와 다른 점은 단순히 새로운 문제 세트로 교체한 것이 아니라, 사용 비용을 성능 비교에 포함하기 시작한 데 있다.

다만 판단은 신중할 필요가 있다. 프레임워크가 통일될수록 기업은 그것 자체가 단순화된 결과물이라는 사실을 잊기 쉽다. v5의 가중치를 누가 정했는지, 테스트 세트가 어떤 성능 범위를 포괄하는지, 모델 버전을 언제 고정했는지에 따라 순위는 달라질 수 있다. 현재 요약에는 구체적인 가중치와 점수 변화가 없으므로, ‘어떤 모델이 앞질었다’는 결론은 원문 자료가 보완될 때까지 보류해야 한다.

AI Agent의 다음 단계는 공개 리더보드를 계속 따라가는 것만이 아니라 실패 트래jectory, 실제 latency, 청구서를 연결해 평가하는 것이다. 기업이 실제로 구매해야 하는 것은 더 높은 benchmark 점수가 아니라 더 안정적인 작업 완료율과 더 낮은 성공 작업 비용이다.

출처: https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v5