거대 언어 모델

Qwen4-Max 공개, Agent 모델 선택은 순위보다 비용이 중요하다

Qwen4-Max 공개와 함께 Agent 모델을 평가할 때 확인해야 할 기준을 정리한다. 성공한 작업 하나당 비용, P95 지연시간, 실패 복구 능력을 30개 과제와 5회 반복 실행으로 재현 가능한 형태로 측정한다.

글자 크기

Qwen 공식 발표 페이지에서는 제품을 Qwen4-Max로 소개한다. 주소는 qwen.ai/blog?id=qwen4-max이다.

이번 발표가 Hacker News 메인 페이지에 올라가며 483 points와 197 条评论을 기록했다. 토론 페이지: news.ycombinator.com/item?id=50513215.

화제성은 중요하지 않다.

Agent를 개발하는 팀에게 가장 중요한 것은 플래그십 모델의 벤치마크 점수보다 다음 세 가지 문제에 대한 답이다.

  • 작업 하나를 완료하려면 모델과 도구를 각각 몇 번 호출해야 하는가?
  • 도구 파라미터를 한 번 잘못 선택하면 전체 워크플로가 어긋나는가?
  • P95 지연시간과 작업당 비용을 사업 예산 안에 넣을 수 있는가?

공개 순위는 모델이 ‘무엇을 할 수 있는지’를 보여주는 데 적합하다. 그러나 프로덕션 환경에서 입증해야 하는 것은 그 모델이 실패 없이 계속 올바른 결과를 내면서, 팀이 감당할 수 있는 비용으로 작동하는지 여부다.

483 points 이후: 플래그십 모델의 인기가 Agent에 미치는 영향

개발자들이 플래그십 모델을 찾는 이유는 상당 부분 Agent의 책임 범위가 달라졌기 때문이다.

예전에는 코드 한 덩어리나 이메일 하나를 생성했다. 이제는 다음과 같은 작업을 수행할 수 있다.

  1. 사용자 요구 사항 읽기
  2. CRM과 티켓 시스템 조회하기
  3. 검색, 데이터베이스 또는 MCP 서비스 호출하기
  4. 반환된 결과에 따라 다음 행동 조정하기
  5. 실패하면 재시도하거나 다른 도구로 전환하기
  6. 즉시 실행할 수 있는 결과 출력하기

이 체인에서 모델의 추론 능력은 첫 번째 계층일 뿐이다. 컨텍스트 구성, 도구 설명, 상태 전달, 오류 복구가 결과를 함께 결정한다.

플래그십 모델은 체인의 첫 단계에 배치되는 경우가 많다. 작업을 분해하고 도구를 선택하며 예외를 처리하는 역할을 맡는다. 저렴한 소형 모델은 분류, 요약, 필드 추출처럼 국소적인 작업을 담당한다. 이는 전형적인 모델 라우팅이며, 모든 요청의 기본 모델을 바꾸는 방식은 아니다.

따라서 Qwen4-Max가 HN 메인 페이지에 올라온 뒤에는 먼저 두 가지를 확인한다.

  • 계획 단계의 재작업을 줄일 수 있는가?
  • 저렴한 모델의 불필요한 호출 횟수를 줄일 수 있는가?

두 답이 모두 ‘아니오라면’ 공개 순위가 앞서더라도 Agent의 총비용이 반드시 낮아지는 것은 아니다.

Agent 모델 선택의 새로운 변수: 작업 완료 비용

Agent 비용은 token 단가만으로 계산할 수 없다. 다음 비용을 모두 포함해야 한다.

작업당 비용 = 모든 모델 호출 비용 + 도구 호출 비용 + 재시도 비용 + 수동 개입 비용

어떤 작업에 평균적으로 LLM 호출 4회와 외부 도구 호출 2회가 필요하고, 파라미터 오류로 한 번 재시도한다고 가정하자. 입력과 출력 token 가격만 비교하면 플래그십 모델과 저가 모델 사이의 실제 격차를 과소평가하게 된다.

실패 후 재시도는 지연시간과 비용을 동시에 키운다. 모델이 처음에 잘못된 도구를 선택했다면 이후에 바로잡더라도 시스템은 한 단계를 더 거친다. 도구가 20 KB의 데이터를 반환하면 모델이 매번 컨텍스트를 다시 읽어야 하므로 token 사용량도 함께 증가한다.

긴 컨텍스트 역시 무료가 아니다. 100 KB짜리 문서를 매 호출마다 통째로 넣으면 모델이 ‘더 많이 볼 수 있지만’ 지연시간과 비용도 일반적으로 증가한다. 프로덕션 시스템에서는 먼저 검색한 뒤 압축하고, 현재 단계에 필요한 근거만 컨텍스트에 넣는 방식이 더 흔하다.

저렴한 소형 모델은 안정적이고 위험이 낮은 단계에 적합하다.

  • 의도 분류
  • JSON 필드 추출
  • 도구 반환 내용 요약
  • 고정 템플릿 생성
  • 대량 로그의 1차 필터링

플래그십 모델은 가치가 높은 단계에 남겨 두는 편이 낫다.

  • 복잡한 작업 분해
  • 도구 선택이 충돌할 때의 의사결정
  • 예외 설명과 복구
  • 여러 후보方案 중 선택

진짜 비용 효율은 ‘플래그십 모델의 token 백만 개당 가격이 얼마나 저렴한가’가 아니라 ‘후속 단계와 수동 개입을 줄일 수 있는가’로 판단해야 한다.

벤치마크 성적은 프로덕션 신뢰성과 다르다

Qwen4-Max의 공식 페이지는 모델의 능력 범위를 파악하는 첫 번째 출발점이다. 그러나 현재 공개된 자료에는 API 가격, 컨텍스트 길이, 도구 호출 테스트 결과, 구체적인 오픈 웨이트 범위가 없다. 이 수치는 공식 발표 페이지 본문을 기준으로 확인해야 하며, 2차 자료의 요약內容만으로 채워서는 안 된다.

공식적으로 SWE-bench, LiveCodeBench 또는 다른 benchmark가 발표되더라도 먼저 평가 절차를 확인해야 한다.

  • 완전한 도구 환경을 제공했는가?
  • 여러 차례의 재시도를 허용했는가?
  • 실제 네트워크와 외부 서비스를 사용했는가?
  • 시간 초과와 형식 오류를 제외했는가?
  • 한 번 성공한 것으로 계산했는가, 같은 작업을 여러 번 반복한 뒤 성공한 경우도 포함했는가?

프로덕션 신뢰성은 다음 관측 지표 집합에 더 가깝다.

지표 측정 방법
도구 선택 정확도 처음 선택한 도구가 기대한 도구와 일치하는 비율
파라미터 정확도 도구 이름이 정확하고 모든 파라미터가 schema 검증을 통과한 비율
작업 완료율 수동 수정 없이 완료 조건을 만족한 비율
예외 복구율 도구 오류가 발생한 뒤 최종적으로 작업을 완료한 비율
P95 지연시간 요청 입력부터 결과를 사용할 수 있기까지 걸린 시간의 제95백분위수
작업당 비용 성공한 작업 하나에 분산되는 전체 모델 및 도구 비용

흔한 오해는 JSON을 파싱할 수 있다는 것과 도구 호출이 성공했다는 것을 같은 것으로 보는 것이다.

파라미터 유형이 유효해도 업무 의미는 틀릴 수 있다. user_id에 고객 이름이 들어가도 형식 검증은 통과한다. 실제 테스트에는 업무 제약을 추가해야 한다. 데이터베이스 조회 후 사용자가 존재하는지, 시간 범위가 유효한지, 리소스 소유권이 올바른지 확인해야 한다.

실패 샘플에 더 관심이 많다. 어떤 입력에서 모델이 잘못된 도구를 선택했는가. 오류가 발생한 뒤 원인을 설명할 수 있는가. 중복 호출, 무한 재시도, 잘못된 작업 전환은 없었는가. 이런 질문은 한 번의 demo보다 실용적인 정보를 제공한다.

오픈 웨이트 생태계: Qwen의 차별점은 모델을 넘어서

Qwen 시리즈는 오래전부터 오픈 모델 생태계를 강조해 왔다. 개발자는 서로 다른 크기의 모델을 중심으로 로컬 또는 프라이빗 배포 환경을 구축하고, 미세 조정, 양자화, 추론 프레임워크를 통해 업무 데이터에 맞출 수 있다.

다만 여기서 두 개념을 구분해야 한다.

  1. Qwen4-Max의 API 기능: 공식 서비스를 통해 호출하는 모델의 기능
  2. 오픈 웨이트의 정확한 범위: 어떤 버전이 공개됐는지, 어떤 라이선스를 적용하는지, 특정 세대 아키텍처나 파라미터 규모가 포함됐는지

둘은 직접 연결할 수 없다.

현재 공개된 자료만으로는 Qwen4-Max의 구체적인 오픈 웨이트 범위를 확인할 수 없다. Qwen 시리즈가 오픈 생태계를 구축해 왔다는 사실만으로 플래그십 Max 버전도 같은 방식으로 공개된다고 단정할 수는 없다. 배포 방식, 라이선스 조건, 양자화 효과, 도구 호출 템플릿을 항목별로 검증해야 한다.

팀에서 오픈 웨이트가 제공하는 가치는 주로 세 가지다.

  • 데이터 통제: 민감한 로그와 내부 문서를 프라이빗 환경 밖으로 내보낼 필요가 없다.
  • 비용 통제: 안정적이고 빈도가 높은 작업은 자체 배포 모델로 이전할 수 있다.
  • 맞춤 가능성: 내부 도구 설명, 출력 형식, 업무 분류에 맞춰 미세 조정할 수 있다.

실제 배포에서는 운영 비용도 계산해야 한다. GPU 구매, 추론 프레임워크 최적화, 업그레이드와 유지보수, 용량 계획이 ‘무료인 웨이트’를 새로운 예산 항목으로 만들 수 있다.

재현 가능한 모델 선택 방법

공개 순위에서 출발하지 말고, 먼저 내부 작업 30개를 골라 기준값을 만든다.

과제는 실제 워크플로에서 가져오며, 쉬운 과제, 일반 과제, 어려운 과제를 모두 포함한다. 각 과제에 다음 요소를 준비한다.

  • 초기 입력
  • 사용 가능한 도구와 정확한 schema
  • 고정된 모의 데이터 또는 테스트 데이터
  • 명확한 성공 조건
  • 허용되는 재시도 횟수
  • 예상 도구 호출 경로

각 과제를 5번씩 반복해 총 150회 실행한다. 모델, 온도, 시스템 프롬프트, 도구 반환값은 모두 동일하게 유지한다. 어떤 실행에서 실패했더라도 사람이 정답을 수정해서는 안 된다.

다음 스크립트로 테스트 목록을 생성할 수 있다. JSONL은 Python 표준 라이브러리와 호환되는 일반적인 형식이다.

import json
import random
from pathlib import Path

TASKS = [
    {
        "id": "customer_lookup",
        "input": "查找客户 ACME-001 的工单",
        "expected_tool": "search_tickets",
        "expected_args": {"customer_id": "ACME-001"},
        "difficulty": "easy",
    },
    {
        "id": "refund_review",
        "input": "判断订单是否满足退款条件",
        "expected_tool": "get_order_policy",
        "expected_args": {"order_id": "ORD-2048"},
        "difficulty": "medium",
    },
    {
        "id": "incident_route",
        "input": "生产支付接口超时,选择处理路径",
        "expected_tool": "get_incident_runbook",
        "expected_args": {"service": "payments"},
        "difficulty": "hard",
    },
]

rows = []
for task in TASKS:
    for run in range(1, 6):
        rows.append({
            "task_id": task["id"],
            "run": run,
            "input": task["input"],
            "expected_tool": task["expected_tool"],
            "expected_args": task["expected_args"],
            "difficulty": task["difficulty"],
        })

random.Random(42).shuffle(rows)

with Path("agent_eval_cases.jsonl").open("w", encoding="utf-8") as f:
    for row in rows:
        f.write(json.dumps(row, ensure_ascii=False) + "\n")

실행 후에는 다음 다섯 그룹의 핵심 데이터를 기록한다.

model_id
task_id
run
tool_calls
tool_choice_correct
arguments_valid
arguments_semantically_correct
task_completed
retries
input_tokens
output_tokens
latency_ms
total_cost_usd
failure_reason

최종 보고서에는 최소한 다음 항목을 포함한다.

  • 도구 호출 성공률
  • 파라미터 정확도
  • 최초 작업 완료율
  • 예외 복구율
  • P95 지연시간
  • 성공한 작업 하나의 비용
  • 수동 개입률

실패 샘플에는 failed라는 문자열만 남겨서는 안 된다. 최소한 잘못된 도구 선택, 파라미터 오류, 누락된 호출, 중복 호출, 시간 초과, 환각 데이터, 복구 불가능 상태를 표시한다. 실패 유형을 묶어 분류한 뒤 모델을 바꿀지, 프롬프트를 수정할지, 도구 schema를 강화할지 결정한다.

다음과 같은 간단한 의사결정 규칙을 적용할 수 있다.

  • 소형 모델이 검증 기준을 충족하면서 비용이 뚜렷하게 낮다면: 높은 동시성 경로에 유지한다.
  • 플래그십 모델이 성공률을 높이지만 비용 증가율이 업무 마진을 넘는다면: 빈도가 낮거나 승격이 필요한 경로에 배치한다.
  • 두 모델 모두 안정적이지 않다면: 도구 인터페이스와 작업 경계를 먼저 개선한다.
  • 오류를 자동으로 복구할 수 없다면: 사람에게 확인을 남기고 모델이 무한히 재시도하지 않도록 한다.

이 방식은 ‘어떤 모델이 가장 강한가’를 묻는 것보다 실제 배포 결정에 가깝다.

편집부의 생각

Qwen4-Max가 실제로 바꿀 가능성이 높은 대상은 특정 팀의 기본 모델이 아니라 Agent의 모델 라우팅과 예산 배분이다. 플래그십 모델이 복잡한 단계에 더 능숙하고 재시도를 줄일 가능성은 있지만, 쉬운 작업까지 전부 승격하면 작업당 비용이 먼저 증가한다. 단계별로 모델을 동적으로 선택하고 예외를 더 비싼 모델에 맡기는 방식이 이번 발표에서 더 주목할 부분이다.

이는 과거의 공개 순위 경쟁과도 다르다. 공개 benchmark는 복잡한 능력을 한 번의 성공 여부로 압축하는 경우가 많지만, 실제 Agent는 여러 차례의 도구 호출, 파라미터 검증, 예외 복구를 거쳐야 한다. 483 points는 개발자들이 이 출시에 관심을 갖는다는 뜻이며, 197 条评论은 의견이 충분히 갈리는다는 의미다. 둘 다 자체적인 30개 과제와 5회 반복 실행을 대신할 수는 없다.

공식 API 가격, 지역별 이용 가능 여부, 컨텍스트 길이, 도구 호출 세부 사항, 오픈 웨이트의 정확한 범위는 아직 확인해야 할 부분이 남아 있다. 이 정보는 Qwen 공식 발표 페이지와 실제 서비스 약관을 기준으로 확인해야 한다. 확인 전 가장 타당한 대응은 즉시 이전하는 것이 아니라 재현 가능한 기준값을 만든 뒤, ‘성공한 작업 하나당 비용’을 실제로 낮추는지 살펴보는 것이다.

출처

  • https://qwen.ai/blog?id=qwen4-max
  • https://news.ycombinator.com/item?id=50513215
출처: https://qwen.ai/blog?id=qwen4-max