거대 언어 모델

GPT-6.2 Astra와 Sol, Agent 모델 선택 가이드

GPT-6.2 Astra와 Sol의 성능, 비용, 재시도율을 비교해 두 모델을 조합한 Agent의 최적 운영 방식을 찾는 방법을 안내한다. 실제 업무 워크플로에서 단일 모델과 동적 라우팅을 검증하는 기준도 제시한다.

글자 크기

OpenAI는 GPT-6.2 Astra와 Sol을 같은 날 공개했다. 두 모델의 Agent 활용 방법과 이를 비교하기 위한 워크플로 테스트 설계안을 정리한다.

공식 발표 페이지: https://openai.com/index/introducing-gpt-6-2-astra-sol/

관련 논의가 Hacker News 메인 페이지에 올라 128점과 댓글 32개를 받았다. 논의 페이지: https://news.ycombinator.com/item?id=50535230

두 모델이 함께 출시됐다는 사실만으로 개발자가 바로 적용할 수 있는 답을 얻을 수 있는 것은 아니다.

단순한 채팅이라면 Astra와 Sol의 답변은 최종적으로 비슷할 수 있다. AI Agent 환경에서는 차이가 역할 분담에서 드러난다. 누가 계획을 세우고, 누가 코드를 실행하며, 누가 대량 검색을 담당하고, 실패한 경우 누가 재시도할지가 달라진다. 이러한 선택은 비용, 지연 시간, 성공률에 영향을 준다.

두 모델 출시가 두 가지 답을 뜻하지는 않는다

과거에는 여러 benchmark를 실행한 뒤 가장 높은 점수를 받은 모델을 고르는 방식이 흔했다.

단순한 일대일 질의에는 이 방법이 어느 정도 유효했다. 하지만 Agent에는 충분하지 않다. Agent의 한 ‘작업’은 일반적으로 여러 번의 모델 호출로 구성된다.

  1. 목표를 분해해 단계를 생성한다.
  2. 도구를 선택하고 매개변수를 정리한다.
  3. 도구 결과를 읽고 다음 단계를 판단한다.
  4. 오류가 발생하면 재시도하거나 다른 경로를 선택한다.
  5. 결과를 집계하고 형식을 점검한다.

작업 계획에 1회, 도구 반복에 8회, 실패 재시도에 2회, 최종 검증에 1회가 필요하다면 총 12회의 모델 요청이 발생한다. 고가 모델의 호출 횟수가 늘면 청구 비용도 눈에 띄게 달라진다.

따라서 Astra와 Sol을 비교할 때는 최소한 다음 세 가지 지표를 한 표에 정리해야 한다.

지표 확인할 질문
성능 어떤 유형의 작업에서 성공률이 더 높은가?
비용 동일한 작업을 완료하는 데 필요한 token과 호출 횟수는 얼마인가?
안정성 도구 매개변수 오류율, 재시도율, 사람의 개입 횟수는 얼마인가?

benchmark 점수는 첫 번째 질문의 일부에만 답한다. Agent 시스템에서 실제로 필요한 것은 나머지 두 질문에 대한 답이다.

제품 포지션부터 확인하고 Benchmark는 그다음에

OpenAI의 제품 포지션에 따르면 GPT-6.2 Astra와 Sol은 단순한 ‘상위 모델과 하위 모델’的 관계가 아니다.

Astra는 복잡한 추론, 코드 생성, 높은 수준의 종합 판단이 필요한 작업에 적합하다. 계획 수립, 코드 리뷰, 어려운 장애 원인 진단처럼 가치가 큰 단계를 맡길 수 있다.

Sol은 대규모 실행과 높은 처리량 워크플로에 적합하다. 분류, 추출, 형식 변환, 도구 매개변수 생성, 명확한 검증 기준이 있는 하위 작업에 잘 맞는다.

공식 자료에는 표에 바로填写할 수 있는 전체 매개변수, 가격, 컨텍스트 규격이 제시되지 않았다. 공식 정보가 없는 수치는 추정하지 않는다.

모델을 선택할 때는 먼저 역할별로 나눌 수 있다.

  • Astra: 복잡한 추론, 코드 수정, 아키텍처 결정, 실패 후 재계획
  • Sol: 대량 분류, 구조화 출력, 일반 검색, 병렬 도구 호출

긴 컨텍스트도 ‘창이 클수록 반드시 좋다’는 것은 아니다. 로그, 검색 발췌 내용, 도구 출력으로 컨텍스트를 가득 채우면 모델이 핵심 근거를 다시 찾아야 한다. 입력 token이 늘어나 비용은 올라가지만 응답 속도가 반드시 빨라지는 것도 아니다.

더 실용적인 방법은 브랜드가 아니라 워크플로 단위로 모델을 나누는 것이다.

코드 수정 Agent라면 Astra가 해결책을 세우고 Sol이 기계적인 변경을 실행하도록 구성할 수 있다. 자료 검색 작업에서는 Sol이 후보 출처를 대량으로 선별한 뒤 Astra가 결과를 통합하고 검증하게 할 수 있다.

두 모델이 각각 잘하는 역할을 맡을 때 단일 모델만 사용하는 것보다 비용과 시간에서 유리한지는 테스트 데이터로 확인해야 한다.

Agent의 비용은 호출 조합에서 발생한다

많은 팀이 모델의 단일 호출 가격만 기록하고 Agent의 추가 비용은 간과한다.

실제로 계산해야 할 값은 ‘작업 하나를 성공적으로 완료하는 비용’이다.

단일 작업 비용 = 계획 token
           + 도구 반복 token
           + 재시도 token
           + 검증 token
           + 도구 및 인프라 비용

10회의 호출이 필요한 작업을 예를 들어 보자. 앞의 2회를 Astra가 처리하고 나머지 8회를 Sol이 처리한다면, 전체를 Astra로 처리할 때와 비용 구성이 완전히 달라질 수 있다.

반대로 Sol의 실패율이 더 높아 추가 재시도가 발생하면, 이론적인 단일 호출 가격 우위도 사라질 수 있다.

지연 시간 역시 핵심 경로를 기준으로 계산해야 한다. Agent는 여러 도구를 병렬로 호출하는 경우가 많지만 모델의 의사 결정에는 여전히 순서가 있다. 아래 의사 코드는 라우팅 로직을 설명한 것이며 OpenAI 공식 API의 구체적인 구현을 나타내는 것은 아니다.

from dataclasses import dataclass

@dataclass
class Route:
    task_type: str
    needs_retry: bool

def choose_model(route: Route) -> str:
    if route.needs_retry or route.task_type in {"planning", "code_review"}:
        return "gpt-6.2-astra"
    return "gpt-6.2-sol"

이 코드의 핵심은 라우팅 조건이다. 실제 구현에서는 공식 SDK를 연결하고, 점진적 전환을 지원하며, 모든 라우팅 결정을 기록해야 한다.

실패 후 재시도는 특히容易被 간과한다. 형식 오류 한 번으로 추가 두 차례의 호출이 발생할 수 있다. 잘못된 도구 매개변수 하나로 검색 주기 전체를 낭비할 수도 있다.

모델 단계를 무작정 높이기보다 도구 schema, 반환 구조, 프롬프트를 먼저 점검하는 편이 효과적이다.

실제 워크플로로 모델을 테스트한다

코드 수정, 자료 검색, 다중 도구 실행의 세 가지 동일 작업 비교 테스트를 설계한다.

1. 코드 수정

동일한 실제 저장소와 동일한 issue를 준비한다. 두 모델 모두 같은 도구와 권한만 사용하도록 제한한다.

다음 항목을 기록한다.

  • 테스트 통과율
  • 첫 수정으로 CI를 통과할 수 있는지 여부
  • issue 수신부터 패치 제출까지 걸린 시간
  • 작업 범위 밖의 파일을 수정했는지 여부
  • 사람이 개입한 횟수

Astra는 원인 진단과 패치 설계부터, Sol은 테스트 출력 일괄 처리, 이름 변경, 형식 수정부터 테스트할 수 있다. 생성된 코드 양만 비교해서는 안 된다. 패치가 커질수록 리뷰 비용도 높아진다.

2. 자료 검색

동일한 연구 문제를 제시하고, 모델이 같은 검색 및 문서 읽기 도구를 호출하도록 한다. 최대 질의 횟수를 제한해 무한 검색이 모델 간 차이를 가리지 않도록 한다.

다음 항목을 기록한다.

  • 올바른 출처를 찾은 비율
  • 인용이 결론을 뒷받침하는지 여부
  • 중복 질의 횟수
  • 출력 token
  • 사람이 인용을 수정한 횟수

이 작업에서는 Sol이 후보 출처 선별에 적합한지, Astra가 상충하는 정보를 처리하는 데 적합한지를 확인할 수 있다. 다만 이는 검증이 필요한 가설이며 출시에 관한 결론으로 볼 수는 없다.

3. 다중 도구 실행

예를 들어 달력을 읽고, CRM을 조회하고, 티켓을 생성한 뒤 알림을 보내는 작업이다. 평가 기준은 채팅 답변이 자연스러운지가 아니라 각 상태가 정확하게 반영되었는지여야 한다.

다음 항목을 기록한다.

  • 도구 호출 성공률
  • 매개변수 오류율
  • 작업 중단 후 상태를 복구하는 능력
  • 종단 간 소요 시간
  • 사람이 추가 작업을 해야 하는지 여부

테스트 표는 다음과 같이 단순하게 유지할 수 있다.

워크플로 성공률 평균 소요 시간 사람의 개입 평균 token
코드 수정 테스트 필요 테스트 필요 테스트 필요 테스트 필요
자료 검색 테스트 필요 테스트 필요 테스트 필요 테스트 필요
다중 도구 실행 테스트 필요 테스트 필요 테스트 필요 테스트 필요

그런 다음 Astra만 사용하는 전략, Sol만 사용하는 전략, 작업에 따라 동적으로 라우팅하는 전략을 각각 비교한다.

실제로 실행하기 전에는 추정 수치를 채워 넣지 않는다. 공개 benchmark도 워크플로 테스트를 대체할 수 없다. 도구 품질, 컨텍스트 구성, 재시도 전략에 따라 결과가 달라지기 때문이다.

결론은 구체적인 실행 항목으로 옮길 수 있다. 실제 작업 20개를 먼저 선정하고 도구, 권한, 검증 조건을 고정한 뒤 두 단일 모델 전략과 동적 라우팅 전략을 각각 실행한다. 채팅으로 얻은 인상이나 benchmark 순위가 아니라 ‘작업 성공당 비용’을 기준으로 비교한다.

모델 선택을 넘어 운영 전략으로

이번 출시에서 중요한 것은 OpenAI의 모델 선택지가 두 개 늘었다는 사실 자체가 아니다. Hacker News에서 128점과 댓글 32개가 나온 점은 개발자들이 가격, 성능, API 호환성을 계속 확인할이라는 수요를 보여준다.

모델의 역할이 갈리는 기준은 정적인 성능 비교가 아니라 운영 방식이 된다. 팀은 강한 모델로 계획과 예외 처리를 맡기고, 검증 기준이 명확하고 대량으로 처리할 수 있는 단계는 저렴한 모델에 배정하는 방향으로 운영할 가능성이 크다. 모델 카탈로그가 늘어날수록 Agent 설정은 단일 model 매개변수라기보다 여러 정책의 조합에 가까워진다.

Astra와 Sol이 함께 등장하면서 모델 선택은 정적 비교에서 동적 배분으로 바뀌었다. 하나의 작업에서도 여러 모델을 반복 호출하고, 앞선 결과에 따라 더 강한 모델이나 더 저렴한 모델로 전환할 수 있다.

불확실한 부분은 공식 제품 포지션이 실제 도구 체인에서 일관된 비용 우위를 созда는지에 있다. SDK 지원, 요청 제한, 가격 구조, 실패 재시도 메커니즘을 함께 살펴봐야 한다. 이런 조건이 갖춰져야 라우팅 기능이 개별 benchmark보다 Agent의 실제 수익에 더 큰 영향을 줄 수 있다. 그렇지 않으면 두 모델을 함께 운영하는 것은运维 복잡도만 높인다.

출처

https://openai.com/index/introducing-gpt-6-2-astra-sol/

출처: https://openai.com/index/introducing-gpt-6-2-astra-sol/