도구

GVS5H 실측, 5개 Qwen3.8-27B가 Fable 5와 동급인지 검증했다

Hacker News를 denture 5개 Qwen3.8-27B 모델이 GVS5H harness를 통해 Fable 5 수준을 달성했다는 주장이 나왔다. 이 글은 평가 조건을 먼저 감사한 뒤, 같은 환경에서 비교 결과를 재현하는 방법을 제시한다.

글자 크기

결론부터 볼 때, 모델을 당장 바꾸지는 말자

Hacker News에는 해부해 볼 만한 토론이 하나 올라와 있다. 해당 프로젝트는 99점과 댓글 26개를 기록하며 front page에 올랐다.討論의 핵심은 새 모델 공개가 아니라, 동일한 Qwen3.8-27B 모델 묶음을 GVS5H harness에 연결했을 때 Fable 5 수준으로 평가됐다는 결과다.

결론을 곧바로 “27B 모델이 더 큰 모델을 이겼다”로 정리할 필요는 없다. 이 문장에는 테스트 조건이 빠져 있기 때문이다.

어떤 모델을 어떤 크기로 사용했는지는 결과의 한 항목일 뿐이다. 더 중요한 변수는 GVS5H이다. 과제를 구성하는 방식, 도구를 연결하는 방식, 실패했을 때 재시도하는 방식, 출력을 검증하는 방식이 결정된다. Agent에서는 이런 조건이 파라미터 수보다 최종 점수에 더 직접적인 영향을 줄 수 있다.

프로젝트 코드는 GitHub에 공개되어 있다.

https://github.com/slee-persis/GVS5H

보도에서는 GVS5H를 모델의 도구 호출, 에이전트 실행 또는 관련 역량을 평가하는 GitHub 테스트 프레임워크로 소개한다. 따라서 이번 비교는 단순히 모델 이름을 나란히 놓은 테스트가 아니라, “특정 모델 규모 + Fable 5 + GVS5H 테스트 도구”가 결합된 결과다.

우선 모델을 바꾸기보다 harness부터 점검해야 한다.

GVS5H는 무엇을 측정하는가

“동급을 달성했다”는 주장이 의미 있는지 판단하려면 README의 최종 점수만 봐서는 안 된다. 최소한 세 가지를 확인해야 한다.

  1. 모든 과제가 동일한 고정 집합에서 왔는가.
  2. 각 모델에 동일한 system prompt가 전달됐는가.
  3. 도구 호출에 동일한 schema와 오류 반환 형식을 사용했는가.

Agent 평가에서는 프롬프트가 한 문장만 달라져도 모델이 도구를 안정적으로 호출하던 상태에서 자신의 행동을 반복적으로 설명하는 상태로 바뀔 수 있다. 도구 설명에서 매개변수 이름 하나를 바꾸는 것만으로 성공률이 10%p 이상 떨어질 수도 있다.

GVS5H의 가치는 모델 이름이 아니라 실행 프로토콜을 표준화하는 데 있다. 이 프레임워크는 모델의 도구 호출과 에이전트 실행 역량을 평가하는 도구로, 과제를 구성하고 모델을 호출하며 도구와 연결한 다음 실행 결과에 따라 점수를 계산한다.

재현할 때는 우선 다음 네 종류의 파일을 찾는다.

  • 과제 정의: 입력, 목표, 채점 기준
  • Prompt 템플릿: 모델별 분기가 포함돼 있는지 여부
  • Tool schema: 매개변수, 반환값, 오류 의미
  • Scorer: 최종 점수 계산 방식과 후처리의 허용 여부

그러면 각 실행의 원본 trace를 기록한다. 최소한 다음 항목은 보존해야 한다.

  • 모델의 전체 버전 또는 weight hash
  • API endpoint와 provider
  • temperature, top_p, max_tokens
  • 각 턴의 도구 호출과 반환 결과
  • 재시도 횟수와 timeout 설정
  • 최종 scorer 출력

이 정보가 없으면 리더보드는 “어떤 한 번의 실행에서 몇 점을 얻었는가”만 보여줄 뿐, 모델 자체의 역량을 설명하지 못한다.

5개 모델이 동점이라고 해서 기반 모델이 같다는 뜻은 아니다

27B급 모델 5개가 동일한 도구와 검증 절차 아래에서 비슷한 결과를 내는 이유는 무엇일까. harness가 모델 간 차이를 압축할 수 있기 때문이다.

첫 번째 층위는 과제 구조다. 많은 Agent 과제는 결국 상태를 읽고, 도구를 선택하고, 올바른 매개변수를 전달하고, 결과를 확인한 뒤 계속할지 종료할지 결정하는 과정으로 귀결된다. tool schema가 충분히 명확하면 서로 다른 기반 모델도 같은 문제 해결 경로를 선택하기 쉬워진다.

두 번째 층위는 피드백 루프다. 모델의 첫 호출이 실패하면 도구가 반환하는 오류 메시지가 온라인 prompt 역할을 한다. 누락된 매개변수, 잘못된 경로, 조건을 만족하지 못한 결과를 알려줄 수 있다. 강한 모델은 피드백을 더 잘 활용하고, 약한 모델도 그덕분에 교정될 수 있다.

세 번째 층위는 후처리다. 프레임워크가 JSON을 복구하고 도구 결과를 재정렬하며 유효하지 않은 호출을 걸러낸다면, 최종적으로 측정되는 것은 순수한 모델이 아니라 “모델 + harness + 복구 장치”의 조합이다.

따라서 5개 모델이 비슷한 점수를 얻는다고 해서 추론 역량이 동일하다는 뜻은 아니다. 고정된 프로토콜이 실행 경로의 분산을 줄여 여러 모델을 비슷한 도달점에 몰아냈을 가능성이 더 크다.

여기서 한 가지容易被 놓치는 질문도 확인해야 한다. 5개 모델이 동일한 Prompt 템플릿을 공유했는가. 특정 모델을 대상으로 한 tool routing, token 제한, 재시도 규칙이 존재했는가. 이런 조건이 있었다면 최종 점수를 모델 간 횡단 비교로 직접 해석해서는 안 된다.

Fable 5 비교를 재현하는 방법

현재 확인된 내용은 프로젝트의 주장뿐이다. 즉, 5개 Qwen3.8-27B 모델을 GVS5H harness에 연결했을 때 Fable 5 수준에 도달했다는 것이다. 이 주장을 검증하려면 리더보드 스크린샷을 더 캡처하는 것이 아니라, 동일한 조건에서 대조 실험을 해야 한다.

다음 세 그룹으로 나누는 것이 좋다.

A 그룹: harness 고정, 모델 변경

과제, Prompt, 도구 schema, scorer, 자원 제한을 그대로 두고 모델만 바꾼다. 모델 순위를 검증하는 가장 깔끔한 그룹이다.

B 그룹: 모델 고정, harness 변경

동일한 Qwen3.8-27B로 GVS5H와 다른 Agent 프레임워크를 각각 실행한다. 그래야 프로토콜이 전체 결과에了多少 기여했는지 확인할 수 있다.

C 그룹: 모델과 harness 고정, 변수 하나만 변경

temperature, 재시도 횟수, 컨텍스트 길이, 도구 설명, 동시 실행 제한을 하나씩 바꾼다. 다섯 설정을 동시에 수정하는 것보다 결과를 훨씬 쉽게 해석할 수 있다.

각 조건은 최소 3회 이상 실행하고 평균과 분산 구간을 함께 보고한다. Agent 과제에는 random성이 많아 한 번의 성공이 능력 차이로 오독될 수 있다. 저장소에 공식 실행 명령이 있다면 README에 명시된 의존성과 버전을 먼저 고정하고, 환경부터 변경하지 않는다.

git clone https://github.com/slee-persis/GVS5H.git
cd GVS5H

최종 명령은 저장소의 README를 기준으로 삼아야 한다. 구체적인 의존성과 실행 진입점은 commit에 따라 달라질 수 있으므로, 일반적인 Python Agent 프로젝트를 참고해 설치·실행 절차를 임의로 만들어서는 안 된다.

로그는 기계가 읽을 수 있는 형식으로 저장하는 편이 좋다. 예를 들어 각 턴의 이벤트를 다음처럼 기록할 수 있다.

{
  "run_id": "example-run",
  "model": "replace-with-exact-model-version",
  "task_id": "replace-with-task-id",
  "attempt": 1,
  "tool": "replace-with-tool-name",
  "arguments": {},
  "passed": false,
  "score": null,
  "error": null
}

이 형식은 로그 예시일 뿐 저장소의 공식 scorer는 아니다. 원본 호출을 추적하고 다시 계산할 수 있도록 하기 위한 형식이다. 최종 로그는 harness의 원본 trace를 변환해 생성해야 하며, 점수를 손으로 옮겨 적으면 안 된다.

리더보드 밖에서 harness가 새로운 변수로 떠오르고 있다

인기 게시글의 반응과 반대로, Agent 리더보드의 순위는 순수한 모델 역량보다 테스트 프로토콜을 더 많이 반영하고 있다.

이유는 특별할 것이 없다.

기존 LLM 평가는 단일 턴 입력과 고정된 정답을 중심으로 진행되는 경우가 많다. Agent 평가는 상태, 도구, 피드백, 재시도를 포함한다. 어떤 모델이 도구를 호출할 수 있는지는 “과제를 이해했는지”와 직접적인 관계가 없을 수 있다. interface가 명확한지, 오류 메시지로 실제 조치를 취할 수 있는지, 재시도에 비용이 없는지가 더 큰 영향을 미친다.

harness는 compiler와 runtime에 similarities하다.

동일한 모델을 서로 다른 runtime에 넣으면 지연 시간, 사용 가능한 도구, 오류 처리, 컨텍스트 trimming이 달라진다. LangGraph 방식의 명시적인 상태 그래프는 흐름을 제한할 수 있다. ReAct 방식의 loop는 모델에 더 많은 자율권을 준다. MCP 방식의 도구 연결은 호출 가능한 범위를 넓힌다. 프레임워크의 차이는 단순한 wrapper가 아니라 시스템 동작의 일부다.

따라서 앞으로 더 유용한 공개 데이터는 “모델 × 점수” 표가 아니라 다음 조합일 가능성이 크다.

model × harness × tool schema × prompt version × budget

이 차원들이 모두 갖춰져야 순위를 다른 환경으로 옮겨 적용할 수 있다.

실무적으로는 모델 선택과 harness 선택을 분리하는 것이 좋다. 모델 baseline은 “기반 모델이 추론할 수 있는가”를 답하고, harness baseline은 “이 과제를 합리적으로 실행했는가”를 답한다. 한 번의 비교에 둘을 섞으면 최종적으로 이겼더라도 Prompt를 바꿔야 할지, 모델을 바꿔야 할지, 도구 interface를 개선해야 할지 알 수 없다.

편집자의 생각

이번 결과가 중요한 이유는 “5개 Qwen3.8-27B가 실제로 Fable 5를 전반적으로 따라잡았다”기 때문이다. 그 결과가 Agent 평가의 harness 의존성이 커지고 있다는 사실을 드러냈다는 데 의미가 있다. 모델 규모, 비교 대상, 테스트 도구는 모두 필요하며 어느 하나가 바뀌어도 순위가 다시 작성될 수 있다.

앞으로 3개월 동안 “동일한 모델, 서로 다른 Agent harness”를 비교하는 실험이 더 많이 나올 것으로 예측한다. 팀이 모델을 선택할 때도 추론 엔진의 runtime을 고르듯 runtime, 도구 schema, budget을 고정하는 일이 많아질 것이다. 달라진 점은 과거 리더보드가 테스트 프로토콜의 안정성을 전제로 삼았다면, 이제 그 전제는 더 이상 유효하지 않다는 것이다.

GVS5H는 27B 모델의 Agent 평가용 후보 baseline이 될 수 있지만, 현재 정보만으로 5개 모델이 Fable 5의 원成绩을 실제로 달성했는지 확인할 수는 없다. 다음 단계는 “동급”이라는 표현을 더 확대하는 것이 아니라 코드를 감사한 뒤 고정된 버전으로 여러 차례 재현하는 것이다.

출처: https://github.com/slee-persis/GVS5H