270억 파라미터, Apache 2.0 라이선스, 알리바바 Qwen 팀의 오픈소스——이게 Qwen 3.8 27B의 기본 스펙이다. 이 모델이 최근 공개된 게 하나 있는데, 보통 오픈소스 모델이 맡는 일이 아니다. 닫힌 클라이언트 프로토콜을 역공학한 사례다. 30분 만에 끝냈고, 작성자는 "frontier model 급"이라고 평가했다. Hacker News에서 159점과 80개 댓글이 달리며 댓글창이 달궜다.
아래에서 하나씩 풀어본다.
과제가 뭐길래 "완료"라는 평가가 나왔나
단순 데모가 아니다. 원문 작성자가 xda-developers에 올린 글에서 다룬 건 실제 역공학 시나리오다. 목표는 공개되지 않은 프로토콜을 쓰는 데스크톱 클라이언트로, 소스 없이 프로토콜 포맷, 메시지 경계, 핵심 필드를 추론해야 한다.
이런 작업의 전형적인 단계다:
- 패킷 캡처 후 요청/응답의 바이너리 스트림 관찰
- 매직 바이트, 길이 prefix, 구조 경계 식별
- 클라이언트 UI 동작과 대조해 각 필드 의미 역추론
- 전체 핸드셰이크를 재현하는 스크립트 작성
작성자는 이 흐름을 Qwen 3.8 27B에 agent loop 안에서 돌렸다. 패킷 파일을 읽고, Python 파서를 직접 쓰고, 직접 돌리고, 버그를 잡고, 다시 돌린다. 총 30분——이건 wall clock 시간이지, "토큰 생성 시간"이 아니다.
30분이라는 숫자가 핵심이다. 닫힌 frontier 모델(GPT-4o, Claude 3.5 Sonnet)이 동일 과제를 돌리면 업계 벤치마크 기준으로 수 시간에서 며칠이 걸린다. 30분 만에 작성자가 "비슷한 수준"이라고 느끼는 결과를 냈다는 건, 파라미터가 27B에 불과하다는 점에서 HN에서 논쟁이 된 이유다.
27B가 어떻게 frontier를 따라잡나: 작다고 못 한 게 아니다
27B 사이즈는 2024년 초 기준 "소비자용 GPU로 간신히 돌릴 수 있는" 경계선이다(4090 24GB에서 4-bit 양자화 필수). 그런데 Qwen 팀이 이 결과를 낸 건 파라미터를 더 쌓아서가 아니다.
가로로 비교하면:
- Llama 3.1 8B: Meta의 동급 오픈소스 플래그십. 8B 사이즈로, 긴 추론 체인에서 한계를 보인다. 도구 호출이 5단계를 넘어가면 "이전 단계 결과를 환각"하기 시작한다.
- Qwen 1세대 72B: Qwen 2.5 72B. 긴 컨텍스트와 코드 능력은 강하지만, 단일 추론 비용이 높고 4090에서는 못 돌린다.
- Qwen 3.8 27B: 파라미터가 60% 넘게 줄었지만, 긴 작업 체인에서 이전 세대 모델을 따라잡거나 능가한다.
차이가 어디서 나오냐면 두 가지다.
첫째, 훈련 데이터다. Qwen 팀은 Qwen 2.5부터 "코드 + 도구 호출 트레이스"를 사전훈련 데이터의 핵심 구성으로 넣었다. 단순히 "코드를 먹이는" 게 아니라, 실제 agent 실행 트레이스(도구 호출, 에러, 재시도, 성공)를 감독 신호로 투입한 방식이다. 이런 데이터는 "코드 말뭉치"보다 가치가 훨씬 크다.
둘째, RLHF의 정밀도다. 닫힌 frontier 모델은 이미 이 방식을 써왔다. Anthropic은 Claude 3.5 Sonnet 기술 보고서에서 "훈련 시 도구 호출 트레이스를 대량 사용"했다고 명시했다. Qwen 팀의 이번 RLHF도 전통적인 "인간이 선호 쌍을 라벨링" 방식이 아니라 같은 길을 탔다.
결과: 27B 모델이 agent loop에서 10턴 이상을 안정적으로 굴러간다. 이건 과거 오픈소스 모델의 보편적인 약점이었다.
닫힌 frontier 모델과의 격차: 정확히 어디가 다른가
"비슷한 수준"이라는 표현은 분해해서 봐야 한다.
작성자는 "30분 만에 끝냈다"고 했지만 "한 번에 통과했다"고는 말하지 않았다. 내 추측으로는 모델이 agent loop 안에서 계속 시도하다가 30분이 누적된 wall clock일 가능성이 높다. GPT-4o나 Claude 3.5 Sonnet에 동일한 도구 세트와 시간 예산을 주면 20분에 끝낼 수도, 40분이 걸릴 수도 있다——이게 "비슷한 수준"의 정확한 의미다.
차이는 주로 세 곳에서 나타난다.
다중 도구 호출의 안정성. 오픈소스 모델은 10턴 이후에 오류율이 눈에 띄게 오른다. 닫힌 frontier 모델은 훈련 과정에서 더 많은 트레이스를 봐서 "이전 결과를 환각하는" 확률이 훨씬 낮다.
긴 컨텍스트 기억력. 역공학 후반부에서 모델은 앞에서 캡처한 모든 패턴을 참조해야 한다. Qwen 27B는 32K 이후로 정확도가 떨어지기 시작하고, Claude 3.5 Sonnet의 200K 컨텍스트는 훨씬 안정적이다.
복잡한 지시의 미묘한 이해. 예를 들어 작성자가 "가설을 먼저 검증하고 코드를 작성하라"고 요구하면, 오픈소스 모델은 검증을 건너뛰고 바로 손대기 쉽다. 닫힌 모델은 단계를 엄격히 따르는 경향이 더 강하다.
그래서 "할 수 있느냐"는 따라잡았지만, "얼마나 안정적으로 하느냐"는 아직 한 단계 아래다. 이번 사례는 "지속적 추격"이 아니라 "과제 단위 추격"에 가깝다.
HN 댓글창에서 뭐가 싸우나
HN 게시물은 159점과 80개 댓글. 공감 많이 받은 흐름은 이렇다.
과제 난이도를 의심하는 목소리. "평문 프로토콜 역공학은 진짜 역공학이 아니다"라는 반응이 있었다. 작성자가 사용한 프로토콜은 포맷이 비교적 정돈돼 있고 매직 바이트가 명확하다. TLS 암호화, 난독화, 양방향 인증이 있었다면 27B로는 불가능하다.
닫힌 모델로 재실행해 비교하는 경우. Claude 3.5 Sonnet으로 같은 과제를 돌렸다는 스크린샷을 올린 사람이 있었고, 12분 만에 끝냈다고 주장한다(전체 prompt와 도구 설정이 공개되지 않아 신뢰도는 미지수).
4090 추론 비용 계산. vLLM + AWQ 4-bit 양자화로 계산해보면, 27B를 4090에서 돌리면 초당 약 35 토큰. 30분이면 전기료 0.5 달러도 안 든다. 같은 과제를 GPT-4o API로 돌리면 최소 5달러부터다.
"30분"이라는 수치의 기준을 의심. 소수 의견은 30분이 prompt를 사람이 이터레이션한 시간까지 포함된 것일 수 있다고 지적했다. 작성자가 원문에서 기준을 명확히 하지 않았다.
가장激烈하게 싸운 건 첫 번째——과제의 실제 난이도다. "어렵다"는 상대적인 개념이라 답이 나올 수 없는 논쟁이다. 하지만 이 논쟁 자체가 보여주는 게 있다. 오픈소스 모델이 실제 과제에서의 가용성이 충분히 높아진 나머지, 모델 능력이 아니라 과제 난이도를 까다롭게 따지는 단계에 들어섰다는 점이다. 이건话语权의 이동이다.
편집자의 생각
오픈소스 모델이 닫힌 frontier를 "과제 단위로" 따라잡은 현상은 이미 일어났다——이번 Qwen 27B 30분 역공학 사례는 단독 이벤트가 아니다. 최근 6개월간 DeepSeek V3, Mistral Large 2도 각자 다른 수직 과제에서 비슷한 답을 제출했다. 다만 "지속적으로 따라잡는" 상태는 아직 멀다. 안정성, 긴 컨텍스트, 복잡한 지시 처리에서 닫힌 모델이 여전히 한 발 앞서 있다.
이번 사건의 진짜 시그널은 이거다. 선택 기준이 "파라미터가 큰 모델"에서 "특정 수직 과제에서 검증된 모델"로 이동했다. 27B가 70B를 못 이긴다는 건 상식이다. 하지만 27B가 역공학에서 30분 만에 닫힌 모델이 몇 시간 걸린 작업을 끝냈다는 건, 선택 단계에서의 "사이즈 숭배"가 끝나야 한다는 뜻이다.
반(反)합의를 하나 던지면. 오픈소스 모델로 충분할 때, 닫힌 frontier의 해자는 더 이상 "할 수 있느냐"가 아니라 "싸게 할 수 있느냐"다. Anthropic, OpenAI의 진짜 방어선은 모델 능력이 아니라 엔터프라이즈 SLA, 데이터 프라이버시, 감사 로그, 컴플라이언스 같은 "비(non)-모델" 요소다. 이건 다른 전쟁이다.
불확실한 부분: 30분이라는 숫자의 측정 기준. 원문에는 순수 추론 시간인지 사람이 개입한 시간인지 명시가 없다. 후자라면 Qwen 27B 실제 능력 "수위"를 한 단계 더 깎아야 한다. HN에서 본 Claude 3.5 Sonnet 12분 비교도 검증 불가. 이 글을 "오픈소스 모델 가용성이 임계점에 도달했다"는 시그널로 읽되, "27B가 frontier를 전반적으로 추월했다"는 결론으로 받아들이지는 않길 권한다.