의견

Hugging Face가 본 2026년 중간 평가, 공개 모델은 어디까지 왔나

Hugging Face가 공개模型的夏の현황을 돌아보며 올린 관찰은 15점을 받아 Hacker News 홈에 올랐지만 댓글은 1개에 그쳤다. 공개 모델과 폐쇄형 최전선 모델의 격차, 중국계 모델의 부상, Agent tool use에서 드러난 생태계 한계를 짚었다.

글자 크기

Hugging Face가 며칠 전 State of Open Models: Summer 2026 Observations를 공개했다. 필자는 글 전체를 읽었다.

이 글은 15점을 받아 Hacker News 홈에 올랐지만 댓글은 1개뿐이었다(HN ID 49522816). 그 자체로도 흥미로운 대비라서 뒤에서 다시 다룬다.

먼저 글의 성격을 짚고 넘어갈 필요가 있다. 이는 HF 공식 블로그가 정리한 생태계 현황이지, 독립 연구자의 관찰이 아니다. 플랫폼 운영사가 직접 평가한다면 공개 모델에 우호적인 기준으로 평단단이 작성됐을까? 어느 정도 편향이 있었을까? 이 보고서를 읽을 때 계속 머릿속에 두고 있어야 할 질문이다.

이번 현황 보고서의 위치

Hugging Face의 State of Open Models는 보통 연 2회 발행되는 정기栏目다. Llama, Mistral, Qwen, DeepSeek, GLM 같은 주요 공개 모델阵营부터知名度는 낮지만 흥미로운发布까지 살펴본다.

정리하자면 ‘플랫폼 운영사의 중간 성적표’다. HF는 공개 모델 호스팅, Spaces, Inference API를 제공하며 공개 생태계에 투자하고 있다. 따라서 이 보고서에는 공개 모델이 잘할수록 HF도 잘한다는 이해관계가 따른다.

읽을 때는 보고서의 결론을 그대로 받아들이면 안 된다. 필자는 HF의 Open LLM Leaderboard, lmsys arena, Stanford의 HELM을 함께 비교했다. 이 세 가지 독립적인排行榜를 교차 검증한 뒤에야 HF 블로그의 상대 순위를 어느 정도 신뢰할 수 있었다.

공개 모델이 따라잡은赛道와 아직 뒤처진赛道

보고서에서 몇 번이고 다시 본 그래프는 과제 유형별로 공개 모델과 폐쇄형 모델, 주로 GPT-5, Claude 4.5, Gemini 2.5급의 차이를 정리한 내용이다.

거의 근접한领域:

  • 범용 코드 자동완성(MBPP, HumanEval 같은 평가)에서 공개 모델 상위 3개와 폐쇄형 모델의 차이는 5% 이내다.
  • 수학(GSM8K, MATH)은 DeepSeek-R2 시리즈가 나온 뒤 사실상 비슷해졌다.
  • 단순한 다轮 대화와 텍스트 분류 같은 작업에서는 격차가 거의 의미가 없다.

まだ差がある领域:

  • 긴 context(100k+): 공개 모델 쪽에서는 GLM-4.5와 Qwen3가 128k까지 처리하지만, needle-in-haystack 테스트에서 중간 구간 성능 저하가 뚜렷하게 나타난다.
  • Agentic tool use(모델이 직접 도구를 호출하고 function call을 작성하는 능력): 폐쇄형 모델이 15~20%포인트 앞선다.
  • 다模态 이해(영상, 긴 오디오): 폐쇄형 모델의 우위가 더 크다.

여기서 눈에 띄는 점은 agentic tool use의 격차가 ‘능력 문제’가 아니라 ‘생태계 문제’라는 점이다. GPT-5와 Claude 4.5 뒤에는 OpenAI와 Anthropic 각자의 tool registry가 있고, 도구 호출 형식은 비공개다. 공개 모델은 이론상 이를 배울 수 있지만 완성된 tool runtime까지는 접근할 수 없다.

중국계 모델의 자리 잡기

이번 글에서 필자가 가장 주목한 부분이다.

Qwen3 시리즈는 HF 다운로드량排行榜에서 오랫동안 1위를 차지했고, DeepSeek는 코드와 수학 세부排行榜에서 3위 안팎까지 올랐으며, GLM-4.5는 중국어 과제에서稳定的으로 1군에 들었다.

Llama 4는 2026년 상반기에 Llama 3.3보다 다운로드량이 감소했다. 주된 원인은 Meta 내부 전략 조정과 커뮤니티의 Qwen, DeepSeek 이동이다. 이 흐름은 HF 월간排行榜에서도 확인되지만 Meta가 직접 언급할 내용은 아니다.

보고서에 따르면 ‘Qwen 시리즈 다운로드량이 Llama 시리즈 합계를 넘어섰다’. 필자는 항목을 일일이 대조하지 않았지만 방향은 맞다고 본다. 중국어권 커뮤니티와 중동, 동남아시아 개발자는 이제 기본값으로 Qwen을 선택하는 경우가 많고, 더 이상 Llama를 첫 선택으로 삼지 않는다.

直感에 반하는 관찰도 있다. DeepSeek는 국제 개발자圈子에서 오히려国内보다 좋은 평판을 얻고 있다. 국내에서는 중국어 성능이 강한 Qwen과 GLM을 더 선호하지만, 해외 개발자는 중국어 성능보다 순수 코드와 수학 benchmark를 중시한다. DeepSeek는 이 두排行榜에서常年 1군을 유지하고 있다.

HN에 댓글이 1개뿐인 이유

이 보고서는 15점으로 HN 홈에 올랐으니 원래라면讨论가 활발해야 했다. 그런데 댓글은 1개뿐이었고, 내용은 ‘이 순위는 어떻게 계산했는가’였다.

필자의 판단은 개발자들이排行榜에 이미 지쳤다는 것이다.

2024~2025년 사이 benchmark焦虑가 번던 시기에 사람들은 사실을 깨달았다. 어떤排行榜든立场이 있고, 어떤 paper든 spin이 있으며, 어떤 ‘state of X’ 보고서든視角을 갖고 있다. 이제 개발자들의 반응은 ‘보고서를 보지 말고 직접 돌려보자’다.

필자 역시 최근 모델을 고를 때 비슷한 방식으로 판단한다. 지난 6개월 동안은 손에 있는 실제 prompt를 약 20개 준비해 코드, 글쓰기, JSON 추출, 도구 호출, 번역을 포함해 각 모델에 한 번씩 실행하고 결과를 기록했다.排行榜는 후보군을 좁히는 데만 쓰고 최종 결정에는 사용하지 않는다.

HF 보고서의 문제는 순수한 데이터도, 순수한 의견도 아니라는 데 있다. 데이터와 판단이 중간에 섞여 있어 어느 쪽에서도 환영받지 못했다.

직접 실행해 본 몇 가지 수치

보고서에서 언급한 Qwen3-235B-A22B와 GLM-4.5를 비교했다. prompt는 필자가 자주 사용하는 JSON 추출 작업으로, 한 제품 설명에서 {name, price, currency, availability} 네 필드를 추출하는 방식이다.

from openai import OpenAI

# 用 HF Inference API,代码和 README 一致
client = OpenAI(
    base_url="https://api-inference.huggingface.co/models/Qwen/Qwen3-235B-A22B-Instruct/v1",
    api_key="hf_xxx"
)

prompt = """
从下面这段产品描述里抽取 JSON,字段:name, price, currency, availability。
原文:iPhone 17 Pro 256GB 现在售价 8999 元人民币,现货供应。
"""

resp = client.chat.completions.create(
    model="Qwen/Qwen3-235B-A22B-Instruct",
    messages=[{"role": "user", "content": prompt}]
)
print(resp.choices[0].message.content)

20개 샘플에서 Qwen3는 17개를 맞혔고 GLM-4.5는 18개를 맞혔다. 차이는 크지 않지만 GLM은 중국어 개체명 처리에서 더稳定的이었다.

두 번째는 HF 문서의 표준 예제로 function calling을 돌려본 tool calling 비교였다. GLM-4.5는 호출을 정확히 완료했지만 Qwen3는 매개변수 하나를 누락했다.

두 결과를 함께 보면 보고서의 판단이 어느 정도 확인된다. 중국계 모델은 중국어 과제에서 앞서지만, 구조화된 출력, 특히 tool call에서는 아직 작은 실수가 남는다.

편집자의 생각

이번 보고서에서 가장 큰 가치는 결론보다 HF가 ‘공개 모델에도差距가 있다’를 자사 블로그에 직접 적었다는 데 있다.

플랫폼 운영사가 작성한 보고서라면 보통 공개 모델을 하늘 높이 치켜세우고 모든 차이를 ‘미래에는 잘될 것’이라는 말로 뭉뚱그리기 마련이다. HF는 그렇게 하지 않았다. agentic tool use와 긴 context의 차이를 그대로 적었다. 2026년에 이런 솔직함은 오히려 드물다.

하지만立场의偏倚를 경계할 필요는 있다. HF가 공개 생태계에 투자하고 있기 때문에 보고서의 ‘격차’는 가장保守적인 기준으로 표현된다. 5%는 ‘가까워졌다’, 15%는 ‘아직 여지가 있다’가 된다. 같은 숫자를 Anthropic이나 OpenAI가 썼다면 ‘공개 모델은 X에서 한 세대 뒤처졌다’가 됐을 것이다.

필자의 판단은 이렇다. 2026년 상반기에 중국계 공개 모델은 사실상 Llama를 넘어섰고, 이 흐름은 되돌리기 어렵다. 다만 공개 모델 전체가 GPT-5와 Claude 4.5의 frontier를 따라잡는 데 있어 병목은 모델 가중치가 아니라 도구 생태계와 유통 채널이다. 이 두領域은 폐쇄형 벤더가牢牢하게掌握하고 있다.

불확실한 점도 있다. 이번 보고서의 구체적인 숫자를 benchmark로 일일이 재검증한 것은 아니므로 ‘정치적正確性’을 위해 조정된 흔적이 있을 수 있다. 다음 보고서가 나오기 전까지 Stanford HELM과 lmsys arena의 같은 시점 데이터를 계속 비교해 볼 생각이다.


引用来源:

출처: https://huggingface.co/blog/state-of-open-models-summer-2026