Hugging Faceが先日公開した State of Open Models: Summer 2026 Observationsを最後まで読み込んだ。
この記事自体は15点を叩き出してHacker Newsのフロントページに載ったが、コメントはわずか1件(HN ID 49522816)にとどまっている。このギャップ自体に意味があるので、後で触れる。
まず前提を整理しておく。これは独立研究者の分析ではなく、HF公式ブログによる生態系の定点観測だ。プラットフォーム事業者が自陣営を採点するのだから、当然バイアスがある。どの程度のバイアスかを意識しながら読む必要がある。
このレポートの位置づけ
HFのState of Open Modelsは年2回ほどのペースで続く定番シリーズだ。Llama、Mistral、Qwen、DeepSeek、GLMといった主要オープンソース勢に加え、ややマイナーだが注目に値するリリースもカバーされている。
性格としては「プラットフォーム事業者の期中レポート」とでも呼ぶべきものだ。HFはモデルのホスティング、Spaces、Inference APIといったオープンソース寄りのサービスを展開しており、ビジネス的にもオープンソース生態圏の繁栄がそのまま自社の収益に直結する。つまり構造的にバイアスが存在する。
読み方としては、HFのOpen LLM Leaderboard、lmsys arena、StanfordのHELMという独立した三つのベンチマークで数字をクロスチェックしてから、HFブログ内の相対順位を信じる、という手順が無難だ。
オープンソースが追いついた領域、まだ開いている領域
レポート内に掲載されている、タスク種別ごとにオープンソースとクローズド(GPT-5、Claude 4.5、Gemini 2.5クラス)を比較した図表を何度も眺めた。
すでに接近している:
- 汎用コード補完(MBPP、HumanEvalなど):オープンソースの上位3モデルとクローズドの差は5%以内
- 数学(GSM8K、MATH):DeepSeek-R2シリーズの登場でほぼ並んだ
- 単純な多輪会話やテキスト分類:差は無視できる水準
まだ差がある:
- 長コンテキスト(100k+):GLM-4.5やQwen3は128kまで対応しているが、needle-in-haystackテストでは中央付近の劣化が顕著
- Agentic tool use(モデルにツール選択やfunction callを書かせるタスク):クローズドが15〜20ポイント先行
- マルチモーダル(動画、長尺音声):クローズドの優位がより大きい
ひとつ補足しておくと、agentic tool useの差は「モデルの能力」ではなく「エコシステム」が原因だ。GPT-5やClaude 4.5は、OpenAIとAnthropic自身が管理するプライベートなtool registryと呼び出しフォーマットを備えている。オープンソースモデルは形式を模倣できても、tool runtime全体までは再現できない。
中国系モデルの立ち位置
ここが個人的にも最も気になるパートだ。
Qwen3シリーズはHFのダウンロード数ランキングで長期にわたってトップを独占しており、DeepSeekはコードと数学の個別ランキングで上位3に入った経験がある。GLM-4.5は中国語タスクで安定して第一梯队にいる。
Llama 4は2026年上半期のダウンロード数において、Llama 3.3対比で減少している。Meta内部の戦略転換と、コミュニティがQwenやDeepSeekへ移ったことが主な要因だ。この傾向はHFの月次ランキングから読み取れるが、Meta公式が自ら語ることはないだろう。
レポートには「Qwenシリーズの累計ダウンロード数がLlamaシリーズ合計を上回った」と書かれている。個別数字までは照合していないが、方向性は合っている。中国語圏、中東、東南アジアの開発者は、もはや出だしをLlamaではなくQwenで始めるのがデフォルトになりつつある。
少し意外だったのは、DeepSeekの国際的な開発者コミュニティでの評価が、国内よりも高いことだ。国内では中国語性能重視でQwenとGLMが選ばれるが、海外開発者は中国語性能を重視しないため、純粋なコード・数学ベンチだけで評価される。DeepSeekはこの2分野で常時トップクラスにいる。
なぜHNのコメントは1件だけなのか
15点でHNフロントに載ったレポートにしては、議論がほぼ起きていない。ついた1件のコメントも「このランキングはどう算出されているのか」という質問だけだった。
自分の解釈では、開発者はすでにベンチマーク疲れを起こしている。
2024〜2025年のベンチマーク不安が一巡した後、業界で共有された認識はこうだ。どのランキングにもバイアスがあり、どの論文にもspinがあり、どの「state of X」レポートにも固有の視点がある。結論として、「レポートを読まずに自分で回す」が新常識になった。
自分もそうだ。最近半年のモデル選定フローはこうなっている。手元にある実際のプロンプト(コード、執筆、JSON抽出、ツール呼び出し、翻訳をカバーする20本程度)を各モデルで実行し、結果を記録する。ベンチマークは候補を絞るためだけのもので、最終決定には使わない。
HFのこのレポートは、純データ(判断を含むため)でも純意見(データを含むため)でもない。中間に位置するため、どちらの读者にも刺さらない。
自分で回した数字
レポート内で言及されていたQwen3-235B-A22BとGLM-4.5をJSON抽出タスクで比較した。普段使っている、プロダクト説明から{name, price, currency, availability}の4フィールドを抜き出す課題だ。
from openai import OpenAI
# HF Inference API、README記載の通り
client = OpenAI(
base_url="https://api-inference.huggingface.co/models/Qwen/Qwen3-235B-A22B-Instruct/v1",
api_key="hf_xxx"
)
prompt = """
以下の製品説明からJSONを抽出せよ、フィールド:name, price, currency, availability。
原文:iPhone 17 Pro 256GBは中国元8999元で現在購入可能、即納。
"""
resp = client.chat.completions.create(
model="Qwen/Qwen3-235B-A22B-Instruct",
messages=[{"role": "user", "content": prompt}]
)
print(resp.choices[0].message.content)
20本のサンプルで、Qwen3は17件正解、GLM-4.5は18件正解。差は大きくないが、中国語エンティティの扱いではGLMが一貫して上だ。
次にtool calling。HFドキュメントの標準サンプルでfunction callingを回したところ、GLM-4.5は完全成功、Qwen3はパラメータを1つ落とした。
この2組の結果は、レポートの判断を裏付けている。中国系モデルは中国語タスクでリードしているが、構造化出力(特にtool call)にはまだ小さな穴がある。
編集後記的な考察
このレポートの最大の価値は結論そのものではなく、HFが「オープンソースにはまだ差がある」と自社ブログに書いた点にある。
プラットフォーム発のレポートは通常、オープンソースを過剰に礼賛し、すべての差を「伸び盛り」で丸める。HFはそうしなかった。agentic tool useと長コンテキストの乖離はそのまま明記されている。この種の率直さは、2026年現在、かなり貴重だ。
ただし立場バイアスへの警戒は必要だ。HFはオープンソース生態圏に賭けており、レポート内の「差」は最も保守的な表現で書かれる。5%なら「接近」、15%なら「伸び代」。AnthropicやOpenAIが同じ数字を書けば、「オープンソースはXにおいて1世代遅れ」になるだろう。
自分なりの結論:中国系のオープンソースモデルは2026年上半期の時点で事実上Llamaを超えた。この流れは不可逆だ。ただしオープンソース全体がGPT-5 / Claude 4.5のフロンティアに追いつくには、モデル重みそのものではなく、ツール生態系と流通チャネルがボトルネックになる。この2つはクローズド勢が完全に掌握している。
不確実な点:レポート内の個別数字は逐一ベンチマークで再検証していないため、政治的正しさのために調整された痕跡が残っている可能性は残る。次回レポートが出るまでは、Stanford HELMとlmsys arenaの同時期データで定点観測を続けるつもりだ。
参照: