大規模言語モデル

Bonsai 2 27B は 243B を9倍圧縮できたのか——「ほぼ無損失」を検証する

PrismML が公開した Bonsai 2 27B は、243B パラメータのベースモデルを 27B まで圧縮しつつ能力の 99% を維持したと主張する。エッジ推論のコスト構造を塗り替える可能性を秘める一方、現時点で論文も重みも公開されておらず、検証が急がれる。

文字サイズ

PrismML が今週、業界に衝撃を投じた。243B パラメータのベースモデルから 27B へ圧縮した Bonsai 2 27B が、元の 99% の能力を保持していると主張している。体積は 9 分の 1、損失は 1%。この数字が事実であれば、モデル圧縮という手法がついに研究室を出たことを意味する。

Hacker News では 226 ポイント・71 コメントの議論が盛り上がっており、純粋なマーケティングではないことがわかる。開発者ほど「ほぼ無損失」という表現には懐疑的になる。彼らが知りたいのは、「どの 1% を失ったのか」という一点に尽きる。

9 倍圧縮は実際にはどう実現されているのか

前提を整理しておく。243B を 27B に縮めるには、単なる weight quantization では不可能だ。

243B を 4bit に量子化してもサイズは 121GB 程度。FP16 に換算すればパラメータ数は変わらない。要は 1 パラメータあたりのバイト数が減るだけで、9 倍のパラメータ削減には別の工夫が必要になる。

一般的なアプローチは次の通り。

  • 構造化プルーニング:アテンション_head、隠れ層、expert ネットワークの冗長なモジュールを削る
  • 知識蒸留:243B を教師、27B を生徒として logits・中間特徴量・アテンション_map を教師信号に用いる
  • スパース化 / MoE 化:密な FFN を複数の expert に分割し、推論時は一部だけを活性化する

PrismML という企業については十分な情報が得られなかった。Mistral や DeepSeek のように資金調達の履歴がはっきりしているチームではないため、技術的な詳細は割り引いて見る必要がある。公開されている資料からは「プルーニング + 蒸留 + 量子化」の組み合わせに見えるが、論文も詳細な技術レポートも公開されていない。

推測されるパイプラインはこうだ。まず蒸留で 243B の能力を 27B の学生アーキテクチャに移す(ここで 5〜10% 程度の損失が出る)、次に構造化プルーニングで重要度の低いチャネルを削り、最後に AWQ や GPTQ で 4bit に量子化してデプロイする。この全体工程で 9 倍圧縮しつつ「ほぼ無損失」を実現するには、ベースモデル自体に大量の冗長性がなければならない。Llama 3 の 243B は確かにこの条件を満たしている。

コミュニティは「near-lossless」をどう検証するのか

HN での議論は benchmark の話題で持ち切りだ。

ベンダー自身が実施した benchmark は信用しにくい——これはオープンソースコミュニティの鉄則である。理由は単純で、dataset の選定やプロンプトの調整、few-shot の数え方次第で 2〜3 ポイントは簡単に動く。圧縮モデルの「水増し」を見破るための定石は次のとおり。

# コミュニティが真偽検証のために走らせる典型的なベンチ群
from lm_eval import simple_evaluate

results = simple_evaluate(
    model="hf",
    model_args="prismml/bonsai-2-27b",
    tasks=[
        "mmlu",              # 総合知識
        "humaneval",         # コード生成
        "gsm8k",             # 数学推論
        "hellaswag",         # 常識推論
        "truthfulqa",        # ハルシネーション検出
        "ifeval",            # 指示追従
    ],
    batch_size=8,
)

これらのスコアを元の 243B ベースモデルと比較し、タスクごとの差分を見る。大半のタスクで差が 1〜2 ポイント以内であれば「near-lossless」は成立する。逆に GSM8K のような多段階推論が必要なタスクで 5 ポイント以上落ちていれば警戒が必要だ——圧縮モデルがもっとも失敗しやすいのは推論チェーンの組み立てである。

さらに踏み込むなら perplexity を比較する。同一テキストに対して 243B と 27B の cross-entropy loss を計算し、27B の loss の上昇が 0.1 以内であれば言語モデリング能力は維持されていると判断できる。

2025 年 1 月時点で、PrismML は完全な benchmark テーブルを公開しておらず、HuggingFace にも重みをアップロードしていない。HN のコメント欄では有志が量子化版を独自に入手してブラインドテストを試みているが、結果はまだ出ていない。

もし本当なら、エッジ AI の構図が変わる

まずデプロイのコストを計算してみよう。

27B モデルを FP16 で動かすには約 54GB の VRAM が必要で、H100 80GB 1 枚でかろうじて動くが RTX 4090 24GB には載らない。AWQ で 4bit 量子化すればモデルサイズは約 14GB に下がり、RTX 4090 24GB では KV cache 用に 10GB 余る。Mac M2/M3 Max の 64GB ユニファイドメモリでも問題なく扱える。

これが意味することは大きい。以前は 70B クラスのモデルを動かすのに A6000 を 2 枚使うか、クラウドで A100 を借りる必要があった。それが今ではコンシューマ向け GPU 1 枚で済む。30% のコスト削減ではなく、桁が違う。

同クラスのオープンソースモデルと比較してみる。

モデルパラメータ数4bit 量子化後の VRAM既知の強み
Bonsai 2 27B27B約 14GB要検証
Qwen2.5-32B32B約 17GB中国語、コード
DeepSeek-V2-Lite16B (MoE)約 9GB推論、コストパフォーマンス
Llama 3.1-70B (量子化)70B約 38GB総合力

27B クラスは競争が激化している。Qwen2.5-32B は中国語とコード能力で天井を打ち立て、DeepSeek-V2-Lite は MoE で活性化パラメータを 16B に抑えながら高い推論スコアを維持している。この生態系で Bonsai 2 27B が存在感を示すには、「243B に近い」だけでは不十分で、Qwen2.5-32B を特定のタスクで明確に上回らなければ卖点にならない。

PrismML は現時点で他モデルとの比較データを公開していないため、「構図が変わる」という見立ては仮説の域を出ない。

「大きいほど良い」という常識は崩れるのか

崩れない。

この件で最も多い誤解は、「Bonsai が 243B に匹敵する = 小モデルが大モデルに勝てる」というものだ。しかし全くの別物である。

圧縮のロジックはこうなっている。すでに強力な 243B ベースから能力を抽出して 27B に詰め込む以上、27B の上限は「243B マイナス圧縮損失」で確定する。元を超えることはなく、元のさらに上を行くモデルに勝つこともない。9B が 81B に勝つことはなく、4B が 36B に勝つこともまずない。圧縮比が大きければ大きいほど天井は低くなる。これは情報理論上の制約であり、工学の問題ではない。

Bonsai の真の価値は「大モデルに勝つこと」ではなく、中サイズモデルの能力上限を大きく引き上げた点にある。以前は 27B は 70B の 80% 程度の性能が限界だった。それが本当に 243B の 99% に達するのであれば、27B クラスの天井が押し上げられることになり、デプロイコストへの影響は現実的だ。

つまりこれは技術的奇跡ではなく、工学的最適化がある臨界点に達した話である。だからこそ注目に値する。

編集部の見解

この件の本当のシグナルは、「あるチームが 27B の強いモデルを作った」ことではない。推論コストの曲線が急勾配になり始めた点にある。

過去 3 年間、モデル能力の向上は主にパラメータ数の増加に依存してきた——7B から 70B、400B+ へと、各世代で明確に強くなっていた。しかし 2024 年末頃から、能力向上の多くが圧縮と蒸留によってもたらされるようになり、単純にベースモデルを拡大するアプローチは後退している。同じ計算資源で得られる「実用的な能力」が加速的に膨らみ始めているということだ。

アプリケーション層の開発者にとっては朗報だ。推論コストは下がり続け、モデルはより多くのデバイスに載るようになる。一方、ベースモデルの開発者にとっては逆風になりうる。誰もが 243B から 27B を蒸留できるなら、ベースモデルの堀は浅くなり、競争の軸は「最高の蒸留パイプラインを持つのはどこか」「最大規模の高品質学習データを持つのはどこか」へと移っていく。

リスクも明確にしておきたい。PrismML は現在、完全な benchmark も論文も公開しておらず、重みも HuggingFace に上がっていない。「near-lossless」が現時点でマーケティング文言なのか実績なのかは、第三者による再現結果が揃うまで 1〜2 ヶ月かかる見込みだ。HN で 226 ポイントを集めたことはコミュニティの関心の表れだが、関心と検証は別物。再現可能な材料が公開されるまでは、「要ウォッチ、ただし手出しは禁物」という距離感が妥当だろう。

出典: https://prismml.com/news/bonsai-2-27b