大型語言模型

Bonsai 2 27B 把 243B 壓成 9 倍小:真的近乎無損?

PrismML 宣稱將 243B 基座壓縮到 27B,仍保留 99% 能力。若屬實,邊緣部署與推理成本的遊戲規則將被改寫。

字級

PrismML 這週丟了顆震撼彈:他們的 Bonsai 2 27B 模型,宣稱把一個約 243B 參數的基座模型壓到 27B 之後,仍保留 99% 的能力。9 倍體積,1% 損失。這個數字如果是真的,代表壓縮這條路終於走出實驗室了。

HN 上 226 分、71 則留言的討論熱度,已經說明這件事不是行銷炒出來的——工程師對「近乎無損」這種字眼天生過敏,他們想問的是:那 1% 到底犧牲在哪個維度。

9 倍壓縮到底怎麼做到的

先把話說清楚:把 243B 壓到 27B 不可能只是單純的 weight quantization。

把 243B 量化到 4bit 大概 121GB 左右,精度換算成 FP16 還是那個數字——參數量沒變,只是每個參數佔的位元少了。要真正做到 9 倍參數縮減,必須動到架構。

常見的幾條路:

  • 結構化剪枝:砍掉注意力頭、隱藏層、專家網路裡的冗餘模組
  • 知識蒸餾:用 243B 當老師、27B 當學生,把 logits、中間特徵、注意力圖都當成監督訊號
  • 稀疏化 / MoE 化:把稠密 FFN 切成多個專家,每次推理只啟動一部分

PrismML 這家公司的背景資料我查不到太多——不像 Mistral、DeepSeek 那種有完整融資歷程的團隊,所以技術細節這塊要打個問號。從他們釋出的資料來看,比較像是「剪枝 + 蒸餾 + 量化」的組合拳,但沒有論文,也沒有完整的權重卡片技術報告。

如果要我猜路徑,大概會先用蒸餾把 243B 的能力遷移到一個 27B 的學生架構裡(這一步可能損失 5-10%),再用結構化剪枝把不重要的通道砍掉,最後用 AWQ 或 GPTQ 量化到 4bit 部署。整個 pipeline 能做到 9 倍還「接近無損」,前提是基座本身就有大量冗餘——243B 的 Llama 3 確實符合這個描述。

社群怎麼驗證「near-lossless」這個詞

HN 上的討論幾乎一面倒在問同一個問題:benchmark 呢?

廠商自己跑的 benchmark 不太可信,這是開源社群的潛規則。原因很簡單:挑資料集、調 prompt、選 few-shot 數量,都能影響 2-3 個百分點的成績。要拆穿壓縮模型的「膨風」,標準動作就是這幾個:

# 社群通常會跑這一組 bench 來驗真偽
from lm_eval import simple_evaluate

results = simple_evaluate(
    model="hf",
    model_args="prismml/bonsai-2-27b",
    tasks=[
        "mmlu",              # 綜合知識
        "humaneval",         # 程式碼生成
        "gsm8k",             # 數學推理
        "hellaswag",         # 常識推理
        "truthfulqa",        # 幻覺偵測
        "ifeval",            # 指令遵循
    ],
    batch_size=8,
)

拿這些分數跟原版 243B 基座比對,看每個任務的差距。如果大部分任務差距在 1-2 個百分點以內,「near-lossless」才站得住腳。如果某些任務(例如 GSM8K 這種需要多步推理的)掉了 5 分以上,那就要提高警覺——壓縮模型最常掉鏈子的就是推理鏈。

更狠的驗證是看 perplexity。同一段文字,讓 243B 和 27B 各自算 cross-entropy loss,如果 27B 的 loss 漲幅在 0.1 以內,代表語言建模能力確實保住了。

截至目前(2025 年 1 月),PrismML 沒放出完整的 benchmark 表,也沒上傳權重到 HuggingFace。HN 留言裡有人開始自己跑量化版做盲測,結果還沒出來。

如果是真的,邊緣 AI 的玩法變了

先來算一筆部署帳。

27B 模型 FP16 精度要 ~54GB 顯存,單張 H100 80G 勉強能跑,但 4090 24G 不行。用 AWQ 量化到 4bit 之後,模型大小降到 ~14GB,4090 24G 還剩 10GB 給 KV cache,Mac M2/M3 Max 的 64GB 統一記憶體也能輕鬆拿下。

這代表什麼?以前跑 70B 等級的模型至少要 2 張 A6000 或是去雲端租 A100,現在一張消費級顯卡就能跑。這不是 30% 的成本下降,是數量級的差距。

對比一下同尺寸的開源選手:

模型參數量量化到 4bit 後顯存已知強項
Bonsai 2 27B27B~14GB待驗證
Qwen2.5-32B32B~17GB中文、程式碼
DeepSeek-V2-Lite16B (MoE)~9GB推理、性價比
Llama 3.1-70B (quant)70B~38GB綜合能力

27B 這個尺寸段競爭很激烈。Qwen2.5-32B 已經證明了中文和程式碼能力的天花板,DeepSeek-V2-Lite 用 MoE 把啟動參數壓到 16B 但維持了高推理分數。Bonsai 2 27B 想在這個生態系裡出頭,光「接近 243B」還不夠——它得在某個具體任務上明顯超越 Qwen2.5-32B 才有賣點。

PrismML 目前沒釋出跟這些模型的對比數據,所以「玩法變了」這個判斷還停留在假設階段。

「大就是好」的共識要被打破了嗎

不會。

這件事最大的誤讀是:Bonsai 跑得贏 243B = 小模型能打敗大模型。完全不是同一回事。

壓縮的邏輯是這樣的:你從一個已經很強大的 243B 基座裡提取能力塞進 27B,這個 27B 的上限就是 243B 減去壓縮損失。它不會超過原版,更不會超過更大的模型。9B 跑得贏 81B?不可能。4B 跑得贏 36B?也不太可能。壓縮比越大,天花板越低,這是資訊理論決定的,不是工程問題。

Bonsai 真正的價值不是「打敗大模型」,而是把中等尺寸模型的能力上限明顯拉高。以前 27B 只能跑到 70B 的 80%,現在如果它真能跑到 243B 的 99%,那 27B 這個尺寸段的能力天花板就被推高了——這對部署成本的影響是真實的。

這也是為什麼這件事值得認真看待:不是技術奇蹟,而是工程優化到了某個臨界點。

編輯思考

這件事真正的訊號不是某個團隊做出了 27B 的強模型,而是推理成本曲線開始變陡。

過去三年,模型能力的提升主要靠堆參數——從 7B 到 70B 到 400B+,每一代都比上一代明顯更強。但從 2024 年底開始,越來越多的能力提升來自壓縮和蒸餾,而不是單純放大基座。這代表:用同樣多的算力,你能得到的「可用能力」在加速膨脹。

對做應用層的人,這是好消息——你的推理帳單會繼續降,模型能塞進更多裝置。對做基礎模型的人,可能是壞消息——如果大家都能從 243B 蒸餾出 27B,那基座模型的護城河會變窄,競爭會往「誰有最好的蒸餾 pipeline」和「誰有最大的高品質訓練資料」移動。

風險點要明確說一下:PrismML 現在沒放完整 benchmark、沒發論文、權重也沒上 HuggingFace。「near-lossless」目前是行銷詞還是實錘,需要 1-2 個月看第三方復現。HN 上 226 分代表社群有興趣,但有興趣不等於已經驗證。在他們釋出可復現的資料之前,建議把這當作「值得關注但別下注」。

來源: https://prismml.com/news/bonsai-2-27b