PrismML 這週丟了顆震撼彈:他們的 Bonsai 2 27B 模型,宣稱把一個約 243B 參數的基座模型壓到 27B 之後,仍保留 99% 的能力。9 倍體積,1% 損失。這個數字如果是真的,代表壓縮這條路終於走出實驗室了。
HN 上 226 分、71 則留言的討論熱度,已經說明這件事不是行銷炒出來的——工程師對「近乎無損」這種字眼天生過敏,他們想問的是:那 1% 到底犧牲在哪個維度。
9 倍壓縮到底怎麼做到的
先把話說清楚:把 243B 壓到 27B 不可能只是單純的 weight quantization。
把 243B 量化到 4bit 大概 121GB 左右,精度換算成 FP16 還是那個數字——參數量沒變,只是每個參數佔的位元少了。要真正做到 9 倍參數縮減,必須動到架構。
常見的幾條路:
- 結構化剪枝:砍掉注意力頭、隱藏層、專家網路裡的冗餘模組
- 知識蒸餾:用 243B 當老師、27B 當學生,把 logits、中間特徵、注意力圖都當成監督訊號
- 稀疏化 / MoE 化:把稠密 FFN 切成多個專家,每次推理只啟動一部分
PrismML 這家公司的背景資料我查不到太多——不像 Mistral、DeepSeek 那種有完整融資歷程的團隊,所以技術細節這塊要打個問號。從他們釋出的資料來看,比較像是「剪枝 + 蒸餾 + 量化」的組合拳,但沒有論文,也沒有完整的權重卡片技術報告。
如果要我猜路徑,大概會先用蒸餾把 243B 的能力遷移到一個 27B 的學生架構裡(這一步可能損失 5-10%),再用結構化剪枝把不重要的通道砍掉,最後用 AWQ 或 GPTQ 量化到 4bit 部署。整個 pipeline 能做到 9 倍還「接近無損」,前提是基座本身就有大量冗餘——243B 的 Llama 3 確實符合這個描述。
社群怎麼驗證「near-lossless」這個詞
HN 上的討論幾乎一面倒在問同一個問題:benchmark 呢?
廠商自己跑的 benchmark 不太可信,這是開源社群的潛規則。原因很簡單:挑資料集、調 prompt、選 few-shot 數量,都能影響 2-3 個百分點的成績。要拆穿壓縮模型的「膨風」,標準動作就是這幾個:
# 社群通常會跑這一組 bench 來驗真偽
from lm_eval import simple_evaluate
results = simple_evaluate(
model="hf",
model_args="prismml/bonsai-2-27b",
tasks=[
"mmlu", # 綜合知識
"humaneval", # 程式碼生成
"gsm8k", # 數學推理
"hellaswag", # 常識推理
"truthfulqa", # 幻覺偵測
"ifeval", # 指令遵循
],
batch_size=8,
)
拿這些分數跟原版 243B 基座比對,看每個任務的差距。如果大部分任務差距在 1-2 個百分點以內,「near-lossless」才站得住腳。如果某些任務(例如 GSM8K 這種需要多步推理的)掉了 5 分以上,那就要提高警覺——壓縮模型最常掉鏈子的就是推理鏈。
更狠的驗證是看 perplexity。同一段文字,讓 243B 和 27B 各自算 cross-entropy loss,如果 27B 的 loss 漲幅在 0.1 以內,代表語言建模能力確實保住了。
截至目前(2025 年 1 月),PrismML 沒放出完整的 benchmark 表,也沒上傳權重到 HuggingFace。HN 留言裡有人開始自己跑量化版做盲測,結果還沒出來。
如果是真的,邊緣 AI 的玩法變了
先來算一筆部署帳。
27B 模型 FP16 精度要 ~54GB 顯存,單張 H100 80G 勉強能跑,但 4090 24G 不行。用 AWQ 量化到 4bit 之後,模型大小降到 ~14GB,4090 24G 還剩 10GB 給 KV cache,Mac M2/M3 Max 的 64GB 統一記憶體也能輕鬆拿下。
這代表什麼?以前跑 70B 等級的模型至少要 2 張 A6000 或是去雲端租 A100,現在一張消費級顯卡就能跑。這不是 30% 的成本下降,是數量級的差距。
對比一下同尺寸的開源選手:
| 模型 | 參數量 | 量化到 4bit 後顯存 | 已知強項 |
|---|---|---|---|
| Bonsai 2 27B | 27B | ~14GB | 待驗證 |
| Qwen2.5-32B | 32B | ~17GB | 中文、程式碼 |
| DeepSeek-V2-Lite | 16B (MoE) | ~9GB | 推理、性價比 |
| Llama 3.1-70B (quant) | 70B | ~38GB | 綜合能力 |
27B 這個尺寸段競爭很激烈。Qwen2.5-32B 已經證明了中文和程式碼能力的天花板,DeepSeek-V2-Lite 用 MoE 把啟動參數壓到 16B 但維持了高推理分數。Bonsai 2 27B 想在這個生態系裡出頭,光「接近 243B」還不夠——它得在某個具體任務上明顯超越 Qwen2.5-32B 才有賣點。
PrismML 目前沒釋出跟這些模型的對比數據,所以「玩法變了」這個判斷還停留在假設階段。
「大就是好」的共識要被打破了嗎
不會。
這件事最大的誤讀是:Bonsai 跑得贏 243B = 小模型能打敗大模型。完全不是同一回事。
壓縮的邏輯是這樣的:你從一個已經很強大的 243B 基座裡提取能力塞進 27B,這個 27B 的上限就是 243B 減去壓縮損失。它不會超過原版,更不會超過更大的模型。9B 跑得贏 81B?不可能。4B 跑得贏 36B?也不太可能。壓縮比越大,天花板越低,這是資訊理論決定的,不是工程問題。
Bonsai 真正的價值不是「打敗大模型」,而是把中等尺寸模型的能力上限明顯拉高。以前 27B 只能跑到 70B 的 80%,現在如果它真能跑到 243B 的 99%,那 27B 這個尺寸段的能力天花板就被推高了——這對部署成本的影響是真實的。
這也是為什麼這件事值得認真看待:不是技術奇蹟,而是工程優化到了某個臨界點。
編輯思考
這件事真正的訊號不是某個團隊做出了 27B 的強模型,而是推理成本曲線開始變陡。
過去三年,模型能力的提升主要靠堆參數——從 7B 到 70B 到 400B+,每一代都比上一代明顯更強。但從 2024 年底開始,越來越多的能力提升來自壓縮和蒸餾,而不是單純放大基座。這代表:用同樣多的算力,你能得到的「可用能力」在加速膨脹。
對做應用層的人,這是好消息——你的推理帳單會繼續降,模型能塞進更多裝置。對做基礎模型的人,可能是壞消息——如果大家都能從 243B 蒸餾出 27B,那基座模型的護城河會變窄,競爭會往「誰有最好的蒸餾 pipeline」和「誰有最大的高品質訓練資料」移動。
風險點要明確說一下:PrismML 現在沒放完整 benchmark、沒發論文、權重也沒上 HuggingFace。「near-lossless」目前是行銷詞還是實錘,需要 1-2 個月看第三方復現。HN 上 226 分代表社群有興趣,但有興趣不等於已經驗證。在他們釋出可復現的資料之前,建議把這當作「值得關注但別下注」。