大模型

Bonsai 2 27B 压缩 243B:9 倍缩水真的近乎无损吗

PrismML 声称用 9 倍压缩保留了 243B 基座 99% 能力。如果验证为真,边缘部署和推理成本的玩法要被改写。

字号

PrismML 这周放了个炸弹:他们的 Bonsai 2 27B 模型,声称在把一个约 243B 参数的基座模型压缩到 27B 之后,仍保留了 99% 的能力。9 倍体积,1% 损失。这个数字如果是真的,意味着压缩这条路终于走出实验室了。

HN 上 226 分、71 条评论的讨论量,已经说明这事儿不是营销刷出来的——程序员对"近乎无损"这种词天然过敏,他们想知道的是:到底在哪些维度损失了 1%。

9 倍压缩到底怎么做到的

先把话讲清楚:把 243B 压到 27B 不可能只是简单的 weight quantization。

把 243B 量化到 4bit 也就 121GB 左右,精度换算成 FP16 还是那个数字——参数量没变,只是每个参数占的字节少了。要真正做到 9 倍参数缩减,必须动架构。

常见的几条路:

  • 结构化剪枝:砍掉注意力头、隐藏层、专家网络里的冗余模块
  • 知识蒸馏:用 243B 当老师,27B 当学生,把 logits、中间特征、注意力图都当成监督信号
  • 稀疏化 / MoE 化:把稠密 FFN 切成多个专家,每次推理只激活一部分

PrismML 这家公司的背景信息我没查到太多——不像是 Mistral、DeepSeek 这种有完整融资历史的团队,所以技术细节这块得打个问号。从他们放出的材料看,更像是"剪枝 + 蒸馏 + 量化"的组合拳,但没有论文,没有权重卡片的完整技术报告。

如果是我猜的路径,大概率是先用蒸馏把 243B 的能力迁移到一个 27B 的学生架构里(这一步可以损失 5-10%),再用结构化剪枝把不重要的通道砍掉,最后用 AWQ 或 GPTQ 量化到 4bit 部署。整个 pipeline 能做到 9 倍还"接近无损",前提是基座本身就有大量冗余——243B 的 Llama 3 确实符合这个描述。

社区怎么验证 "near-lossless" 这个词

HN 上的讨论几乎一边倒在问同一个问题:benchmark 呢?

厂商自己跑的 benchmark 不太可信,这是开源社区的老规矩。原因很简单:选 dataset、调 prompt、选 few-shot 数量,都能影响 2-3 个百分点的成绩。要拆穿压缩模型的"水分",标准动作就是这几个:

# 社区通常会跑这一组 bench 来验真伪
from lm_eval import simple_evaluate

results = simple_evaluate(
    model="hf",
    model_args="prismml/bonsai-2-27b",
    tasks=[
        "mmlu",              # 综合知识
        "humaneval",         # 代码生成
        "gsm8k",             # 数学推理
        "hellaswag",         # 常识推理
        "truthfulqa",        # 幻觉检测
        "ifeval",            # 指令遵循
    ],
    batch_size=8,
)

拿这些分数和原版 243B 基座对比,看每个任务的差距。如果大部分任务差距在 1-2 个百分点以内,"near-lossless" 才站得住脚。如果某些任务(比如 GSM8K 这种需要多步推理的)掉了 5 分以上,那就要警惕了——压缩模型最常掉链子的就是推理链。

更狠的验证是看 perplexity。同样的文本,让 243B 和 27B 各自算 cross-entropy loss,如果 27B 的 loss 涨了 0.1 以内,说明语言建模能力确实保住了。

截至现在(2025 年 1 月),PrismML 没放出完整的 benchmark 表,也没上传权重到 HuggingFace。HN 评论里有人开始自己跑量化版做盲测,结果还没出。

如果是真的,边缘 AI 的玩法变了

先算一笔部署账。

27B 模型 FP16 精度要 ~54GB 显存,单卡 H100 80G 勉强能跑,但 4090 24G 不行。用 AWQ 量化到 4bit 之后,模型大小降到 ~14GB,4090 24G 富余 10GB 给 KV cache,Mac M2/M3 Max 的 64GB 统一内存也能轻松拿下。

这意味着什么?以前跑 70B 级别的模型需要至少 2 张 A6000 或者云上租 A100,现在一张消费级显卡就能跑。这不是 30% 的成本下降,是数量级的。

对比一下同尺寸的开源选手:

模型 参数量 量化到 4bit 后显存 已知强项
Bonsai 2 27B 27B ~14GB 待验证
Qwen2.5-32B 32B ~17GB 中文、代码
DeepSeek-V2-Lite 16B (MoE) ~9GB 推理、性价比
Llama 3.1-70B (quant) 70B ~38GB 综合能力

27B 这个尺寸段竞争很激烈。Qwen2.5-32B 已经证明了中文和代码能力的天花板,DeepSeek-V2-Lite 用 MoE 把激活参数压到 16B 但保持了很高的推理分数。Bonsai 2 27B 要想在这个生态里出头,光"接近 243B"还不够——它得在某个具体任务上明显超过 Qwen2.5-32B 才有卖点。

PrismML 目前没放出和这些模型的对比数据,所以"玩法变了"这个判断还停在假设阶段。

"大就是好" 的共识要被打破了吗

不会。

这件事最大的误读是:Bonsai 跑得过 243B = 小模型能打败大模型。完全不是一回事。

压缩的逻辑是这样的:你从一个已经很强大的 243B 基座里提取能力塞进 27B,这个 27B 上限就是 243B 减去压缩损失。它不会超过原版,更不会超过更大的模型。9B 跑得过 81B?不可能。4B 跑得过 36B?也不太可能。压缩比越大,天花板越低,这是信息论决定的,不是工程问题。

Bonsai 真正的价值不是"打败大模型",而是把中等尺寸模型的能力上限显著抬高。以前 27B 只能跑到 70B 的 80%,现在如果它真能跑到 243B 的 99%,那 27B 这个尺寸段的能力天花板就被推高了——这对部署成本的影响是真实的。

这也是为什么这件事值得认真看:不是技术奇迹,而是工程优化到了某个临界点。

编辑思考

这件事真正的信号不是某个团队做出了 27B 的强模型,而是推理成本曲线开始变陡。

过去三年,模型能力的提升主要靠堆参数——从 7B 到 70B 到 400B+,每一代都比上一代明显强。但从 2024 年底开始,越来越多的能力提升来自压缩和蒸馏,而不是单纯放大基座。这意味着:用同样多的算力,你能得到的"可用能力"在加速膨胀。

对做应用层的人,这是好消息——你的推理账单会继续降,模型能塞进更多设备。对做基础模型的人,可能是坏消息——如果大家都能从 243B 蒸馏出 27B,那基座模型的护城河会变窄,竞争会往"谁有最好的蒸馏 pipeline"和"谁有最大的高质量训练数据"转移。

风险点要明确说一下:PrismML 现在没放完整 benchmark,没发论文,权重也没上 HuggingFace。"near-lossless" 目前是营销词还是实锤,需要 1-2 个月看第三方复现。HN 上 226 分说明社区有兴趣,但有兴趣不等于已经验证。在他们放出可复现的材料之前,建议把这个当作"值得关注但别下注"。

来源: https://prismml.com/news/bonsai-2-27b