工具

Maple 深度解析:Gemma 4 如何跑进 6GB 显存

Maple 用 Sub-2-BPW Moe Pruning 压缩 Gemma 4 26B,项目声称可塞进 6GB GPU 并达到 45 TPS。本文拆解显存、速度与剪枝质量。

字号

开源项目 Maple 用 Sub-2-BPW Moe Pruning 压缩 Gemma 4 26B,声称模型可放进 6GB GPU,并跑到 45 TPS。数字很亮眼,但第三方复现和剪枝损失仍待确认。

Maple 是一个开源 GitHub 项目,仓库地址是 https://github.com/AmSach/maple。

它采用 Sub-2-BPW Moe Pruning,面向每权重比特数低于 2 的稀疏化剪枝。项目声称,Gemma 4 26B 可以放进仅 6GB 显存的 GPU,生成速度达到 45 tokens per second。

两个数字放在一起很抓眼球:26B 模型、6GB 显存、45 TPS。

但先别急着换显卡。

Maple 展示的是一条工程路线,不是一份已经经过充分验证的结论。它真正值得测试的地方,是如何绕开“完整保留 26B 参数”这个前提。

26B 模型塞进 6GB,Maple 怎么做到

常规低比特量化有一个容易误解的地方:权重位宽变低,不等于计算时只剩这么多权重,也不等于显存占用会按位宽等比例下降。

推理阶段还要留出这些东西:

  • KV cache
  • 激活值与临时 buffer
  • 框架和算子的 workspace
  • batch size、上下文长度带来的额外开销

Maple 的核心取舍不是让每个权重都极端缩小,而是利用 MoE 模型的稀疏结构,减少每个 token 实际激活和参与计算的参数。

这里需要区分两件事:

  1. 模型总参数:Gemma 4 26B 仍是一个 26B 规模的模型。
  2. 单 token 激活参数:MoE 路由每次只选择部分 expert,Maple 的方案进一步围绕这部分计算做稀疏化剪枝。

“Sub-2-BPW”也不是一句“平均每个权重不到 2 bit”这么简单。它描述的是剪枝后的每权重比特预算,并要求计算路径对被剪掉的部分保持足够低的负担。标题里的 “Moe” 指向 Gemma 的混合专家结构,而不是把一个稠密模型强行改名。

这解释了为什么 26B 与 6GB 可以同时出现,但不等于所有 26B 模型都能这样跑。

如果模型结构、expert 路由、kernel 和内存分配方式不同,结果也会不同。

45 TPS 不等于 26B 全量常驻显存

“激活参数不到 2B”经常被直接写成“26B 模型只剩不到 2B”。

这种说法不够严谨。

26B 是参数总量;“不到 2B”更可能对应一次推理中实际激活或参与计算的参数子集。两者的区别,正是 MoE 能降低推理成本的原因。

但低显存运行仍需回答一个具体问题:被保留的专家权重放在哪里?

如果大量权重仍需映射到 GPU,计算可以稀疏,显存却未必低到 6GB。反过来,如果部分专家留在 CPU,45 TPS 又可能受到 PCIe 传输和 expert routing 延迟影响。

因此,看到 45 tokens per second 时,至少要核对以下条件:

  • GPU 型号和显存容量
  • CUDA、驱动及推理框架版本
  • batch size
  • prompt 长度
  • 每轮生成多少 tokens
  • 是否包含 prefill 和 decode 的区别
  • 是否启用 streaming
  • 是否统计首 token 延迟
  • CPU offload、专家卸载和缓存策略
  • 计时脚本是否排除了模型加载时间

Tokens per second 本身不是一个完整指标。

短 prompt、少量输出、单并发,数字通常更好看。长上下文、并发请求和持续生成,会暴露 KV cache 与带宽瓶颈。

项目声称 Gemma 4 26B 可在 6GB GPU 上达到 45 TPS。这个结果目前应按项目方口径记录:

Maple 声称 Gemma 4 26B 可在仅 6GB 显存的 GPU 上运行,速度达到 45 tokens per second。

是否达到这个数字,要以第三方复现为准。

先看剪枝损失,再看速度纪录

速度测试通常比能力测试容易。

同一张卡、同一个脚本、同一段 prompt,计时几轮就能得到 TPS。模型是否“变笨”,却需要一套更完整的评估。

剪枝不是无损压缩。哪怕权重平均只剩不到 2 bit,只要删掉关键连接,输出质量就可能下降。对 MoE 模型来说,问题还会更复杂:

  • 某个 expert 是否被过度稀疏化?
  • router 是否仍能把请求送到合适的 expert?
  • 少数罕见任务是否因为关键 expert 被削弱而退化?
  • 量化与剪枝叠加后,误差是否被放大?
  • 长上下文下,错误是否会逐步累积?

判断 Maple,至少应该看到三类结果。

第一类是 perplexity。

它能给出语言建模损失,适合横向比较不同压缩方案。但如果测试数据与模型训练数据高度重合,数字也可能产生误导。

第二类是 任务准确率。

例如 MMLU、ARC、HellaSwag 或项目采用的实际任务。更有价值的是,同时给出未剪枝模型与 Maple 模型的差值,而不是只贴一个孤立的分数。

第三类是 端到端基准测试。

它需要覆盖代码生成、问答、总结、结构化输出等真实工作流。最好附上失败样例,而不仅是平均分。

截至现有素材,Maple 的亮眼信息主要集中在 6GB 显存与 45 TPS。速度数字容易复现,剪枝后的模型质量才是部署关键。

如果 README 后续没有给出可复现的评测配置,这个项目更适合被称作“值得实测的工程样例”,而不是成熟方案。

Hacker News 只有 4 赞和 1 条评论

这项成果登上 Hacker News 首页,但页面记录只有 4 个赞、1 条评论。

这个信号很弱。

它不能证明项目没有价值。开源推理项目刚发布时,Hacker News 的反馈量还会受到发布时间、社区结构和传播渠道影响。一个小众 GPU、边缘设备或量化项目,也可能天然缺乏讨论。

但它至少说明一件事:目前还没有形成广泛验证。

没有大量开发者提供硬件复现、不同卡型的速度对照、loss 曲线和任务准确率,45 TPS 就仍然主要是项目方给出的单点结果。

我会把 Maple 的定位分成三层:

  1. 可信事实:它是开源 GitHub 项目,采用 Sub-2-BPW Moe Pruning,目标是 MoE 稀疏化剪枝与低显存推理。
  2. 项目方声称:Gemma 4 26B 能在 6GB 显存 GPU 上跑到 45 TPS。
  3. 仍待验证:速度能否跨硬件复现,剪枝质量损失多大,以及日常任务是否仍然可用。

这样分层,比直接宣布“26B 模型已经进入 6GB 显卡”更靠谱。

编辑思考

低显存推理的竞争点,可能不是继续把每组权重压得更低,而是改变“哪些参数需要参与计算”。Maple 展示的是一条很实用的路线:对 MoE 模型做稀疏化剪枝,先减少真实激活,再控制权重存储与运行时开销。如果结果能稳定复现,消费者的选择会从“买 24GB 还是 48GB GPU”变成“哪些任务值得本地跑”。不过,这次与过去单纯量化发布不同,Maple 把剪枝、MoE 路由和 6GB 运行绑在一起,瓶颈也更多:kernel 是否匹配、expert 是否频繁卸载、质量损失是否可接受都未明确。45 TPS 与剪枝质量目前都缺少第三方验证,所以它更像一个值得拿真实工作流压测的样例,而不是可以直接用于生产的结论。

来源

来源: https://github.com/AmSach/maple