工具

Maple 深度解析:Gemma 4 如何壓進 6GB 顯存

Maple 以 Sub-2-BPW Moe Pruning 壓縮 Gemma 4 26B,專案宣稱模型可塞入 6GB GPU,並達到 45 TPS。本文從顯存、推論速度與剪枝品質三個面向,檢視這項結果是否經得起實測。

字級

開源專案 Maple 採用 Sub-2-BPW Moe Pruning 壓縮 Gemma 4 26B,宣稱模型可塞入僅有 6GB 顯存的 GPU,並跑出 45 TPS。這組數字相當吸睛,但第三方重現結果與剪枝造成的損失仍有待確認。

Maple 深度解析:Gemma 4 如何壓進 6GB 顯存

Maple 是一個開源 GitHub 專案,儲存庫位於 https://github.com/AmSach/maple。

它採用 Sub-2-BPW Moe Pruning,針對每權重比特數低於 2 的稀疏化剪枝。專案宣稱,Gemma 4 26B 可放入配備僅 6GB 顯存的 GPU,生成速度達到 45 tokens per second。

三個數字放在一起十分吸睛:26B 模型、6GB 顯存、45 TPS。

但現在還不是換顯卡的时候。

把 26B 模型塞進 6GB,Maple 如何做到

一般低比特量化有一個容易誤解的地方:降低權重位寬,不代表推論時只剩下這麼多權重,也不代表顯存占用會隨位寬等比例下降。

推論階段還必須為下列項目保留空間:

  • KV cache
  • 激活值與暫存 buffer
  • 框架與算子的 workspace
  • batch size、上下文長度造成的額外開銷

Maple 的核心取捨不是讓每個權重都縮到極小,而是利用 MoE 模型的稀疏結構,減少每個 token 實際激活並參與計算的參數。

這裡需要區分兩件事:

  1. 模型總參數:Gemma 4 26B 仍是規模達 26B 的模型。
  2. 單一 token 激活參數:MoE 路由每次只會選取部分 expert,Maple 的方案則進一步針對這部分計算進行稀疏化剪枝。

「Sub-2-BPW」也不只是「每個權重平均不到 2 bit」這麼簡單。它描述的是剪枝後的每權重比特預算,並要求計算路徑對遭剪除的部分維持足夠低的負擔。標題中的「Moe」指的是 Gemma 的混合專家架構,而非將稠密模型改個名字就算數。

這解釋了 26B 與 6GB 為何能夠同時存在,但不代表所有 26B 模型都能以相同方式執行。

若模型架構、expert 路由、kernel 或記憶體分配方式不同,結果也會不同。

45 TPS 不等於 26B 全數常駐顯存

「激活參數不到 2B」經常被直接寫成「26B 模型只剩不到 2B」。

這種說法不夠嚴謹。

26B 是參數總量;「不到 2B」更可能對應單次推論中實際激活或參與計算的參數子集。兩者的差異,正是 MoE 能降低推論成本的原因。

不過,低顯存執行仍須回答一個具體問題:保留下來的專家權重要放在哪裡?

如果大量權重仍須映射至 GPU,計算固然可以保持稀疏,顯存卻未必能壓到 6GB。反之,若將部分 expert 留在 CPU,45 TPS 又可能受到 PCIe 傳輸與 expert routing 延遲影響。

因此,看到 45 tokens per second 時,至少要核對以下條件:

  • GPU 型號與顯存容量
  • CUDA、驅動程式及推論框架版本
  • batch size
  • prompt 長度
  • 每輪生成多少 tokens
  • 是否區分 prefill 與 decode
  • 是否啟用 streaming
  • 是否統計首個 token 延遲
  • CPU offload、專家卸載與快取策略
  • 計時腳本是否排除模型載入時間

Tokens per second 本身並不是一項完整指標。

短 prompt、少量輸出與單一併發下,數字通常較好看。長上下文、多個併發請求與持續生成,則會暴露 KV cache 與頻寬瓶頸。

專案宣稱 Gemma 4 26B 可在 6GB GPU 上達到 45 TPS。以目前資訊來看,這項結果應按專案方的說法記錄:

Maple 宣稱 Gemma 4 26B 可在僅有 6GB 顯存的 GPU 上執行,速度達到 45 tokens per second。

能否達成這個數字,仍應以第三方重現結果為準。

先看剪枝損失,再看速度紀錄

速度測試通常比能力測試容易。

使用同一張顯示卡、同一支腳本與同一段 prompt,計時幾輪便能得到 TPS;模型是否「變笨」,卻需要一套更完整的評估。

剪枝並非無損壓縮。即使權重平均只剩不到 2 bit,只要刪掉關鍵連結,輸出品質仍可能下降。對 MoE 模型而言,問題還會更加複雜:

  • 某個 expert 是否遭到過度稀疏化?
  • router 是否仍能把請求送往合適的 expert?
  • 少數罕見任務是否因關鍵 expert 被削弱而退化?
  • 量化與剪枝疊加後,誤差是否被放大?
  • 在長上下文下,錯誤是否會逐步累積?

評估 Maple 時,至少應看到三類結果。

第一類是 perplexity。

它能反映語言建模損失,適合横向比較不同壓縮方案;但若測試資料與模型訓練資料高度重疊,數字也可能產生誤導。

第二類是任務準確率。

例如 MMLU、ARC、HellaSwag,或專案採用的實際任務。比起只列出一個孤立的分數,同時呈現未剪枝模型與 Maple 模型的差距更有參考價值。

第三類是端到端基準測試。

測試內容需要涵蓋程式碼生成、問答、摘要與結構化輸出等真實工作流程。最好也附上失敗案例,而非只提供平均分數。

依目前資訊,Maple 最吸睛的數據主要集中在 6GB 顯存與 45 TPS。速度數字容易重現,剪枝後的模型品質才是部署關鍵。

若 README 後續仍未提供可重現的評測設定,這個專案更適合被視為「值得實測的工程範例」,而非成熟方案。

Hacker News 只有 4 個讚與 1 則留言

這項成果登上 Hacker News 首頁,但頁面紀錄只有 4 個讚、1 則留言。

這個訊號很弱。

它不能證明專案沒有價值。開源推論專案剛發布時,Hacker News 的回饋量也會受到發布時間、社群結構與傳播管道影響。小眾 GPU、邊緣裝置或量化專案,也可能天生較缺乏討論。

但它至少說明一件事:目前尚未形成廣泛驗證。

如果沒有大量開發者提供硬體重現結果、不同卡型的速度對照、loss 曲線與任務準確率,45 TPS 目前仍主要只是專案方提供的單點結果。

Maple 的定位可以分成三層:

  1. 可信事實:它是開源 GitHub 專案,採用 Sub-2-BPW Moe Pruning,目標是 MoE 稀疏化剪枝與低顯存推論。
  2. 專案方宣稱:Gemma 4 26B 能在配備 6GB 顯存的 GPU 上跑到 45 TPS。
  3. 仍待驗證:速度能否在不同硬體上重現、剪枝品質損失多大,以及日常任務是否仍然可用。

如此分層,比直接宣稱「26B 模型已經進入 6GB 顯示卡」更為可靠。

編輯觀察

低顯存推論的競爭重點,可能不再是繼續壓低每組權重的位元數,而是改變「哪些參數需要參與計算」。Maple 展示的是一條相當實用的路線:對 MoE 模型進行稀疏化剪枝,先減少實際激活的參數,再控制權重儲存與執行期開銷。若結果能穩定重現,消費者的選擇可能會從「買 24GB 還是 48GB GPU」轉變為「哪些任務值得在本機執行」。

不過,這次與過去單純發布量化模型不同,Maple 把剪枝、MoE 路由與 6GB 執行綁在一起,因此也增加了更多瓶頸:kernel 是否匹配、expert 是否頻繁卸載,以及品質損失是否在可接受範圍內,目前都未明確。45 TPS 與剪枝品質都缺少第三方驗證,因此它更像是可用真實工作流程壓力測試的範例,而不是能直接投入生產環境的結論。

來源

來源: https://github.com/AmSach/maple