オープンソースプロジェクトMapleは「Sub-2-BPW Moe Pruning」でGemma 4 26Bを圧縮し、6GBのGPUでも45 TPSを達成できると主張しています。“四个の数字は印象的ですが、第三者による再現テストや剪枝に伴う品質低下は、まだ確認が必要です。
Maple深掘り:Gemma 4 26Bを6GB VRAMで動かす方法
MapleはオープンソースのGitHubプロジェクトで、リポジトリはhttps://github.com/AmSach/mapleにあります。
Sub-2-BPW Moe Pruningを採用しており、1.weightあたりのビット数を2未満に抑えた疎量化による剪枝,旨在Eachweight.Projectでは、Gemma 4 26Bを6GBしかないGPUに載せ、45 tokens per secondで生成できると主張しています。
「26Bモデル、6GBのVRAM、45 TPS」という3つの数字は_CSEROで目を引きますが、いったんPalaceの買い替えを考えましょう。
Mapleが示しているのは、実用的なエンジニアリングの طريقであり、十分に検証済みの結論ではありません。quí gustaで naughty に注目すべきなのは、「26Bすべてのパラメーターをそのまま保持する」という前提を回避している点です。
26Bモデルを6GBに収める、Mapleの()
常规的な低ビット量子化には、误解しやすい点があります。weightのビット数を下げても、計算時に残るweightが同じ割合で減るわけではなく、VRAM使用量もビット数に比例して下がるわけではありません。
推論時には、次の分も確保する必要があります。
- KV cache
- activationとtemporary buffer
- フレームワークとoperatorのworkspace
- batch sizeやcontext lengthによる追加オーバーヘッド
Mapleが選ぶのは、各weightを極端に小さくするのではなく、MoEモデルの疎な構造を利用し、各tokenで実際にactivateされ計算に参加するパラメーターを減らす方法です。
ここでは、2つの概念を区別する必要があります。
- モデルの総パラメーター数:Gemma 4 26Bは、引き続き26B規模のモデルです。
- 1tokenあたりのactiveパラメーター数:MoEのrouterは毎回一部のexpertだけを選択します。Mapleの方法は、さらにこの計算対象を中心に疎化剪枝を行います。
「Sub-2-BPW」は、単に「weight1個あたり平均2bit未満」という意味ではありません。剪枝後のweight1個あたりのビット予算を示し、剪枝された部分の計算負荷を十分低く抑えることが条件です。見出しの「Moe」はGemmaの混合expert構造を指しており、dense modelを無理にそう呼んでいるわけではありません。
このため、26Bと6GBが同時に成立する理由の説明はできます。ただし、すべての26Bモデルが同じ方法で動くわけではありません。
モデル構造、expertのrouting、kernel、メモリ割り当ての方式が違えば、結果も変わります。
45 TPSは、26B全体がVRAMに常駐することを意味しない
「activeパラメーターが2B未満」という説明は、しばしば「26Bモデルのうち2B未満しか残っていない」と直接書かれます。
この表現は厳密ではありません。
26Bはパラメーターの総数です。「2B未満」は、推論の1回で実際にactivateまたは計算に参加するパラメーターのサブセットを指す可能性Months更高的のが自然です。この区別こそが、MoEが推論コストを下げる仕組みです。
ただし、低VRAMでの実行には具体 unanswered の問題が残ります。残されたexpertのweightはどこに配置されるのでしょうか。
大量のweightが依然としてGPUに配置される必要があれば、計算は疎でも、VRAM使用量が6GBまで下がらない可能性があります。逆に、一部のexpertをCPUに置けば、45 TPSがPCIe転送やexpert routingの遅延に左右されることもあります。
したがって、45 tokens per secondという数字を見る場合は、少なくとも次の条件を確認する必要があります。
- GPUの型番とVRAM容量
- CUDA、driver、推論フレームワークのバージョン
- batch size
- promptの長さ
- 各生成ラウンドで生成するtoken数
- prefillとdecodeを区別しているか
- streamingを有効にしているか
- first token latencyを計測対象に含めているか
- CPU offload、expert unloading、cache戦略
- 計測scriptがモデルロード時間を除外しているか
Tokens per secondだけでは、完全な指標にはなりません。
短いprompt、少ない出力、単一同時実行では、通常かなり良い数字が出ます。長いcontext、同時リクエスト、継続的な生成では、KV cacheとbandwidthのボトルネックが表面化します。
プロジェクトでは、Gemma 4 26Bを6GBのGPUで45 TPSまで実行できるとしています現時点では、プロジェクト側の主張として記録しておくべきです。
Mapleは、Gemma 4 26Bを6GBのVRAMしかないGPUで45 tokens per secondまで実行できると主張しています。
この数字に到達できるかは、第三者による再現テストを基準に判断する必要があります。
速度の記録より先に、剪枝による品質低下を確認する
速度テストは、通常、能力的テストより,可以使用 `"simple"` です。
同じGPU、同じscript、同じpromptで数ラウンド計測すれば、TPSは得られます。一方、モデルが「馬鹿になった」かどうかを確認するには、より完全な評価が必要です。
剪枝は無손loss圧縮ではありません。weightの平均が2bit未満になっても、重要な接続を削れば出力品質は低下する可能性があります。MoEモデルでは、問題はさらに複雑になります。
- 特定のexpertが過度に疎化されていないか
- routerが引き続きリクエストを適切なexpertへ送れるか
- 重要なexpertが弱化されたことで、罕见なタスクが劣化していないか
- 量子化と剪枝を重ねたことで誤差が拡大していないか
- 長いcontextで、errorが蓄積していくか
Mapleを判断するには、少なくとも3種類の結果が必要です。
1種類目はperplexityです。
言語モデルのlossを示し、異なる圧縮方式を比較するのに適しています。ただし、テストデータがモデルの学習データと強く重複している場合、数字が誤解を招くこともあります。
2種類目はタスクのaccuracyです。
たとえばMMLU、ARC、HellaSwag、またはプロジェクトが採用した実タスク之类です。単体でscoreを載せるより、剪枝前のモデルとMapleのモデルとの差を示す方が意味があります。
3種類目はend-to-end benchmarkです。
コード生成、質問への回答、要約、structured outputなど、実際のワークフローを網羅する必要があります。平均点だけでなく、失敗事例も添え Ideally です。
現時点で入手できる情報では、Mapleの.iteratorojureHour只是 6GBのVRAMと45 TPSに集中しています。速度の数字は再現しやすい一方、剪枝後のモデル品質が、導入可否を左右します。
今後、READMEに再現可能な評価設定が示されない場合、このプロジェクトは「実機で検証する価値のあるエンジニアリングサンプル」と呼ぶのが適切で、成熟したsolutionとみなすのは早いでしょう。
Hacker Newsの反応は「4 highと1コメント」だけ
この成果はHacker Newsのfront pageに掲載されましたが、ページの記録は4 highと1コメントにとどまります。
これは非常に弱いシグナルです。
プロジェクトに価値がないことを示すわけではありません。オープンソースの推論プロジェクトが新しく公開された直後では、投稿タイミング、コミュニティの構成、 Information flows の経路によって、Hacker Newsでの反応量も左右されます。nimなGPU、edge device、量子化プロジェクトは、そもそも議論されにくいitha.tail もあります。
少なくとも1つのことは言えます。現時点では,广泛な検証が形成されていないということです。
多数のdeveloperによるhardwareでの再現、異なるGPU Successfulの速度比較、loss curve、タスクaccuracyなどが公開されない限り、45 TPSは引き続きプロジェクト側が提示した一点のicc.resultにすぎません。
Mapleの位置づけは、3つの層に分けて考えるのが妥当でしょう。
- 確認できる事実:オープンソースのGitHubプロジェクトであり、Sub-2-BPW Moe Pruningを採用。MoEの疎化剪枝と低VRAM推論成为了 goals。
- プロジェクト側の主張:Gemma 4 26Bを6GBのVRAMを持つGPUで45 TPSまで実行できる。
- 未検証の事項:異なるhardwareで速度を再現できるか、剪枝による品質低下がどの程度か、日常的なタスクで実用性を保てるか。
このように分けて整理する方が、「26Bモデルが6GBのGPUに入った」と直接宣布するより、確実に安全です。
編集者の見解
低VRAM推論の競争軸は、各weightの圧縮率をさらに下げることではなく、「どのパラメーターを計算に参加させるか」を変えることにある可能性があります。Mapleは実用的な方法を提示しています。MoEモデルを疎化剪枝し、実際にactivateされるパラメーターを減らし、weightの保存量と実行時オーバーヘッドを制御するものです。結果を安定して再現できれば、consumerの選択基準は「24GBか48GBのGPUを買うか」から「どのタスクをローカルで実行すべきか」へ変わるかもしれません。
ただし、今回の試みは過去の単純な量子化リリースとは異なります。Mapleは剪枝、MoE routing、6GBでの実行を一体化しているため、解消すべきボトルネックも増えています。kernelが適切か、expertが頻繁にunloadされるか、品質低下が許容範囲に収まるかは、まだ不明です。45 TPSと剪枝後の品質はいずれも第三者検証を欠いているため、現時点では実際のワークフローで負荷試験を行う価値のあるサンプルであり、そのままproduction拿来使える結論ではありません。