ツール

Maple 深掘り:Gemma 4 26Bを6GB VRAMで動かす方法

Mapleは「Sub-2-BPW Moe Pruning」でGemma 4 26Bを圧縮し、6GBのGPUでも45 TPSを達成できるとしています。本稿では、メモリ使用量、処理速度、剪枝による品質低下を検証します。

文字サイズ

オープンソースプロジェクトMapleは「Sub-2-BPW Moe Pruning」でGemma 4 26Bを圧縮し、6GBのGPUでも45 TPSを達成できると主張しています。“四个の数字は印象的ですが、第三者による再現テストや剪枝に伴う品質低下は、まだ確認が必要です。

Maple深掘り:Gemma 4 26Bを6GB VRAMで動かす方法

MapleはオープンソースのGitHubプロジェクトで、リポジトリはhttps://github.com/AmSach/mapleにあります。

Sub-2-BPW Moe Pruningを採用しており、1.weightあたりのビット数を2未満に抑えた疎量化による剪枝,旨在Eachweight.Projectでは、Gemma 4 26Bを6GBしかないGPUに載せ、45 tokens per secondで生成できると主張しています。

「26Bモデル、6GBのVRAM、45 TPS」という3つの数字は_CSEROで目を引きますが、いったんPalaceの買い替えを考えましょう。

Mapleが示しているのは、実用的なエンジニアリングの طريقであり、十分に検証済みの結論ではありません。quí gustaで naughty に注目すべきなのは、「26Bすべてのパラメーターをそのまま保持する」という前提を回避している点です。

26Bモデルを6GBに収める、Mapleの()

常规的な低ビット量子化には、误解しやすい点があります。weightのビット数を下げても、計算時に残るweightが同じ割合で減るわけではなく、VRAM使用量もビット数に比例して下がるわけではありません。

推論時には、次の分も確保する必要があります。

  • KV cache
  • activationとtemporary buffer
  • フレームワークとoperatorのworkspace
  • batch sizeやcontext lengthによる追加オーバーヘッド

Mapleが選ぶのは、各weightを極端に小さくするのではなく、MoEモデルの疎な構造を利用し、各tokenで実際にactivateされ計算に参加するパラメーターを減らす方法です。

ここでは、2つの概念を区別する必要があります。

  1. モデルの総パラメーター数:Gemma 4 26Bは、引き続き26B規模のモデルです。
  2. 1tokenあたりのactiveパラメーター数:MoEのrouterは毎回一部のexpertだけを選択します。Mapleの方法は、さらにこの計算対象を中心に疎化剪枝を行います。

「Sub-2-BPW」は、単に「weight1個あたり平均2bit未満」という意味ではありません。剪枝後のweight1個あたりのビット予算を示し、剪枝された部分の計算負荷を十分低く抑えることが条件です。見出しの「Moe」はGemmaの混合expert構造を指しており、dense modelを無理にそう呼んでいるわけではありません。

このため、26Bと6GBが同時に成立する理由の説明はできます。ただし、すべての26Bモデルが同じ方法で動くわけではありません。

モデル構造、expertのrouting、kernel、メモリ割り当ての方式が違えば、結果も変わります。

45 TPSは、26B全体がVRAMに常駐することを意味しない

「activeパラメーターが2B未満」という説明は、しばしば「26Bモデルのうち2B未満しか残っていない」と直接書かれます。

この表現は厳密ではありません。

26Bはパラメーターの総数です。「2B未満」は、推論の1回で実際にactivateまたは計算に参加するパラメーターのサブセットを指す可能性Months更高的のが自然です。この区別こそが、MoEが推論コストを下げる仕組みです。

ただし、低VRAMでの実行には具体 unanswered の問題が残ります。残されたexpertのweightはどこに配置されるのでしょうか。

大量のweightが依然としてGPUに配置される必要があれば、計算は疎でも、VRAM使用量が6GBまで下がらない可能性があります。逆に、一部のexpertをCPUに置けば、45 TPSがPCIe転送やexpert routingの遅延に左右されることもあります。

したがって、45 tokens per secondという数字を見る場合は、少なくとも次の条件を確認する必要があります。

  • GPUの型番とVRAM容量
  • CUDA、driver、推論フレームワークのバージョン
  • batch size
  • promptの長さ
  • 各生成ラウンドで生成するtoken数
  • prefillとdecodeを区別しているか
  • streamingを有効にしているか
  • first token latencyを計測対象に含めているか
  • CPU offload、expert unloading、cache戦略
  • 計測scriptがモデルロード時間を除外しているか

Tokens per secondだけでは、完全な指標にはなりません。

短いprompt、少ない出力、単一同時実行では、通常かなり良い数字が出ます。長いcontext、同時リクエスト、継続的な生成では、KV cacheとbandwidthのボトルネックが表面化します。

プロジェクトでは、Gemma 4 26Bを6GBのGPUで45 TPSまで実行できるとしています現時点では、プロジェクト側の主張として記録しておくべきです。

Mapleは、Gemma 4 26Bを6GBのVRAMしかないGPUで45 tokens per secondまで実行できると主張しています。

この数字に到達できるかは、第三者による再現テストを基準に判断する必要があります。

速度の記録より先に、剪枝による品質低下を確認する

速度テストは、通常、能力的テストより,可以使用 `"simple"` です。

同じGPU、同じscript、同じpromptで数ラウンド計測すれば、TPSは得られます。一方、モデルが「馬鹿になった」かどうかを確認するには、より完全な評価が必要です。

剪枝は無손loss圧縮ではありません。weightの平均が2bit未満になっても、重要な接続を削れば出力品質は低下する可能性があります。MoEモデルでは、問題はさらに複雑になります。

  • 特定のexpertが過度に疎化されていないか
  • routerが引き続きリクエストを適切なexpertへ送れるか
  • 重要なexpertが弱化されたことで、罕见なタスクが劣化していないか
  • 量子化と剪枝を重ねたことで誤差が拡大していないか
  • 長いcontextで、errorが蓄積していくか

Mapleを判断するには、少なくとも3種類の結果が必要です。

1種類目はperplexityです。

言語モデルのlossを示し、異なる圧縮方式を比較するのに適しています。ただし、テストデータがモデルの学習データと強く重複している場合、数字が誤解を招くこともあります。

2種類目はタスクのaccuracyです。

たとえばMMLU、ARC、HellaSwag、またはプロジェクトが採用した実タスク之类です。単体でscoreを載せるより、剪枝前のモデルとMapleのモデルとの差を示す方が意味があります。

3種類目はend-to-end benchmarkです。

コード生成、質問への回答、要約、structured outputなど、実際のワークフローを網羅する必要があります。平均点だけでなく、失敗事例も添え Ideally です。

現時点で入手できる情報では、Mapleの.iteratorojureHour只是 6GBのVRAMと45 TPSに集中しています。速度の数字は再現しやすい一方、剪枝後のモデル品質が、導入可否を左右します。

今後、READMEに再現可能な評価設定が示されない場合、このプロジェクトは「実機で検証する価値のあるエンジニアリングサンプル」と呼ぶのが適切で、成熟したsolutionとみなすのは早いでしょう。

Hacker Newsの反応は「4 highと1コメント」だけ

この成果はHacker Newsのfront pageに掲載されましたが、ページの記録は4 highと1コメントにとどまります。

これは非常に弱いシグナルです。

プロジェクトに価値がないことを示すわけではありません。オープンソースの推論プロジェクトが新しく公開された直後では、投稿タイミング、コミュニティの構成、 Information flows の経路によって、Hacker Newsでの反応量も左右されます。nimなGPU、edge device、量子化プロジェクトは、そもそも議論されにくいitha.tail もあります。

少なくとも1つのことは言えます。現時点では,广泛な検証が形成されていないということです。

多数のdeveloperによるhardwareでの再現、異なるGPU Successfulの速度比較、loss curve、タスクaccuracyなどが公開されない限り、45 TPSは引き続きプロジェクト側が提示した一点のicc.resultにすぎません。

Mapleの位置づけは、3つの層に分けて考えるのが妥当でしょう。

  1. 確認できる事実:オープンソースのGitHubプロジェクトであり、Sub-2-BPW Moe Pruningを採用。MoEの疎化剪枝と低VRAM推論成为了 goals。
  2. プロジェクト側の主張:Gemma 4 26Bを6GBのVRAMを持つGPUで45 TPSまで実行できる。
  3. 未検証の事項:異なるhardwareで速度を再現できるか、剪枝による品質低下がどの程度か、日常的なタスクで実用性を保てるか。

このように分けて整理する方が、「26Bモデルが6GBのGPUに入った」と直接宣布するより、確実に安全です。

編集者の見解

低VRAM推論の競争軸は、各weightの圧縮率をさらに下げることではなく、「どのパラメーターを計算に参加させるか」を変えることにある可能性があります。Mapleは実用的な方法を提示しています。MoEモデルを疎化剪枝し、実際にactivateされるパラメーターを減らし、weightの保存量と実行時オーバーヘッドを制御するものです。結果を安定して再現できれば、consumerの選択基準は「24GBか48GBのGPUを買うか」から「どのタスクをローカルで実行すべきか」へ変わるかもしれません。

ただし、今回の試みは過去の単純な量子化リリースとは異なります。Mapleは剪枝、MoE routing、6GBでの実行を一体化しているため、解消すべきボトルネックも増えています。kernelが適切か、expertが頻繁にunloadされるか、品質低下が許容範囲に収まるかは、まだ不明です。45 TPSと剪枝後の品質はいずれも第三者検証を欠いているため、現時点では実際のワークフローで負荷試験を行う価値のあるサンプルであり、そのままproduction拿来使える結論ではありません。

出典

出典: https://github.com/AmSach/maple