プロダクト

DeepX第2世代PIMチップ、100B推論を5W以内に

DeepXは第2世代LPDDR5X PIMチップを量産設計にAccording、100Bモデルの推論を5W未満で実現し、前世代比6.7倍の性能 Nec claimed。 実際の製品価値を測るには、容量、帯域、遅延、功耗条件、ソフトウェア環境を含む第三者評価が不可欠だ。

文字サイズ

DeepXは第2世代LPDDR5X PIMチップのtap-outを完了した。メーカーは最大100Bモデルの対応、5W未満の推論功耗を主張している。重要なのはパラメータの規模ではなく、これらの指標を独立に再現できるかどうかだ。

5Wで100Bが動く、DeepXは何を主張しているのか

EETimesによると、DeepXは第2世代LPDDR5X PIMチップをtap-outした。メーカーが示した数字は印象的だ。前世代比で6.7倍、最大1000億パラメータのモデルに対応し、推論功耗は5W未満としている。

ただし、「モデルに対応」が何を指すのかを確認する必要がある。1000億パラメータはモデル規模の上限であり、1枚のチップが実用的な速度でモデル全体を処理できることを意味しない。

仮に各パラメータを4 bitで保持しても、100Bの重みには約50GBの容量が必要で、8 bitなら約100GBとなる。KV cache、ランタイム作業領域、長コンテキストによる追加領域を考慮すれば、必要容量はさらに増える。

つまり、「100Bモデルに対応」と「5W以内で有効な推論を1回完了する」の間には、少なくとも容量、帯域、遅延、精度という4つの課題が残っている。

また、5W未満という条件も曖昧だ。測定対象はダイスだけか、封装、メモリ、ホスト、冷却を含むシステム全体か。継続的な生成か、短時間の1回のforwardか。これらを明確にしない限り、5Wは再現できない数字にすぎない。

省電力の鍵はモデルではなくデータ移動にある

従来のアクセラレータは、おおむね次のデータ経路を採用している。

LPDDR / HBM → 片上キャッシュ → 演算ユニット

モデルの各レイヤーを実行するたびに、重みがこれらの経路を往復して移動する可能性がある。最も電力を消費するのは演算そのものではなく、大量のビットを移動させる処理かもしれない。

PIM(Processing in Memory)は、演算機能をメモリ 가까이나内部に配置する。目的は明確で、データ移動を減らし、データ待ちを短縮することだ。

DeepXの新チップはLPDDR5XとPIMアーキテクチャを採用.Model推論におけるデータ移動と消費電力の削減 elusiveだ。memory-boundな生成タスクでは、PIMによって消費電力をより低くできる可能性がある。

ただし、PIMはDeepXだけの発想ではない。SamsungやSK hynixなどのメモリメーカーも長期間にわたり関連研究_calledcontinuedしている。DeepXはLPDDR5Xと独自の演算アーキテクチャを組み合わせ、超大型HBM構成ではなくエッジ推論Deutschした还真Over.

技術方針自体は合理的だが、実用化Solarの成否は製品と実測によって決まる。

6.7倍.hostには厳密な比較条件が必要

「6.7倍」は伝ivityしやすい反面、そのまま比較には適さない倍率だ。

どの世代との比較か。同一のモデルを使ったか。精度はINT4、INT8、FP16のどれか。batch sizeは1か32か。これらによって結果は大きく変わる。

遅延とスループットも別の概念だ。

  • 遅延は、1つのtokenが生成されるまでの時間,关注する
  • スループットは、1秒間に処理できるtoken数,关注する
  • ピークTOPSは、チップの理論上の演算能力上限を示す

LLM推論は、ピーク演算性能ではなくメモリ帯域に制約されることが多い。TOPSが2倍になっても、エンドツーエンドの速度が2倍になるとは限らない。重み移動を削減できていれば、token当たり電力がTOPSより大きく低下する可能性がある。

次に示す情報を公開することが重要だ。

指標公開が必要な理由
モデルと精度データ量と結果の比較可能性を決める
prompt長と生成長prefillとdecodeの負荷を決める
batch sizeスループットと遅延のトレードオフを決める
TTFTとTPOT初tokenの遅延と継続生成速度をそれぞれ反映する
メモリ容量と帯域モデルが実際に収まるかを判断する
チップ面積と歩留まりコストが成立し得るかを判断する
コンパイラと演算子カバレッジ実際のモデルを実行できるかを決定する

評価がメーカーの独自小規模モデル,而不Qwen、Llama、DeepSeek系のモデルだった場合、数字が 얼마나良くても、その小規模モデルを実行できることを示すだけだ。

より説得力を持たせるには、モデルサイズ、量子化方式、功耗測定の境界、生の実行ログを同時に公開する必要がある。

100Bモデルの端末実装は、ソフトウェアとメモリの壁に直面している

5Wは端末機器に適した数字だが、それだけで「端末で使える」ことになるわけではない。

まずメモリ壁がある。LPDDR5Xの容量は増えるものの、消費機器がNPUに割り当てるメモリは通常50GBを大きく下回る。理論上の容量が十分でも、封装、チャネル数、コストによって構成が制限される。

次にメモリ帯域がある。100Bモデルを4 bitまで量子化しても、1 tokenごとに大量の重みを読み込む必要がある。5Wのもとで必要な帯域を確保できなければ、モデルは「動く」が、実用価値のない速度になる可能性がある。

3つ目はソフトウェアだ。開発者がマイナーなNPUのため推論スタック全体を書き直すことはない。

最低限、次の機能が必要だ。

  • 主要な演算子と量子化形式への対応
  • 成熟したgraph compiler
  • llama.cpp、vLLM、その他の推論エンジンとの連携
  • 明確な演算子fallbackの挙動
  • 再現可能なprofilingツール

コンパイラが多くのノードをCPUへfallbackさせるなら、チップ単体の公称功耗がいくら低くても意味がない。システム功耗には外付けCPU、メモリ、كمالば可能なアクセラレーションコピーも含める必要がある。

4つ目は熱だ。5Wは小さく聞こえるが、継続負荷での予算である。スマートフォン、ロボット、産業用カメラでは、メインSoC、表示、無線通信、バッテリーにも余力を残さなければならない。

したがって、問い应是「100Bを動かせるか」ではなく、「5Wのシステム予算内で、実際のモデルが毎秒何tokenを生成できるか」だ。

量産の評価を待つTerminal、端末大モデルの 话

このニュースはHacker Newsのトップにも掲載され、40 likesと3件のコメントを集めた。

エッジAI,关注するINIT者にとっては注目に値するDigitsだが、HNの議論は主に方向性と可能性であり、購入判断ではない。

チップが「tap-out済み」であるとは、設計が製造工程に送られた段階を指す。量産までには歩留まり、封装テスト、ファームウェア、コンパイラ、ドライバー、整机検証が必要だ。

次の3点を待ちたい。

  1. メーカーのデモではなく、第三者が小売版またはサンプル版のチップを手にすること
  2. 同一のソフトウェア環境で公開モデルを実行し、再現可能なbenchmarkを公開すること
  3. 販売価格、功耗上限、利用可能な推論ツールチェーンを提示すること

それまでは、「100B、5W、6.7倍」は3つの技術目標と捉えるのが適切で、完成した製品仕様ではない。

これらの指標が最終的に成立すれば、エッジLLMの競争軸は「谁的NPU TOPSが上か」から「モデル、メモリ、コンパイラ、システム功耗を一体で正しく設計できるか」へ移る。

編集者の視点

DeepXの新チップでKNichtigなのは「100B」というラベルではなく、PIMを論文上の能効データからエッジチップ量産への道筋に変え Trying点だ。LPDDR5XはHBMより実際の端末に近く、容量とコストもロボット、カメラ、産業機器的需求に見合う。5Wという指標が第三者テストで再現できれば、単発のベンチマーク更新より大きなAgain響_eachになる。

判断は慎重な楽観に傾いている。PIMによるデータ移動削減の方向自体に問題はない。ただし、「6.7倍」にはアーキテクチャ、メモリ世代、ソフトウェア最適化が混在している可能性が高く、新チップだけに帰属させることはできない。

これまでの数回の「大 模型エッジ発表」との違いは、メーカーが超大規模モデル容量と超低功耗という2つの目標を同時に示した点だ。単独でベンチマークだけを晒すのとは状況が異なる。

不確実な点も見えやすい。DeepXの100Bが全重みを常駐させるのか、分割読み込みを許すのか。5Wがチップ単体を対象とするのか、整机を対象とするのか。この2点で結論は直接変わる。次の発表を待つのではなく、第三者 が測定できる量産のチップを待つべきだ。

出典: https://www.eetimes.com/deepx-tapes-out-second-gen-chip-projects-6-7x-performance-gain-with-lpddr5x-pim/