DeepX 已完成第二代 LPDDR5X PIM 晶片流片。廠商宣稱可支援最高 100B 模型,推理功耗低於 5W。真正的重點不只是參數規模,而是這些指標能否被第三方重現。
5W 跑 100B,DeepX 究竟宣稱了什麼
據 EETimes 報導,DeepX 已完成第二代 LPDDR5X PIM 晶片流片。廠商提出的數字相當吸睛:相較前代提升 6.7 倍,可支援最高 1000 億參數模型,推理功耗低於 5W。
首先必須釐清,「支援模型」究竟代表什麼。1000 億參數是模型規模的上限,並不意味著單一晶片能以可用速度處理完整模型。
假設每個參數僅占 4 bit,100B 權重仍需要約 50GB 儲存空間;若採 8 bit,則約需 100GB。加上 KV cache、執行階段工作區,以及長上下文造成的額外占用,實際需求只會更高。
因此,「支援 100B」與「在 5W 內完成一次有效推理」之間,至少還隔著容量、頻寬、延遲與精度四道關卡。
此外,「低於 5W」也有前提:測量的是裸晶片,還是包含封裝、記憶體、主機與散熱的整機功耗?測的是持續生成,還是一次短暫的 forward?
若這些口徑未明確,5W 就只是一個無法重現的數字。
省電的關鍵不是模型,而是資料搬移
傳統加速器大致採用以下資料路徑:
LPDDR / HBM → 片上快取 → 計算單元
模型每執行一層,權重都可能沿著這些路徑反覆搬移。真正的運算未必最耗能,大量 bit 搬來搬去才是問題所在。
PIM,即 Processing in Memory,將運算能力放進記憶體附近或內部。目標十分直接:減少資料搬移,也減少等待資料的時間。
DeepX 這代晶片採用 LPDDR5X 與處理記憶體(PIM)架構,正是為了降低模型推理時的資料搬移與能耗。對於受記憶體頻寬限制的生成任務,這有望帶來更低的能源消耗。
但 PIM 並非 DeepX 獨有的構想。Samsung、SK hynix 等記憶體製造商長期投入相關研究。DeepX 選擇 LPDDR5X 搭配自研運算架構,並將目標鎖定於邊緣推理,而非超大規格的 HBM 方案。
這條技術路線本身合理,能否成功商業化,仍須由產品與實測結果驗證。
6.7 倍提升需要更嚴謹的對照條件
「6.7 倍」是個容易傳播,卻不適合直接拿來比較的倍率。
它比較的是哪一代晶片?是否使用相同模型?精度是 INT4、INT8,還是 FP16?batch size 是 1 還是 32?
延遲與吞吐也不是同一回事:
- 延遲關注一個 token 需要多久產生
- 吞吐關注每秒能處理多少 token
- 峰值 TOPS 關注晶片的理論運算上限
LLM 推理經常受到記憶體頻寬限制,而非峰值算力限制。即使晶片 TOPS 翻倍,端到端速度也未必同步倍增。若能降低權重搬移量,單位 token 能耗可能比 TOPS 下降得更明顯。
更值得關注的是以下這組數據:
| 指標 | 為何必須公開 |
|---|---|
| 模型與精度 | 決定資料量與結果的可比性 |
| prompt 長度與生成長度 | 決定 prefill 與 decode 的負載 |
| batch size | 決定吞吐與延遲之間的取捨 |
| TTFT 與 TPOT | 分別反映首個 token 的延遲與持續生成速度 |
| 記憶體容量與頻寬 | 判斷模型是否真的能完整載入 |
| 晶片面積與良率 | 判斷成本是否具備可行性 |
| 編譯器與算子涵蓋範圍 | 決定真實模型能否執行 |
若評測採用廠商自製的小模型,而非 Qwen、Llama 或 DeepSeek 系列模型,再漂亮的數字也只能證明晶片能執行那個小模型。
更有說服力的測試,應同時揭露模型大小、量化方式、功耗量測邊界與原始執行紀錄。
100B 模型走向端側,仍受制於軟體與記憶體牆
5W 很適合終端設備,卻不會自動等同於「在終端可用」。
第一道障礙是記憶體牆。LPDDR5X 容量雖會持續增加,但消費級裝置為 NPU 預留的記憶體通常遠低於 50GB。即使理論容量足夠,封裝、通道數與成本也會限制實際配置。
第二道障礙是記憶體頻寬。即使 100B 模型量化至 4 bit,生成每個 token 仍需讀取大量權重。若 5W 功耗下的持續頻寬不足,模型雖然「跑得動」,速度仍可能慢到缺乏產品價值。
第三道障礙是軟體。開發者不會只為了一款小眾 NPU,就重寫整套推理技術棧。
至少需要具備以下能力:
- 支援主流算子與量化格式
- 成熟的 graph compiler
- 能與 llama.cpp、vLLM 或其他推理引擎整合
- 明確的算子 fallback 行為
- 可重複執行的 profiling 工具
如果編譯器將大多數節點 fallback 到 CPU,即使晶片標示功耗再低,也沒有太大意義。系統功耗必須計入外接 CPU、記憶體,以及可能發生的加速資料拷貝。
第四道障礙是散熱。5W 聽起來不高,卻是持續負載下的功耗預算。手機、機器人與工業攝影機,還得為主 SoC、顯示器、無線通訊與電池保留餘裕。
因此,真正該問的不是「能不能跑 100B」,而是「在 5W 系統預算內,某類真實模型每秒能生成多少 token」。
先等量產晶片,再談端側大模型
這則消息也登上 Hacker News 首頁,獲得 40 個讚與 3 則留言。
對關注邊緣 AI 的人而言,這樣的熱度不算低。但 HN 首頁討論的焦點更多是方向與潛力,而非採購決策。
晶片「已完成流片」只代表設計已送入製造流程。從流片到量產之間,還有良率、封裝測試、韌體、編譯器、驅動程式與整機驗證等環節。
接下來有三項結果值得等待:
- 第三方拿到零售版或樣品晶片,而非只能觀看廠商 demo
- 在相同軟體環境下執行公開模型,並發布可重現的 benchmark
- 公開售價、功耗上限與可用的推理工具鏈
在此之前,「100B、5W、6.7 倍」更適合被視為三項技術目標,而非已經定型的產品規格。
若這些指標最終獲得證實,端側 LLM 的競爭將會從「誰的 NPU TOPS 更高」,轉向「誰能把模型、記憶體、編譯器與整機功耗一起做好」。
編輯觀察
DeepX 這代晶片真正值得關注的,不是「100B」這個標籤,而是它嘗試將 PIM 從論文中的能效數據,轉化為邊緣晶片的量產路線。LPDDR5X 比 HBM 更貼近真實終端裝置,容量與成本也更符合機器人、攝影機與工業設備的需求。如果 5W 指標能在第三方測試中成立,其影響將遠大於單次跑分提升。
整體來看,這項技術值得謹慎樂觀看待:PIM 減少資料搬移的方向沒有太大問題;但「6.7 倍」很可能混合了架構、記憶體世代與軟體最佳化的成果,不能單純歸因於新晶片。
這次與過去幾輪「邊緣大模型」發布不同之處,在於廠商同時提出超大模型容量與超低功耗兩項目標,而非只展示單一跑分。
目前的不確定性也很明確:DeepX 所稱的 100B 是讓全部權重常駐,還是允許分塊載入?5W 又涵蓋晶片還是整機?這兩點都會直接改變結論。下一步不該再等另一場發表會,而應該等待一款能交由他人拆解測試的量產晶片。