#端侧推理

共 23 篇带此标签

23 篇 最新 2026-11-21
往期 · #端侧推理 共 11 篇
工具

Apple 將推新版 Mac AI 應用,本地 LLM 開發能否更輕鬆?

Apple 疑似正打造一款簡化本地模型部署的 Mac 應用,開發重點可能涵蓋模型管理、硬體調校、執行監控與端雲路由。這項產品能否降低開發門檻,取決於它是否能整合完整工作流,而不只是在現有工具外再包一層介面。

2026-11-11 來源 2026-11-10 7 分鐘 58 次瀏覽
工具

Maple 深度解析:Gemma 4 如何壓進 6GB 顯存

Maple 以 Sub-2-BPW Moe Pruning 壓縮 Gemma 4 26B,專案宣稱模型可塞入 6GB GPU,並達到 45 TPS。本文從顯存、推論速度與剪枝品質三個面向,檢視這項結果是否經得起實測。

2026-11-08 來源 2026-11-08 6 分鐘 58 次瀏覽