#开源模型

共 111 篇带此标签

111 篇 最新 2026-11-21
往期 · #开源模型 共 11 篇
觀點

模型權重也能成為攻擊載體?LLM 供應鏈風險解析

惡意模式可能藏入模型權重,並在模型下載、轉換、量化與微調後持續傳播。現階段仍缺乏完整證據,但生產團隊應固定模型來源、保存雜湊值,並針對最終部署的權重進行安全審計。

2026-11-15 來源 2026-11-13 7 分鐘 58 次瀏覽
實戰

GLM-5.3 跨兩台 DGX 部署實測:吞吐上看 607.8 tok/s

NVIDIA 以兩台 DGX Station 搭配 vLLM 部署 GLM-5.3,測得 607.8 tok/s 推理吞吐。這次測試呈現的是多機服務的擴展路徑,但正式上線前仍須驗證延遲、併發量、長度情境與節點故障表現。

2026-11-15 來源 2026-11-14 6 分鐘 58 次瀏覽
工具

Maple 深度解析:Gemma 4 如何壓進 6GB 顯存

Maple 以 Sub-2-BPW Moe Pruning 壓縮 Gemma 4 26B,專案宣稱模型可塞入 6GB GPU,並達到 45 TPS。本文從顯存、推論速度與剪枝品質三個面向,檢視這項結果是否經得起實測。

2026-11-08 來源 2026-11-08 6 分鐘 58 次瀏覽