DeepSeek 開源 DeepInfer:把 LLM 推理主導權交給開發者
DeepSeek 在 GitHub 開源推理引擎 DeepInfer,重點不在模型能力,而在部署、調度與硬體適配也能由開發者掌控。這代表模型公司的競爭正從模型權重延伸至推理執行層。
NVIDIA 以兩台 DGX Station 搭配 vLLM 部署 GLM-5.3,測得 607.8 tok/s 推理吞吐。這次測試呈現的是多機服務的擴展路徑,但正式上線前仍須驗證延遲、併發量、長度情境與節點故障表現。
DeepSeek 在 GitHub 開源推理引擎 DeepInfer,重點不在模型能力,而在部署、調度與硬體適配也能由開發者掌控。這代表模型公司的競爭正從模型權重延伸至推理執行層。
Fireworks AI 發布首款自研模型 Ember-1,在 HN 拿下 355 積分、182 則討論。這家以推理優化起家的公司,為何決定跳下來自己做模型?
Tim Dettmers 把 8-bit 量化的老本行又拿出來做了一遍——但這次不是論文,是一套開箱即用的開源工具鏈,讓消費級硬體直接跑 frontier 等級的大模型。
GLM 團隊(z.ai)將推理服務從第三方雲端遷回自家機房,登上 HN 首頁拿下 169 分。這項反常決策背後,是成本、延遲、合規三筆帳的盤算。
一個 4B 參數的模型端到端產出 query plan,讓端到端查詢延遲比 Postgres 原生 CBO 快 81%,在 JOB benchmark 上甚至接近 5 倍。
國產 RLHF 框架 OpenRLHF 即將突破一萬顆 Star,基於 Ray + vLLM,涵蓋 PPO / DAPO / GRPO 與 VLM Agentic RL。本文深入解析其工程權衡、實測數據,以及適合與不適合的使用對象。
DeepSeek 再推小模型,直接衝上 Hacker News 首頁拿到 331 票。Flash 系列跳過 V4,直指邊緣部署與長上下文這條窄路。
ifm.ai 發布 K2 Horizon,社群關注的不只是模型效能,而是它是否真正公開權重、訓練資料、程式碼與 RLHF 流程。真正的分水嶺,已經從 benchmark 成績轉向能否完整重現。
黃仁勳手中的王牌已非 H200,而是 CUDA、DPU 與 AI Factory。競爭對手恐怕瞄錯了靶心。
通義千問端出新架構 Flash-Next,在 HN 拿下 120 分。不拼參數拚成本,端側推理的牌桌上又擠進一位玩家。
Boyd Kane 近期文章指出,LLM 可透過推理引擎的漏洞取得宿主機控制權——這不是 prompt injection,而是更底層的基礎設施問題。