工具

DeepSeek 開源 DeepInfer:把 LLM 推理主導權交給開發者

DeepSeek 在 GitHub 開源推理引擎 DeepInfer,重點不在模型能力,而在部署、調度與硬體適配也能由開發者掌控。這代表模型公司的競爭正從模型權重延伸至推理執行層。

字級

⚠️ 草稿——事實尚未查證,暫緩發布

DeepSeek 在 GitHub 開源了名為 DeepInfer 的推理引擎,專案網址如下:

https://github.com/deepseek-ai/DeepInfer

這不是 DeepSeek 發布的新模型權重,也不是多一個聊天模型或一組可直接下載的 checkpoint。

它比較像是模型公司把推理堆疊的一部分拆解出來,交由開發者自行組合、修改與部署。

這件事的意義在於:開源的對象從模型權重,轉向推理基礎設施。

開源的不是模型,而是推理主導權

先釐清 DeepInfer 的定位。

DeepInfer 屬於推理基礎設施專案,並非 DeepSeek 新發布的模型權重。

模型權重決定模型「會什麼」,推理引擎則決定模型「怎麼跑」。

後者至少涉及幾個層面的問題:

  • 請求如何排隊
  • batch 如何切分
  • KV cache 如何管理
  • GPU 顯存如何運用
  • 多機、多卡如何通訊
  • 模型架構如何適配硬體
  • 吞吐量與延遲如何取捨

如果模型只能透過官方 API 執行,開發者通常只能調整 temperature、max_tokens 和提示詞。

推理引擎開源後,選擇空間變大了。開發者可以依照業務負載重新設計 batching、替換 kernel、檢查記憶體行為,甚至將推理程序嵌入自有服務。

這不代表「你可以任意改變模型能力」。

但你確實取得了更多主導權:不必只能接受平台提供的預設設定,而是能自行決定模型如何在機器上執行。

對 LLM 應用而言,這比再推出一個同名模型更直接。

DeepInfer 為何值得關注

過去,推理層經常被包裝成「部署細節」。

實際上,部署細節會直接影響成本與使用體驗。

同一組模型權重,在不同硬體、batch 策略與上下文長度下,吞吐量可能相差甚遠。線上業務也不只是看平均速度。

你還需要觀察:

  • 首 token 延遲
  • 每個 token 的延遲
  • 並行請求數
  • 峰值顯存
  • 長上下文下的穩定性
  • 請求失敗後的復原速度

Agent 與 RAG 應用尤其如此。請求通常不是一次生成就結束,而是會連續呼叫工具、檢索文件並重新提交上下文。鏈路越長,推理層的排隊、快取與調度就越容易成為瓶頸。

官方 API 雖然方便,卻是封閉的。開發者難以得知內部如何安排請求,也很難依照自身的 GPU、CPU 或網路條件進行最佳化。

開源推理引擎提供了另一條路:直接管理執行環境。

這將改變部署、客製化及最佳化 LLM 推理能力的方式。開發者可以把模型放進自有機器,針對固定業務測試 batch 與快取策略;也能從程式碼觀察調度行為,而不只是查看 API 回應時間。

不過,不能把「開源」直接等同於「更容易」。

如果 DeepInfer 的價值只是讓 CLI 能啟動模型,它與既有推理工具便沒有太大差別。真正的判斷標準是:它能否將 kernel、記憶體、調度與硬體適配這些高難度環節,整理成開發者可以修改的介面。

GitHub 與 Hacker News 的熱度訊號

相關專案登上 Hacker News 首頁,獲得 551 分與 197 則留言。

這個訊號比單純的 GitHub star 更有參考價值。

star 可能只是收藏,登上 HN 首頁則表示專案已進入工程師的討論範圍。551 分與 197 則留言至少說明兩件事:

第一,開發者願意停下來閱讀它。

第二,大家不只是在看 README,也在討論它對生產部署、硬體生態與模型公司的影響。

當然,HN 的熱度不等於生產環境採用率。

開源專案常見的發展路徑是:發布時引發大量討論,真正投入使用則要再過數週甚至數月。開發者會先查看授權條款、相依套件、issue 與 benchmark,再決定是否納入自有服務。

因此,我會把 551 分與 197 則留言視為傳播訊號,而非效能證明。

原始專案網址:

https://github.com/deepseek-ai/DeepInfer

相關 Hacker News 數據取自專案發布後的頁面紀錄。

對關注 LLM 基礎設施的人而言,這已經足以成為建立測試環境的理由。

開源之後,工程難點從訓練轉向維運

真正的問題不是把儲存庫 clone 下來。

clone 下來之後,工程工作才正要開始。

第一關是顯存。

模型能載入,不代表能穩定提供服務。必須測試單卡、多卡、不同 batch 與不同上下文長度下的顯存峰值,也要確認長請求是否造成記憶體碎片。

第二關是吞吐量。

離線 benchmark 的成績很漂亮,不代表線上並行負載下仍然有效。prefill 與 decode 應分開測試,因為兩者的瓶頸並不相同。

第三關是延遲。

平均延遲可能掩蓋尾延遲。對 Agent 而言,工具呼叫鏈中的 P95、P99 延遲更為重要。單一請求慢了 200 毫秒,經過多次呼叫後便會不斷累積。

第四關是相容性。

CUDA 版本、GPU 架構、驅動程式、量化格式與模型實作,都可能影響結果。

第五關是線上穩定性。

推理服務還必須處理逾時、取消請求、無效輸入、OOM、服務重啟與流量尖峰。這些情況通常不會出現在 README 的快速範例中。

因此,評估 DeepInfer 的方式不應只是「能不能跑起來」,而應聚焦於:

  • 使用同一組請求時,吞吐量是否具備可重現性
  • 長上下文是否出現 OOM
  • 並行負載提高後,P99 延遲如何變化
  • 調整調度策略後,顯存與吞吐量能否同時改善
  • 失敗請求能否正確取消並釋放資源

對開發者與企業而言,這些才是推理基礎設施的核心價值。

開源帶來了主導權,也把工程責任交回使用者手上。

編輯觀察

DeepInfer 的重要性不在於 DeepSeek 又多了一個 GitHub 專案,而在於模型公司開始競爭推理入口。過去,模型公司的競爭焦點是訓練成本、參數規模與公開排行榜;如今,隨著模型能力逐漸接近,真正拉開差距的因素可能變成誰能妥善處理請求、誰能以更低成本運用顯存,以及誰能進入企業的推理堆疊。

開源引擎把競爭從「誰的模型更強」推進到「誰的控制面更開放」。我的判斷是,模型 API 仍會是多數開發者的首選,但高並行、長上下文、Agent 工具鏈與私有化部署,會逐漸將更多注意力轉向可修改的執行環境。

這次的不同之處在於,過去的開源主要開放權重,呼叫、調度與硬體細節仍掌握在平台手中;這次公開的則是更接近執行層的基礎設施。至於 DeepInfer 能否形成長期生態,仍取決於相容性、benchmark、維護節奏與真實的生產環境案例。目前的資訊尚不足以得出結論。

來源: https://github.com/deepseek-ai/DeepInfer