⚠️ 草稿——事實尚未查證,暫緩發布
DeepSeek 在 GitHub 開源了名為 DeepInfer 的推理引擎,專案網址如下:
https://github.com/deepseek-ai/DeepInfer
這不是 DeepSeek 發布的新模型權重,也不是多一個聊天模型或一組可直接下載的 checkpoint。
它比較像是模型公司把推理堆疊的一部分拆解出來,交由開發者自行組合、修改與部署。
這件事的意義在於:開源的對象從模型權重,轉向推理基礎設施。
開源的不是模型,而是推理主導權
先釐清 DeepInfer 的定位。
DeepInfer 屬於推理基礎設施專案,並非 DeepSeek 新發布的模型權重。
模型權重決定模型「會什麼」,推理引擎則決定模型「怎麼跑」。
後者至少涉及幾個層面的問題:
- 請求如何排隊
- batch 如何切分
- KV cache 如何管理
- GPU 顯存如何運用
- 多機、多卡如何通訊
- 模型架構如何適配硬體
- 吞吐量與延遲如何取捨
如果模型只能透過官方 API 執行,開發者通常只能調整 temperature、max_tokens 和提示詞。
推理引擎開源後,選擇空間變大了。開發者可以依照業務負載重新設計 batching、替換 kernel、檢查記憶體行為,甚至將推理程序嵌入自有服務。
這不代表「你可以任意改變模型能力」。
但你確實取得了更多主導權:不必只能接受平台提供的預設設定,而是能自行決定模型如何在機器上執行。
對 LLM 應用而言,這比再推出一個同名模型更直接。
DeepInfer 為何值得關注
過去,推理層經常被包裝成「部署細節」。
實際上,部署細節會直接影響成本與使用體驗。
同一組模型權重,在不同硬體、batch 策略與上下文長度下,吞吐量可能相差甚遠。線上業務也不只是看平均速度。
你還需要觀察:
- 首 token 延遲
- 每個 token 的延遲
- 並行請求數
- 峰值顯存
- 長上下文下的穩定性
- 請求失敗後的復原速度
Agent 與 RAG 應用尤其如此。請求通常不是一次生成就結束,而是會連續呼叫工具、檢索文件並重新提交上下文。鏈路越長,推理層的排隊、快取與調度就越容易成為瓶頸。
官方 API 雖然方便,卻是封閉的。開發者難以得知內部如何安排請求,也很難依照自身的 GPU、CPU 或網路條件進行最佳化。
開源推理引擎提供了另一條路:直接管理執行環境。
這將改變部署、客製化及最佳化 LLM 推理能力的方式。開發者可以把模型放進自有機器,針對固定業務測試 batch 與快取策略;也能從程式碼觀察調度行為,而不只是查看 API 回應時間。
不過,不能把「開源」直接等同於「更容易」。
如果 DeepInfer 的價值只是讓 CLI 能啟動模型,它與既有推理工具便沒有太大差別。真正的判斷標準是:它能否將 kernel、記憶體、調度與硬體適配這些高難度環節,整理成開發者可以修改的介面。
GitHub 與 Hacker News 的熱度訊號
相關專案登上 Hacker News 首頁,獲得 551 分與 197 則留言。
這個訊號比單純的 GitHub star 更有參考價值。
star 可能只是收藏,登上 HN 首頁則表示專案已進入工程師的討論範圍。551 分與 197 則留言至少說明兩件事:
第一,開發者願意停下來閱讀它。
第二,大家不只是在看 README,也在討論它對生產部署、硬體生態與模型公司的影響。
當然,HN 的熱度不等於生產環境採用率。
開源專案常見的發展路徑是:發布時引發大量討論,真正投入使用則要再過數週甚至數月。開發者會先查看授權條款、相依套件、issue 與 benchmark,再決定是否納入自有服務。
因此,我會把 551 分與 197 則留言視為傳播訊號,而非效能證明。
原始專案網址:
https://github.com/deepseek-ai/DeepInfer
相關 Hacker News 數據取自專案發布後的頁面紀錄。
對關注 LLM 基礎設施的人而言,這已經足以成為建立測試環境的理由。
開源之後,工程難點從訓練轉向維運
真正的問題不是把儲存庫 clone 下來。
clone 下來之後,工程工作才正要開始。
第一關是顯存。
模型能載入,不代表能穩定提供服務。必須測試單卡、多卡、不同 batch 與不同上下文長度下的顯存峰值,也要確認長請求是否造成記憶體碎片。
第二關是吞吐量。
離線 benchmark 的成績很漂亮,不代表線上並行負載下仍然有效。prefill 與 decode 應分開測試,因為兩者的瓶頸並不相同。
第三關是延遲。
平均延遲可能掩蓋尾延遲。對 Agent 而言,工具呼叫鏈中的 P95、P99 延遲更為重要。單一請求慢了 200 毫秒,經過多次呼叫後便會不斷累積。
第四關是相容性。
CUDA 版本、GPU 架構、驅動程式、量化格式與模型實作,都可能影響結果。
第五關是線上穩定性。
推理服務還必須處理逾時、取消請求、無效輸入、OOM、服務重啟與流量尖峰。這些情況通常不會出現在 README 的快速範例中。
因此,評估 DeepInfer 的方式不應只是「能不能跑起來」,而應聚焦於:
- 使用同一組請求時,吞吐量是否具備可重現性
- 長上下文是否出現 OOM
- 並行負載提高後,P99 延遲如何變化
- 調整調度策略後,顯存與吞吐量能否同時改善
- 失敗請求能否正確取消並釋放資源
對開發者與企業而言,這些才是推理基礎設施的核心價值。
開源帶來了主導權,也把工程責任交回使用者手上。
編輯觀察
DeepInfer 的重要性不在於 DeepSeek 又多了一個 GitHub 專案,而在於模型公司開始競爭推理入口。過去,模型公司的競爭焦點是訓練成本、參數規模與公開排行榜;如今,隨著模型能力逐漸接近,真正拉開差距的因素可能變成誰能妥善處理請求、誰能以更低成本運用顯存,以及誰能進入企業的推理堆疊。
開源引擎把競爭從「誰的模型更強」推進到「誰的控制面更開放」。我的判斷是,模型 API 仍會是多數開發者的首選,但高並行、長上下文、Agent 工具鏈與私有化部署,會逐漸將更多注意力轉向可修改的執行環境。
這次的不同之處在於,過去的開源主要開放權重,呼叫、調度與硬體細節仍掌握在平台手中;這次公開的則是更接近執行層的基礎設施。至於 DeepInfer 能否形成長期生態,仍取決於相容性、benchmark、維護節奏與真實的生產環境案例。目前的資訊尚不足以得出結論。