工具

DeepSeek 开源 DeepInfer:LLM 推理控制权之争

DeepSeek 在 GitHub 放出 DeepInfer。它不是新模型权重,而是一套推理基础设施。真正值得看的,是模型公司开始把部署、调度和硬件适配也交给开发者。

字号

⚠️ DRAFT — 事实未核实,暂缓发布

DeepSeek 在 GitHub 开源了名为 DeepInfer 的推理引擎,仓库地址是:

https://github.com/deepseek-ai/DeepInfer

这不是 DeepSeek 发布的新模型权重。它不是多一个聊天模型,也不是一组可以直接下载的 checkpoint。

它更像是模型公司把推理栈的一部分拆出来,交给开发者自己组合、修改和部署。

这件事有意思的地方在于:开源的对象从模型权重,移到了推理基础设施。

开源的不是模型,是推理控制权

先拆清 DeepInfer 的定位。

DeepInfer 属于推理基础设施项目,不是 DeepSeek 新发布的模型权重。

模型权重决定模型"会什么"。推理引擎决定模型"怎么跑"。

后者至少碰到几层问题:

  • 请求如何排队
  • batch 怎么切
  • KV cache 怎么管理
  • GPU 显存怎么利用
  • 多机、多卡如何通信
  • 模型结构如何适配硬件
  • 吞吐和延迟怎么取舍

如果模型只能通过官方 API 跑,开发者通常只能调 temperature、max_tokens 和提示词。

推理引擎开源后,选择空间变了。你可以根据业务负载重做 batching,替换 kernel,检查内存行为,甚至把推理过程嵌进自己的服务。

这不等于"你可以随意改模型能力"。

但你确实获得了更多控制权:不是只接受平台给出的默认配置,而是自己决定模型如何在机器上运行。

对 LLM 应用来说,这比再发布一个同名模型更直接。

DeepInfer 为什么值得关注

推理层过去经常被包装成"部署细节"。

实际上,部署细节会直接影响成本和体验。

同样一组模型权重,在不同硬件、不同 batch 策略、不同上下文长度下,吞吐可能差很多。线上业务也不是只看平均速度。

你需要看:

  • 首 token 延迟
  • 每 token 延迟
  • 并发请求数
  • 峰值显存
  • 长上下文下的稳定性
  • 请求失败后的恢复速度

尤其是 Agent 和 RAG 应用。请求往往不是一次生成结束,而是连续调用工具、检索文档、重新提交上下文。链路越长,推理层的排队、缓存和调度越容易成为瓶颈。

官方 API 方便,但封闭。你很难知道内部到底如何安排请求,也很难针对自己的 GPU、CPU 或网络条件做优化。

开源推理引擎给了开发者另一条路:直接管理运行时。

这会影响部署、定制和优化 LLM 推理能力的方式。你可以把模型放到自有机器上,针对固定业务压测 batch 和缓存策略;也可以在代码里观察调度行为,而不是只看 API 返回时间。

不过,别把"开源"直接等同于"更容易"。

如果 DeepInfer 的价值只是让 CLI 能启动模型,那它和现有推理工具没有太大区别。真正的判断标准是:它能不能把内核、内存、调度和硬件适配这些难做的部分,整理成开发者可以修改的接口。

GitHub 和 Hacker News 的热度信号

相关项目登上 Hacker News 首页,获得 551 分和 197 条评论。

这个信号比单纯 GitHub star 更有价值。

star 可以是收藏,HN 首页则说明项目正在进入工程师的讨论范围。551 分和 197 条评论,至少说明两件事:

第一,开发者愿意停下来读它。

第二,大家不只是在看 README,而是在讨论它对生产部署、硬件生态和模型公司的影响。

当然,HN 热度不等于生产采用率。

开源项目常见的路径是:发布时讨论很多,真正被使用要过几周甚至几个月。开发者会先看许可证、依赖、issue、benchmark,再决定是否把它放进自己的服务。

所以我会把 551 分和 197 条评论看作传播信号,而不是性能证明。

原始项目地址:

https://github.com/deepseek-ai/DeepInfer

相关 Hacker News 数据来自项目发布后的页面记录。

对于关注 LLM 基础设施的人,这已经足够值得建立自己的测试环境。

开源之后,难点从训练转向运维

真正的问题不是把仓库 clone 下来。

clone 下来之后,才有工程工作开始。

第一关是显存。

模型能加载,不代表能稳定服务。需要测单卡、多卡、不同 batch 和不同上下文长度下的显存峰值。还要看长请求是否导致内存碎片。

第二关是吞吐。

离线 benchmark 很好看,不代表线上并发下仍然有效。要把 prefill 和 decode 分开测,因为两者的瓶颈不一样。

第三关是延迟。

平均延迟可能掩盖尾延迟。对 Agent 来说,工具调用链里的 P95、P99 延迟更重要。一个请求慢 200 毫秒,在多次调用后会不断叠加。

第四关是兼容性。

CUDA 版本、GPU 架构、驱动、量化格式、模型实现,都可能影响结果。

第五关是线上稳定性。

推理服务还要处理超时、取消请求、坏输入、OOM、服务重启和流量尖峰。这些内容通常不会出现在 README 的快速示例里。

因此,评估 DeepInfer 的方式不该是"能不能跑起来",而应该是:

  • 同一组请求下,吞吐是否可重复
  • 长上下文是否出现 OOM
  • 并发增加后,P99 延迟如何变化
  • 修改调度策略后,显存和吞吐是否同时改善
  • 失败请求能否被正确取消和释放资源

对开发者和企业来说,这些才是推理基础设施的价值所在。

开源给了控制权,也把工程责任交回了使用的人手里。

编辑思考

DeepInfer 的重要性不在于 DeepSeek 又多了一个 GitHub 项目,而在于模型公司开始争夺推理入口。过去模型公司的竞争重点是训练成本、参数规模和公开榜单;现在,模型能力越来越接近,真正拉开差距的可能变成谁能更好地服务请求、更低成本地占用显存,以及谁能进入企业的推理栈。开源引擎把竞争从"谁的模型更强"推进到"谁的控制面更开放"。我的判断是,模型 API 仍会占据多数开发者的第一选择,但高并发、长上下文、Agent 工具链和私有化部署会逐渐把更多注意力推向可修改的运行时。不同之处在于,过去的开源主要开放权重,调用、调度和硬件细节仍掌握在平台手里;这次公开的是更靠近执行层的基础设施。至于 DeepInfer 能否形成长期生态,还要看兼容性、benchmark、维护节奏和真实生产案例。目前这些信息还不足以下结论。

来源: https://github.com/deepseek-ai/DeepInfer