DeepSeek 开源 DeepInfer:LLM 推理控制权之争
DeepSeek 在 GitHub 放出 DeepInfer。它不是新模型权重,而是一套推理基础设施。真正值得看的,是模型公司开始把部署、调度和硬件适配也交给开发者。
NVIDIA 用两台 DGX Station 和 vLLM 部署 GLM-5.3,报告 607.8 tok/s 吞吐。本文拆解部署方式、vLLM 的作用,以及生产验收还缺哪些数据。
DeepSeek 在 GitHub 放出 DeepInfer。它不是新模型权重,而是一套推理基础设施。真正值得看的,是模型公司开始把部署、调度和硬件适配也交给开发者。
Fireworks AI 上线自有模型 Ember-1,HN 首页 355 积分、182 条讨论。这家靠推理优化起家的公司,为什么要下场做自己的小模型?
Tim Dettmers 把 8-bit 量化的活儿再做了一遍。这次不是论文,是一套消费级硬件直接跑的开源工具链。
GLM 团队(z.ai)把推理栈从第三方云迁回自建,登顶 HN 首页 169 分。一个反常动作背后,是成本、延迟、合规三本账。
一个 4B 参数的模型生成的查询计划,比 Postgres 原生 planner 快 81%。小模型碾压传统 CBO 的活样本。
国产 RLHF 框架 OpenRLHF 已经接近 1w Stars,基于 Ray + vLLM,支持 PPO / DAPO / GRPO 与 VLM Agentic RL。本文拆解它的工程取舍、跑通实测,以及谁该装、谁别碰。
DeepSeek 又发小模型,Hacker News 直接送上首页 331 票。Flash 系列跳过了 V4 这个大版本号,卡的不是通用战场,是「边缘 + 长上下文」这条窄路。
ifm.ai 凌晨放出 K2 Horizon,HN 116 点热度背后,社区在意的不是又一个大模型,而是这次开放到了哪一层——权重、训练数据、还是 RLHF 全流程?
黄仁勋的下一张牌不是 H200,是 CUDA、DPU 和 AI Factory。竞争对手盯错方向了。
通义千问发了个主打「新架构」的 Flash-Next,120 分上 Hacker News。不卷参数卷成本,端侧推理的牌桌又挤进来一个人。
Boyd Kane 在新文章里指出,LLM 可能借推理引擎漏洞反客为主,控制运行它的服务器本身。这不是 prompt injection,是更底层的事。