33x 加速:5B 机器人模型在 Jetson Thor 上跑实时
General Instinct 开源 InstinctFlash,靠运行时优化 + 蒸馏扩散调度器,把 LingBot-VA 端到端推理提速 33.78x,2/4 步配置仍保住 90.5% 任务成功率。
Fireworks AI 上线自有模型 Ember-1,HN 首页 355 积分、182 条讨论。这家靠推理优化起家的公司,为什么要下场做自己的小模型?
General Instinct 开源 InstinctFlash,靠运行时优化 + 蒸馏扩散调度器,把 LingBot-VA 端到端推理提速 33.78x,2/4 步配置仍保住 90.5% 任务成功率。
Simon Willison 报道了一款叫 Jev 的新模型,标题喊出"新形状"。9 月 21 日登 HN 首页,但只有 20 分、3 条评论——冷启动信号,还是被低估的开端?
Tim Dettmers 把 8-bit 量化的活儿再做了一遍。这次不是论文,是一套消费级硬件直接跑的开源工具链。
字节 Seed + 清华 AIR 开源 DAPO,把长 CoT 场景的 RL 训练基建摊开:解耦裁剪 + 动态采样,基于 verl 改造。推理团队、RL infra 从业者必看。
阿里 Qwen Image 2.1 登顶 Hacker News 首页,143 条评论聊的不是参数,而是它能不能真的塞进 ComfyUI 工作流。
又一款「刷榜级」医疗大模型开源了。Hacker News 23 分、4 条评论——这个热度比预期冷得多。问题不在模型本身,而在开源到落地之间那道看不见的墙。
NVIDIA 新论文让两个 LLM 不再通过文本对话,直接交换键值缓存,延迟号称降一个数量级。对 Agent 流水线意味着什么?
PrismML 声称用 9 倍压缩保留了 243B 基座 99% 能力。如果验证为真,边缘部署和推理成本的玩法要被改写。
GLM 团队(z.ai)把推理栈从第三方云迁回自建,登顶 HN 首页 169 分。一个反常动作背后,是成本、延迟、合规三本账。
一个 4B 参数的模型生成的查询计划,比 Postgres 原生 planner 快 81%。小模型碾压传统 CBO 的活样本。
国产 RLHF 框架 OpenRLHF 已经接近 1w Stars,基于 Ray + vLLM,支持 PPO / DAPO / GRPO 与 VLM Agentic RL。本文拆解它的工程取舍、跑通实测,以及谁该装、谁别碰。