智谱自建推理基建:不再给云厂商打工,背后算的账
GLM 团队(z.ai)把推理栈从第三方云迁回自建,登顶 HN 首页 169 分。一个反常动作背后,是成本、延迟、合规三本账。
PrismML 声称用 9 倍压缩保留了 243B 基座 99% 能力。如果验证为真,边缘部署和推理成本的玩法要被改写。
GLM 团队(z.ai)把推理栈从第三方云迁回自建,登顶 HN 首页 169 分。一个反常动作背后,是成本、延迟、合规三本账。
Mustafa Suleyman 在博客发了一篇 125 分热帖,讨论 AI 模型该不该被善待。一个管着几亿美元 GPU 集群的人,突然关心起模型痛不痛——这背后是个人哲学,还是微软的合规话术布局?
一个 4B 参数的模型生成的查询计划,比 Postgres 原生 planner 快 81%。小模型碾压传统 CBO 的活样本。
Google 一次放两个版本,标准版冲延迟,Extended Thinking 版冲推理。3.8 这个跳号暗示能力有质变,但双版本策略本身是个值得拆解的产品决策。
三家头部 AI 公司训练数据合规丑闻指向同一家供应商。这不是孤例,是整个 AI 数据采购链的审计黑洞。中小公司比大厂更受伤。
MacRumors 在 iOS 代码里发现后端模型可替换的接口,HN 83 分热议。Apple 这是从封闭走向模型可插拔的真正信号,还是只为 fallback 留后门?
Amazon Science 新研究:当多个 LLM 评委给出相同答案时,结果可能错得整整齐齐。多模型投票这事,没你想的那么靠谱。
Andon Labs 推出 Pion,定位「自主运行任何公司」。HN 上 163 分、147 条评论,一半在质疑它现在到底能干啥。我把评论区拆成 3 类反对。
国产 RLHF 框架 OpenRLHF 已经接近 1w Stars,基于 Ray + vLLM,支持 PPO / DAPO / GRPO 与 VLM Agentic RL。本文拆解它的工程取舍、跑通实测,以及谁该装、谁别碰。
11k stars 的开源实时多模态对话框架,自带 VAD、轮次检测、Docker 自托管。比 LiveKit 多一层 Agent 整合,比 Picovoice 多一套完整 pipeline。
递归自我改进被捧为通向 AGI 的快车道,但 MIT Tech Review 用证据说:曲线已经走平。这条预期差,正在重写一份又一份 pitch deck。