参数已死,卷不动了:中国大模型终于换了一条路
唐杰这周在 Latent Space 播客上扔了一句话:Death of Params。
这不是客套话。Z.ai(原 Zhipu AI / 智谱)押上了一条赛道:post-training scaling。GLM 5.3 是这条路的第一个量产验证。它的意义不在某个 benchmark 数字,而在 Z.ai 把研发预算和团队重心,从预训练算力迁移到了后训练基础设施。路线问题,不是版本号问题。
唐杰在 Latent Space 上说了什么
Latent Space 是目前海外最受关注的 AI 行业播客之一,邀请中国大模型 CEO 直接受访,本身就有风向标意义。
播客里唐杰的核心观点可以压成三句话:
- 预训练阶段的参数规模红利已经见顶。再叠 1T、10T 参数,相对前一代的边际收益是断崖式下降。
- 真正还没卷完的是 post-training:RLHF、SFT、推理优化、数据合成。这些环节的 scaling law 还没到天花板。
- 未来 12-24 个月,分水岭在于谁能把后训练做厚,而不是基模型能塞进多少参数。
第一条是诊断,第二条是处方,第三条是判断。三句话连起来,等于直接否定了过去三年中文 AI 行业跟进的主路线——OpenAI 怎么走,我们就怎么追。
GLM 5.3 是一次押注,不是一次升级
普通用户看 GLM 5.3,会去找跑分。它在 MMLU、GSM8K、HumanEval 上确实涨了,但涨幅不是那种让人截屏发 X 的水平。
真正值得看的是 Z.ai 怎么做的 5.3:
- 训练数据合成:用 5.0 / 5.1 自己生成高质量 SFT 数据,再做清洗、打分、过滤。整个 pipeline 公开招人,工程岗比研究员岗多。
- 多阶段 RLHF:从 helpfulness / harmlessness 拆开训,再做 preference 合并。Reward model 用了 ensemble,不是单一打分器。
- 推理时训练:CoT / self-consistency / 过程奖励,全部塞进训练循环,而不是只在 inference 时跑 prompt。
- 算力分配:后训练消耗的算力占总训练算力的 60% 以上。这个数字在 2024 年的中国大模型公司里,很少见。
现在可以理解为什么说这是路线选择。GLM 5.3 的 GPU hours 清单里,预训练阶段的占比,比 5.0 还要小。在大家都还在喊 "我们要训 1T 模型" 的时候,Z.ai 在悄悄把算力挪到后训练。
为什么这次声音来自中国
这事其实不是巧合。把它放回 2024-2025 的算力背景里看,问题就清楚了。
当时段摆在桌面上的是两条路:
- 路线 A:跟着 OpenAI、Anthropic、xAI 跑 1T+ 集群,预训练继续往死里卷。
- 路线 B:承认算力差一个量级是客观事实,把钱花在 ROI 更高的环节。
中国头部几家(DeepSeek、月之暗面、Qwen、智谱、Minimax)手里 H100 / H200 的存量,大概是美国 top 3 公司的 1/5 到 1/3。不是说追不上,是说追的路太贵、周期太长、对手还在加速。
唐杰在播客里没明说但显然是这个逻辑:头部玩家已经把预训练参数曲线推到了 S 形拐点,那我们就不在这条曲线的右端挤。换一条还没被压平的曲线——后训练 scaling——反而可能抢到身位。
后训练的 scaling 到底是什么
换成工程语言,post-training scaling 不是一句口号,而是几个具体动作,每一个都在 GLM 5.3 的训练 pipeline 里出现了。
1. 数据合成 + 质量过滤
# 简化版 GLM 5.3 数据合成流程(伪代码)
from glm import Generator, RewardModel
base = Generator("glm-5.1")
reward = RewardModel.load_ensemble(["rm-5.1-a", "rm-5.1-b", "rm-5.1-c"])
raw = base.sample(prompts, n=16, temperature=0.9)
scored = reward.batch_score(raw)
filtered = [r for r, s in zip(raw, scored) if s > 0.85]
diverse = deduplicate_by_embedding(filtered, threshold=0.92)
final = quality_filter(diverse, min_tokens=200, max_tokens=4000)
三个 reward model 打分取 ensemble,是为了避免单一 reward hacking。deduplicate 是怕合成数据太像,把训练分布搞塌。
2. 多阶段 RLHF
不是一把 reward model 训到底,而是把能力拆开:
- Stage 1:helpful only(学怎么有用)
- Stage 2:safety / harmlessness(学怎么不越界)
- Stage 3:reasoning / CoT(学怎么把推理过程写出来)
- Stage 4:merge + DPO(把偏好合并)
每阶段独立评测、独立 checkpoint。失败就回退到上一阶段。
3. 推理时训练(Process Reward)
这一步是 GLM 5.3 跟 5.0 拉开差距的关键。不是给最终答案打分,而是给推理过程每一步打分。模型在训练时就被迫学会 "这道题我错在第几步",而不是结果对就完了。
对国内其他玩家的含义
如果后训练 scaling 真的成立——这里要加个 "如果",因为这条路还在验证期——国内其他玩家的算力分配模型会被迫重写。
几个推演:
- DeepSeek:已经在 MoE 和训练效率上吃肉,但后训练投入比例比 Z.ai 低。如果 Z.ai 路线被市场验证,DeepSeek 的叙事需要补一段。
- 月之暗面(Kimi):长上下文是预训练阶段的活,后训练对它没那么直接。但产品端的 agent / 工具调用能力增长,必须靠后训练。这块开始补,会看到团队扩张。
- Qwen / 通义:开源派打法更看 community 生态,但内部主力模型的后训练比例如果不跟上,掉队风险存在。
- 创业公司:没有 10K H100 也能做出强模型。后训练 economics 友好,token 级别优化就行,不一定需要堆卡。
说到底,烧显卡不再是唯一答案。工程能力变得比堆卡数更值钱。这句话在 2024 年说出来会被笑,在 2025 年再说一遍,可能就是新一轮人事调整的导火索。
还没验证的部分
公平讲,Z.ai 的路线也不是没有风险:
- 后训练 scaling 的天花板在哪,没人给出过严格数据。
- 推理时训练(process reward)训出来的模型,会不会在长尾任务上崩?目前证据不足。
- 合成数据吃到一定比例,会不会被自己的 feedback loop 污染?
- 客户买不买账——很多采购方还在用 "参数量" 当采购指标,GLM 5.3 要去说服他们。
但不管结果怎样,Death of Params 这个口号已经喊出来了。中国大模型公司里第一个公开质疑 "参数越大越强" 主流叙事的是 Z.ai,这个信号值得所有还在卷 1T 参数的团队认真听一遍。
来源:Latent Space 播客,唐杰专访,https://www.latent.space/p/ainews-death-of-params-zai-ceo-jie
封面图关键词:cover "death of parameters GPU"