觀點

參數時代落幕,中國大模型集體轉向後訓練

Z.ai 執行長唐杰在 Latent Space 播客抛出「Death of Params」,GLM 5.3 將重心押在後訓練 scaling。這是中國大模型首次正面挑戰「參數越大越強」的主流敘事。

字級

唐杰這週在 Latent Space 播客上扔了一句話:Death of Params。

這不是場面話。Z.ai(原 Zhipu AI / 智譜)押上了一整條賽道:post-training scaling。GLM 5.3 是這條路的第一個量產驗證。它的意義不在某個 benchmark 數字,而在 Z.ai 把研發預算與團隊重心,從預訓練算力遷移到了後訓練基礎設施。這是路線問題,不是版本號問題。


唐杰在 Latent Space 上說了什麼

Latent Space 是目前海外最受關注的 AI 行業播客之一,邀請中國大模型 CEO 直接受訪,本身就帶有風向球意味。

播客中唐杰的核心論點可以壓成三句話:

  1. 預訓練階段的參數規模紅利已經見頂。再疊 1T、10T 參數,相對前一世代的邊際效益是斷崖式下滑。
  2. 真正還沒捲完的是 post-training:RLHF、SFT、推論優化、資料合成。這些環節的 scaling law 還沒碰到天花板。
  3. 未來 12 到 24 個月,分水嶺在於誰能把後訓練做厚,而不是基礎模型能塞進多少參數。

第一條是診斷,第二條是處方,第三條是判斷。三句話連起來,等於直接否定了過去三年中文 AI 行業跟進的主路線——OpenAI 怎麼走,我們就怎麼追。


GLM 5.3 是一場押注,不是一次升級

一般使用者看 GLM 5.3,會去找跑分。它在 MMLU、GSM8K、HumanEval 上確實了,但漲幅不是那種讓人截圖發 X 的等級。

真正值得看的是 Z.ai 怎麼做出 5.3:

  • 訓練資料合成:用 5.0 / 5.1 自己生成高品質 SFT 資料,再做清洗、打分、過濾。整條 pipeline 公開招募人才,工程師職缺比研究員還多。
  • 多階段 RLHF:把 helpfulness / harmlessness 拆開訓練,再做 preference 合併。Reward model 採用 ensemble,而非單一打分器。
  • 推論時訓練:CoT / self-consistency / 過程獎,全部塞進訓練迴圈,而非只在 inference 時跑 prompt。
  • 算力分配:後訓練消耗的算力佔總訓練算力的 60% 以上。這個比例在 2024 年的中國大模型公司裡,相當罕見。

現在可以理解為什麼說這是路線選擇。GLM 5.3 的 GPU hours 清單中,預訓練階段的佔比,比 5.0 還要小。在大家都還在喊「我們要訓 1T 模型」的時候,Z.ai 悄悄把算力搬到後訓練去了。


為什麼這次聲音來自中國

這件事其實並非巧合。放回 2024-2025 的算力背景來看,脈絡就很清楚。

當時擺在桌面上的有兩條路:

  • 路線 A:跟著 OpenAI、Anthropic、xAI 跑 1T+ 叢集,預訓練繼續往死裡。
  • 路線 B:承認算力差一個量級是客觀事實,把錢花在 ROI 更高的環節。

中國頭部幾家(DeepSeek、月之暗面、Qwen、智譜、Minimax)手中的 H100 / H200 存量,大約是美國 top 3 公司的 1/5 到 1/3。不是說追不上,是說追的路太貴、週期太長、對手還在加速。

唐杰在播客裡沒明說,但底層邏輯顯然是:頭部玩家已經把預訓練參數曲線推到 S 形拐點,那我們就不在這條曲線的右端。換一條還沒被壓平的曲線——後訓練 scaling——反而有機會搶到身位。


後訓練的 scaling 到底是什麼

換成工程語言,post-training scaling 不是一句口號,而是幾個具體動作,每一個都在 GLM 5.3 的訓練 pipeline 中出現。

1. 資料合成 + 品質過濾

# 簡化版 GLM 5.3 資料合成流程(虛擬碼)
from glm import Generator, RewardModel

base = Generator("glm-5.1")
reward = RewardModel.load_ensemble(["rm-5.1-a", "rm-5.1-b", "rm-5.1-c"])

raw = base.sample(prompts, n=16, temperature=0.9)
scored = reward.batch_score(raw)
filtered = [r for r, s in zip(raw, scored) if s > 0.85]
diverse = deduplicate_by_embedding(filtered, threshold=0.92)
final = quality_filter(diverse, min_tokens=200, max_tokens=4000)

三個 reward model 採 ensemble 打分,是為了避免單一 reward hacking。deduplicate 是怕合成資料太像,把訓練分佈搞塌。

2. 多階段 RLHF

不是一把 reward model 訓到底,而是把能力拆開:

  • Stage 1:helpful only(學怎麼有用)
  • Stage 2:safety / harmlessness(學怎麼不越界)
  • Stage 3:reasoning / CoT(學怎麼把推理過程寫出來)
  • Stage 4:merge + DPO(把偏好合併)

每個階段獨立評測、獨立 checkpoint。失敗就退回上一階段。

3. 推論時訓練(Process Reward)

這一步是 GLM 5.3 與 5.0 拉開差距的關鍵。不是給最終答案打分,而是給推理過程的每一步打分。模型在訓練時就被迫學會「這題我錯在第幾步」,而不是結果對就結案。


對國內其他玩家的意涵

如果後訓練 scaling 真的成立——這裡要加個「如果」,因為這條路仍在驗證期——國內其他玩家的算力分配模型會被迫重寫。

幾個推演:

  • DeepSeek:已經在 MoE 與訓練效率上吃到紅利,但後訓練投入比例比 Z.ai 低。若 Z.ai 路線被市場驗證,DeepSeek 的敘事需要補上一段。
  • 月之暗面(Kimi):長上下文是預訓練階段的工作,後訓練對它沒那麼直接。但產品端的 agent / 工具調用能力增長,必須靠後訓練。這塊若開始補強,團隊擴張會很明顯。
  • Qwen / 通義:開源派打法更看社群生態,但內部主力模型的後訓練比例若不跟上,存在掉隊風險。
  • 新創公司:沒有 10K H100 也能做出強模型。後訓練 economics 友善,token 級別最佳化就行,不一定需要堆卡。

說到底,燒顯示卡不再是唯一答案。工程能力比堆卡數更值錢。這句話在 2024 年說出來會被笑,2025 年再說一遍,可能就是新一輪人事調整的導火線。


尚未驗證的部分

公平地講,Z.ai 的路線並非沒有風險:

  • 後訓練 scaling 的天花板在哪裡,目前沒有嚴格數據。
  • 推論時訓練(process reward)訓出來的模型,會不會在長尾任務上崩塌?目前證據不足。
  • 合成資料吃到一定比例,會不會被自己的 feedback loop 污染?
  • 客戶買不買單——很多採購端仍在用「參數量」當採購指標,GLM 5.3 必須去說服他們。

但無論結果如何,Death of Params 這個口號已經喊出來了。中國大模型公司裡第一個公開質疑「參數越大越強」主流敘事的是 Z.ai,這個訊號值得所有還在捲 1T 參數的團隊認真聽一遍。


來源:Latent Space 播客,唐杰專訪,https://www.latent.space/p/ainews-death-of-params-zai-ceo-jie

封面圖關鍵詞:cover "death of parameters GPU"

來源: https://www.latent.space/p/ainews-death-of-params-zai-ceo-jie