唐杰は今週、Latent Spaceのポッドキャストで「Death of Params」と放った。
これは社交辞令ではない。Z.ai(旧Zhipu AI / 智譜)はpost-training scalingという路線に全振りした。GLM 5.3はこの路線の最初の量産検証だ。意義は某个のベンチマーク数字にあるのではなく、Z.aiが研究開発予算とチームの重心を、事前学習の計算資源から事後学習インフラへと移したことにある。バージョン番号の問題ではなく、路線の問題だ。
唐杰はLatent Spaceで何を語ったか
Latent Spaceは現在、海外で最も注目されるAI業界ポッドキャストの一つであり、中国の大モデルCEOを直接ゲストに招いたこと自体にサインとしての意味がある。
ポッドキャストでの唐杰の主張は、三点に圧縮できる:
- 事前学習段階のパラメータ規模红利はすでに頭打ち。1T、10Tと積み増しても、前世代に対する限界收益は断崖的に落ちる。
- まだ十分に詰め切れていないのはpost-training:RLHF、SFT、推論最適化、データ合成。これらの环节のscaling lawは天井に達していない。
- 今後12〜24ヶ月の分水嶺は、ベースモデルにどれだけパラメータを詰め込めるかではなく、事後学習をどれだけ厚くできるかどうかだ。
一点目は診断、二点目は処方、三点目は判断。三つが連なると、過去三年間に中国語圏AI業界が追従してきた主路線──「OpenAIがやることをそのまま追う」──を真っ向から否定したことになる。
GLM 5.3はアップグレードではなく賭けである
一般ユーザーがGLM 5.3を見るとき、まずベンチマークスコアを探す。MMLU、GSM8K、HumanEvalでは確かにスコアが伸びているが、SNSでスクリーンショットを撮って投稿したくなるような伸び幅ではない。
見るべきはZ.aiが5.3をどう作ったかだ:
- 訓練データ合成:5.0 / 5.1に高品質なSFTデータを生成させ、清洗・スコアリング・フィルタリングを行う。パイプライン全体は公開採用中。研究職よりエンジニアリング職の枠が多い。
- 多段階RLHF:helpfulnessとharmlessnessを分離して訓練し、最後にpreferenceを統合。Reward modelは単一のスコアラではなくアンサンブル構成。
- 推論時訓練:CoT / self-consistency / process rewardを推論時だけ走らせるのではなく、訓練ループに組み込む。
- 計算資源配分:事後学習が総訓練計算量の60%以上を占める。この数字は2024年の中国大手モデル会社としては異例。
だからこそ、これは路線選択だと言える。GLM 5.3のGPU hours内訳を見ると、事前学習段階の比率は5.0よりさらに小さい。「1Tモデルを訓練する」と叫ばれている最中に、Z.aiは静かに計算資源を事後学習へ移し替えていた。
なぜこの声は中国から出てきたのか
これは偶然ではない。2024〜2025年の計算資源事情の中に置くと、構図ははっきりする。
当時のテーブルには二つの選択肢があった:
- 路線A:OpenAI、Anthropic、xAIに追随して1T+クラスタを回し、事前学習を引き続き全力で詰める。
- 路線B:計算資源が一桁違うのは客観的事実だと認めた上で、ROIの高い环节に金を投じる。
中国のトップ勢(DeepSeek、月之暗面、Qwen、智譜、Minimax)が保有するH100 / H200の在庫は、米トップ3社のだいたい1/5〜1/3程度だ。追えないことはないが、追いかけるコストが高すぎ、サイクルが長く、競合はまだ加速している。
唐杰はポッドキャストでは明言しなかったが、明らかにこのロジックだ:トップ勢が事前学習のパラメータカーブをS字の折点まで押し上げたなら、そのカーブの右端に割り込む意味はない。つぶされていないカーブ──事後学習scaling──に乗り換える方が、ポジションを取りやすい。
post-training scalingとは具体的に何か
エンジニアリングの言葉に置き換えると、post-training scalingはスローガンではなく、GLM 5.3の訓練パイプラインに実際に現れている具体的なアクション群だ。
1. データ合成 + 品質フィルタリング
# 简化版 GLM 5.3 数据合成流程(伪代码)
from glm import Generator, RewardModel
base = Generator("glm-5.1")
reward = RewardModel.load_ensemble(["rm-5.1-a", "rm-5.1-b", "rm-5.1-c"])
raw = base.sample(prompts, n=16, temperature=0.9)
scored = reward.batch_score(raw)
filtered = [r for r, s in zip(raw, scored) if s > 0.85]
diverse = deduplicate_by_embedding(filtered, threshold=0.92)
final = quality_filter(diverse, min_tokens=200, max_tokens=4000)
三つのreward modelでアンサンブルスコアを取るのは、単一reward hackingを避けるため。deduplicateは合成データが似すぎることによって訓練分布が潰れるのを防ぐため。
2. 多段階RLHF
一つのreward modelで最後まで押し切るのではなく、能力を分解する:
- Stage 1:helpful only(どう役立つかを学ぶ)
- Stage 2:safety / harmlessness(どう境界線を超えないかを学ぶ)
- Stage 3:reasoning / CoT(推論過程をどう書き出すかを学ぶ)
- Stage 4:merge + DPO(選好を統合する)
各段階で独立評価、独立checkpoint。失敗したら前の段階に巻き戻す。
3. 推論時訓練(Process Reward)
ここがGLM 5.3と5.0の差を決定づけた。最终的な答えにスコアを付けるのではなく、推論過程の各ステップにスコアを付ける。訓練時点でモデルは「この問題で何ステップ目で間違えたか」を学ぶことを強制され、答えが合っていればそれで終わり、ということがなくなる。
国内他プレイヤーへの含意
post-training scalingが本当に成立するなら──ここは検証期間中の路線なので「もし」を付ける必要があるが──国内他社の計算資源配分モデルは書き換えを迫られる。
いくつか推論してみる:
- DeepSeek:すでにMoEと訓練効率で成果を挙げているが、事後学習の投入比率はZ.aiより低い。Z.aiの路線が市場に検証されれば、DeepSeekの物語は補強が必要になる。
- 月之暗面(Kimi):長文脈は事前学習側の仕事であり、事後学習の直接的うま味は薄い。ただしプロダクト側のagent / ツール呼び出し能力を伸ばすには事後学習が不可欠。ここを埋め始めれば、チームの拡大が視野に入る。
- Qwen / 通義:オープンソース寄りの戦法はコミュニティエコシステムに依拠するが、内部主力モデルの事後学習比率が追いつかなければ、脱落リスクはある。
- スタートアップ:10K H100がなくても強いモデルを作れる。事後学習economicsはトークンレベルの優微で済み、必ずしもカードを積む必要はない。
要するに、GPUを燃やすことだけが答えではなくなった。エンジニアリング能力が、カードの枚数より值钱になる。このセリフは2024年に言えば笑われたが、2025年に同じことを言えば、次の人員配置見直しの引き金になりうる。
まだ検証されていない部分
公平に言えば、Z.aiの路線にもリスクはある:
- post-training scalingの天井がどこか、厳密なデータを示した人はいない。
- 推論時訓練(process reward)で育てたモデルがロングテール課題で崩壊しないか。証拠はまだ不十分。
- 合成データを一定割合まで取り入れると、自分自身のフィードバックループに汚染されないか。
- 顧客が買うか──多くの調達担当は依然として「パラメータ数」を選定指標にしている。GLM 5.3には彼らを説得する作業が要る。
ただ、結果がどうあれ、「Death of Params」というスローガンはすでに出てしまった。中国の大モデル会社で、「パラメータが大きいほど強い」という主流の物語を公に疑った最初の企業はZ.aiである。このシグナルは、今も1Tパラメータを積むことに必死なすべてのチームが、腰を据えて聴く価値がある。
出典:Latent Spaceポッドキャスト、唐杰专访,https://www.latent.space/p/ainews-death-of-params-zai-ceo-jie
表紙画像キーワード:cover "death of parameters GPU"