탕제(Tang Jie)가 이번 주 Latent Space 팟캐스트에서 한 마디를 던졌다: Death of Params.
이건 격식 차린 발언이 아니다. Z.ai(구 Zhipu AI / 智谱)는 한 가지 레이스에 올인했다: post-training scaling. GLM 5.3은 이 길 위에서 나온 첫 번째 양산 검증이다. 의미는 벤치마크 숫자에 있지 않고, Z.ai가 연구개발 예산과 팀의 중점을 사전학습(pre-training) 연산에서 후학습 인프라로 옮긴 데 있다. 버전 번호의 문제가 아니라 노선 선택의 문제다.
탕제가 Latent Space에서 말한 것
Latent Space은 현재 해외에서 가장 주목받는 AI 업계 팟캐스트 중 하나다. 중국 거대 모델 CEO를 직접 인터뷰 대상으로 부른 것 자체가 이미风向標(바람개비) 같은 신호다.
팟캐스트에서 탕제의 핵심 주장을 세 문장으로 압축하면:
- 사전학습 단계에서 파라미터 스케일의红利(레드 헤링)는 이미 정점에 도달했다. 1T, 10T 파라미터를 추가로 쌓아도 직전 세대 대비 한계 효익은 곤두박질 수준으로 떨어진다.
- 아직 완전히 소진되지 않은 건 post-training이다: RLHF, SFT, 추론 최적화, 데이터 합성. 이环节(环节)들의 scaling law은 아직 천장에 닿지 않았다.
- 앞으로 12-24개월의 분수령은 기저 모델에 파라미터를 얼마나 많이 끼워 넣느냐가 아니라, post-training을 얼마나 두껍게 쌓느냐에 달렸다.
첫 번째는 진단, 두 번째는 처방, 세 번째는 판단이다. 세 문장을 연결하면 과거 3년간 중국 AI 업계가 추종해 온 주류 노선—OpenAI가 가는 길을 그대로 따라가자—을 정면으로 부정하는 셈이다.
GLM 5.3은 업그레이드가 아니라 베팅이다
일반 사용자가 GLM 5.3을 보면 벤치마크를 먼저 찾아본다. MMLU, GSM8K, HumanEval에서 점수가 오른 건 사실이지만, 스크린샷 찍어 X에 올릴 만한 수준은 아니다.
진짜 봐야 할 건 Z.ai가 5.3을 어떻게 만들었느냐다:
- 학습 데이터 합성: 5.0 / 5.1로 스스로 고품질 SFT 데이터를 생성한 뒤清洗(세척), 채점, 필터링을 진행. 파이프라인 전체가公开(공개) 채용 중이며, 엔지니어링 포지션이 리서치 포지션보다 많다.
- 다단계 RLHF: helpfulness / harmlessness를 분리해 학습한 뒤 preference를 병합. Reward model은 단일 채점기가 아닌 ensemble을 사용했다.
- 추론 시 학습: CoT / self-consistency / 과정 보상을 모두 추론(inference)이 아니라 학습 루프 안에 집어넣었다.
- 연산 배분: post-training이 전체 학습 연산의 60% 이상을 차지한다. 2024년 중국 거대 모델 회사 기준으로는 드문 숫자다.
이제부터 이것이 노선 결정이라는 말이 이해된다. GLM 5.3의 GPU hours 명세서를 보면, 사전학습 단계 비중이 5.0보다 더 작다. 모두가 아직 "1T 모델을 학습한다"를 외칠 때, Z.ai는 조용히 연산을 post-training으로 옮기고 있었다.
왜 이번 목소리는 중국에서 나왔나
이건 우연이 아니다. 2024-2025년 연산 환경을 배경에 놓고 보면 명확해진다.
당시 테이블 위에 놓인 선택지는 두 가지였다:
- 노선 A: OpenAI, Anthropic, xAI를 따라 1T+ 클러스터를 굴리며 사전학습을 끝까지 밀어붙인다.
- 노선 B: 연산 격차가 한 자리수 차이라는 건 객관적 사실임을 인정하고, ROI가 더 높은 구간에 돈을 쓴다.
중국 상위권 회사들(DeepSeek, 月之暗面, Qwen, 智谱, Minimax)의 H100 / H200 보유량은 미국 상위 3개사 대비 대략 1/5에서 1/3 수준이다. 못 따라간다는 뜻이 아니라, 따라가는 비용이 너무 비싸고 주기가 너무 길며 상대가 여전히加速(가속) 중이라는 뜻이다.
탕제가 팟캐스트에서 명시적으로 말하지 않았지만 논리는 분명하다: 탑 티어 플레이어들이 이미 사전학습 파라미터 커브를 S자 굴림점에 밀어붙였다면, 그 커브의 오른쪽 끝에서挤(밀어닥치는 건) 의미가 없다. 아직 평평해지지 않은 다른 커브—post-training scaling—→에 올라타는 편이 오히려 자리를 선점할 가능성이 있다.
Post-training scaling이란 구체적으로 무엇인가
엔지니어링 언어로 바꾸면, post-training scaling은 단순 슬로건이 아니라 GLM 5.3 학습 파이프라인에 실제로 등장한 몇 가지 구체적 액션이다.
1. 데이터 합성 + 품질 필터링
# GLM 5.3 데이터 합성 흐름 단순화 버전 (의사 코드)
from glm import Generator, RewardModel
base = Generator("glm-5.1")
reward = RewardModel.load_ensemble(["rm-5.1-a", "rm-5.1-b", "rm-5.1-c"])
raw = base.sample(prompts, n=16, temperature=0.9)
scored = reward.batch_score(raw)
filtered = [r for r, s in zip(raw, scored) if s > 0.85]
diverse = deduplicate_by_embedding(filtered, threshold=0.92)
final = quality_filter(diverse, min_tokens=200, max_tokens=4000)
세 개의 reward model로 ensemble 채점을 한 건 단일 reward hacking을 피하기 위해서다. deduplicate는 합성 데이터가 너무 비슷해져서 학습 분포가 무너지는 것을 막기 위함이다.
2. 다단계 RLHF
하나의 reward model로 끝까지 학습시키는 게 아니라 능력을 분해한다:
- Stage 1: helpful only (어떻게 유용한지 학습)
- Stage 2: safety / harmlessness (어떻게 선을 넘지 않는지 학습)
- Stage 3: reasoning / CoT (추론 과정을 어떻게 글로 풀어내는지 학습)
- Stage 4: merge + DPO (선호를 병합)
각 단계는 독립 평가, 독립 checkpoint. 실패하면 직전 단계로 롤백한다.
3. 추론 시 학습 (Process Reward)
이 단계가 GLM 5.3이 5.0과差距(격차)를 벌린 결정적 지점이다. 최종 답에 점수를 매기는 게 아니라 추론 과정의 매 단계에 점수를 매긴다. 모델은 학습 단계에서부터 "이 문제에서 내가 몇 번째에서 틀렸는지"를 배우게 된다. 결과만 맞으면 끝이라는 식이 아니다.
국내 다른 플레이어에 대한 의미
post-training scaling이 실제로 성립한다면—여기에는 "만약"이라는 단서가 붙는다, 아직 검증 구간이니까—국내 다른 플레이어들의 연산 배분 모델은 강제 재작성에 들어간다.
몇 가지 추론:
- DeepSeek: 이미 MoE와 학습 효율성에서 성과를 거두고 있지만, post-training 비중은 Z.ai보다 낮다. Z.ai 노선이 시장에서 검증되면 DeepSeek의 서사를 보완해야 한다.
- 月之暗面 (Kimi): 긴 컨텍스트는 사전학습 단계 몫이고, post-training과 직접 연결되진 않는다. 다만 제품 측의 agent / 도구 호출 능력 성장은 반드시 post-training에 기대야 한다. 이 구간을 보강하기 시작하면 팀 확장이 눈에 띌 것이다.
- Qwen / 通义: 오픈소스 노선은 커뮤니티 생태계를 더 중시한다. 하지만 내부 주력 모델의 post-training 비중이 따라가지 못하면 이탈 위험이 존재한다.
- 스타트업: 10K H100 없이도 강한 모델을 만들 수 있다. Post-training economics는 친화적이고, 토큰 단위 최적화면 충분하며 GPU를 무작정 쌓아야 하는 건 아니다.
결국 GPU를 태우는 것이 유일한 답은 더 이상 아니다. 엔지니어링 능력이 카드 수 쌓기보다 더 가치 있어진다. 이 말은 2024년에 했다면 웃음을 샀을 것이고, 2025년에 다시 하면 다음 인사이동의 도화선이 될 수도 있다.
아직 검증되지 않은 부분
공정하게 말하면, Z.ai 노선도 리스크가 없는 건 아니다:
- Post-training scaling의 천장이 어디인지, 엄밀한 데이터로 제시된 사례는 아직 없다.
- 추론 시 학습(process reward)으로 학습된 모델이 롱테일(long-tail) 태스크에서 무너질지는 증거가 부족하다.
- 합성 데이터가 일정 비율을 넘으면 자체 feedback loop에 의해 오염될 가능성은 없는가.
- 고객이 돈을 써주느냐—많은采购(구매) 부서가 여전히 "파라미터 수"를 구매 기준으로 쓰고 있다. GLM 5.3은 이들을 설득하러 가야 한다.
하지만 결과가 어떻든, Death of Params라는 슬로건은 이미 외쳐졌다. 중국 거대 모델 회사 중에서 "파라미터가 클수록 강하다"는 주류 서사를 공식적으로 의심한 첫 번째 회사가 Z.ai라는 신호다. 아직 1T 파라미터에 매달려 있는 모든 팀이 한 번쯤 곱씹어 볼 만하다.
출처: Latent Space 팟캐스트, 탕제专访, https://www.latent.space/p/ainews-death-of-params-zai-ceo-jie
표지 이미지 키워드: cover "death of parameters GPU"