실전

智谱가 직접 추론 인프라를 짓기로 한 이유: 비용·지연·규제 세 줄기 장부

GLM 팀(z.ai)이 추론 스택을 외부 클라우드에서 자체 인프라로 이전하고 Hacker News 1페이지에 169점을 받았다. 모델사가 직접 인프라를 깔겠다는 이 비정상적 결정 뒤에는 비용 최적화, 레이턴시 통제, 데이터 규제라는 세 가지 계산이 있다.

글자 크기

GLM 팀(z.ai/智谱 해외 브랜드)이 며칠 전 《GLM built its inference infrastructure》를 게시하며, 추론 스택을 阿里云에서 자체 인프라로 옮겼다고 발표했다. 이 글은 Hacker News에서 169점, 댓글 131개를 받아 1페이지 상단에 올랐다.

출처: z.ai/blog/glm-built-its-inference-infrastructure

대형 모델 회사가 추론 스택을 자체 구축하는 건 2024년만 해도 낯설지 않다. Anthropic은 AWS와 깊이 결합돼 있고, OpenAI는 자체 슈퍼컴퓨터를 짓고, Meta의 Llama 추론 서비스도 자체 인프라다. 다만 智谱의 이번 선택을 중국 시장 맥락에서 보면 타이밍이 흥미롭다. 智谱은 阿里나 字节 같은 대형 업체가 아니고 비상장사로서, 한정된 자금조달 능력을 capex에 쏟아부었다는 뜻이다. 즉 "오픈소스 재단" 서사의 여지를 "인프라 독립성"으로 바꿔 쓴 셈이다.

왜 직접 짓는가: 계산이 아니라 생존 문제

원본 블로그를 훑어보면 智谱이 제시한 이유가 세 가지다. 어느 것이 진짜 통증 지점이고 어느 것이 PR용 수사인지 한 줄씩 풀어본다.

첫째, 추론 비용. GPU 시간당 단가는 한 가지이고, 트래픽 피크 때 붙는 프리미엄은 별개의 문제다. 서드파티 클라우드는 사용량 기반 요금을 받지만, 대형 모델 추론은 명확한 피크와 골짜기를 가진다. 낮에 치고 밤에 빠지고, 평일 높고 주말 낮다. 클라우드 업체는 밤에 놀고 있어도 돈을 돌려주지 않는다. 그렇다고 피크 기준으로 임시 증설하면 그때야말로 비용이 폭발한다. 자체 구축 시 전체 사용률을 70% 이상 끌어올릴 수 있고, 클라우드는 보통 30%가 한계다.

둘째, 레이턴시 통제. 자체 인프라면 P99를 50ms 이내로 누를 수 있다. 클라우드는 네트워크 홉 수와 공유 테넌트 때문에 이 수치가 어렵다. 기술적으로 못 하는 게 아니라 비즈니스 모델이 허용하지 않는 것이다.

셋째, 데이터 규제. 중국어 데이터 반출의 레드라인은 항상 존재했고, 평소에는 단속하지 않을 뿐이다. 국내 클라우드를 쓸 땐 데이터가 국내 데이터센터 사이에서만 움직여서 큰 문제가 안 되지만, 해외 노드가 끼면 규제 리스크가 즉시 떠오른다. 자체 구축 + 자체 데이터센터로 이 선을 확실히 그을 수 있다.

세 가지 중 실제로 뼈가 아픈 건 셋째다. 첫째와 둘째는 돈 문제이고, 셋째는 이 사업을 계속 할 수 있느냐의 문제다.

예전과 다른 지점

비교 1: 상위 업체는 2년 전에 이미 끝낸 길. Anthropic은 AWS와 깊이 협력해 Trainium으로 학습 부하를 돌리고, OpenAI의 자체 슈퍼컴퓨터 이야기는 더 일찍부터, 이미 Mira Murati 시절부터 나왔다. Meta의 Llama 추론도 자체 구축이다. 이 회사들은 돈도 있고 시나리오도 있고 팀도 있으니 자체 구축이 자연스러운 선택이다.

비교 2: 중국 대형 모델 회사의 기본값은 여전히 클라우드. 阿里 通义은 阿里云에 의존하고, 字节 豆包은 火山 엔진에 기대고, 月之暗面·深度求索 모두 초기에 클라우드를 빌렸다. 자원 측면에서 최적해다. 미리 capex를 쓰지 않고 토큰 단위로 과금받아 시작이 가볍다. 智谱도 이 길 위에 있었다.

비교 3: 智谱만의 특수성 — 대형 업체가 아닌데, 한정된 자금으로 자체 구축을 감행. 이는 오픈소스 서사의 여지를 줄이고, 독립 통제 서사를 키운다는 의미다. 다시 말해 智谱은 더 이상 "우리가 阿里云과 공생한다"는 이야기를 하지 않고, "우리는 대형 고객에게 독립적으로 서비스할 수 있다"는 이야기를 편다.

중국 대형 모델 회사가 공식 블로그에서 이 문제를 이렇게 명확히 꺼낸 건 이번이 처음이다. 이전에도 다들 하고 있었지만 입 밖에 내지 않았다.

개발자에게는 무엇이 달라지는가

현재 GLM-4 / GLM-4.5 시리즈 API(진입점: z.ai/platform)를 사용 중이라면, 단기적으로 다음 세 가지 변화가 예상된다.

1. 엔드 투 엔드 레이턴시 하락. 자체 스택으로 P99를 절반 가까이 줄일 수 있다. 체감 차이가 가장 큰 건 장문 컨텍스트다. 기존 32k 컨텍스트 끝부분이 자주 끊기던 구간이 자체 구축 후에는 훨씬 매끄러워진다.

2. 단기 가격 인상 가능성. 자체 구축 초기에는 capex 상각 부담이 크기 때문에 상당 부분이 API 고객에게 전가될 가능성이 높다. 사용량이 많다면 장기 계약을 미리 잡아두는 편이 낫다.

3. 서비스 안정성은 이론상 향상. 클라우드 업체의 장애 도메인이 한 층 사라지므로 SLA가 더 좋아진다. 구체적인 수치는 SLA 문서가 나와봐야 알 수 있다.

연결 방식은 그대로다. 아래 코드는 z.ai 문서에서 가져온 것으로 바로 실행된다.

from zai import ZaiClient

client = ZaiClient(api_key="YOUR_API_KEY")

response = client.chat.completions.create(
    model="glm-4.5",
    messages=[
        {"role": "user", "content": "用一句话解释什么是推理栈"}
    ],
    temperature=0.7,
    max_tokens=256,
)

print(response.choices[0].message.content)

로컬에서 GLM-4.5 오픈소스 버전을 돌릴 때는 vLLM을 추천한다. HuggingFace Transformers로 직접 돌리는 것보다 처리량이 10~20배 높다.

에디터의 생각

자체 추론 스택 구축은 기술 선택이 아니라 비즈니스 선택이다. 모델 회사가 "인프라 독립성"을 이야기하기 시작할 때, 보통 다음 라운드 밸류에이션, IPO, 또는 장기 고객을 향한 서사를 펼치고 있다는 뜻이다. 파는 건 토큰이 아니라 "통제 가능성"이다.

대부분의 중국 대형 모델 회사는 여전히 토큰 값을 깎으며 고객을 잡는 단계에 있고, 智谱은 "통제 가능성"을 팔기 시작했다. 이 한 수는 12개월 일찍 뗐다. 단기적으로 智谱은 API 가격 경쟁에서 불리해진다. capex 상각과 고객 이전 비용이 따라붙기 때문이다. 장기적으로 2026년 하반기에国产 GPU가 단일 카드 추론 성능으로 H100의 70% 수준에 도달한다면, 智谱은 2년 앞서 포지션을 잡은 셈이다.

阿里·字节과 달리 智谱은 내부 클라우드 사업이 없기 때문에 올인이다. Anthropic이 Trainium으로 학습 부하를 돌리는 것과 달리, 智谱은 여전히 NVIDIA의 중국 전용 버스를 쓸 가능성이 높다. 목 조임 리스크가 해결된 건 아니고, "클라우드에 목이 잡힌" 것에서 "GPU 벤더에 목이 잡힌" 것으로 바뀐 것뿐이다.

아직 확인 안 된 부분: 智谱이 GPU 모델, 데이터센터 위치, capex 수치를 공개한 적은 없다. H100/H200 중국 전용 버스를 쓰고 있다면 이번 수의 해자가 사실상 18~24개월이다. 국산 대체가 자리 잡으면 모든 회사가 자체 구축이 가능해진다.

참고 자료: z.ai 공식 블로그 원문 · Hacker News 토론 스레드

출처: https://z.ai/blog/glm-built-its-inference-infrastructure