实战

智谱自建推理基建:不再给云厂商打工,背后算的账

GLM 团队(z.ai)把推理栈从第三方云迁回自建,登顶 HN 首页 169 分。一个反常动作背后,是成本、延迟、合规三本账。

字号

GLM 团队(z.ai/智谱海外品牌)前两天发了《GLM built its inference infrastructure》,宣布把推理栈从阿里云迁回自建。这个帖在 Hacker News 上拿到 169 分、131 条评论,首页第一屏。

消息源:z.ai/blog/glm-built-its-inference-infrastructure

大模型公司自建推理栈,放在 2024 年不稀奇——Anthropic 跟 AWS 深度绑定,OpenAI 自己建超算,Meta 的 Llama 推理服务也是自建。但智谱这一步放在中国语境下看,时机有意思:它不是阿里字节那种巨头,作为非上市公司,把融资压到 capex 上,等于把"开源基金会"故事的余量,换成了"基础设施独立性"。

为什么要自建:算的不是账,是命

翻完原博客,智谱列了三个理由。我逐条拆一下,看哪条是真痛点,哪条是 PR 话术。

第一,推理成本。 GPU 小时单价是一回事,流量峰值的溢价是另一回事。第三方云按量计费,但大模型推理有明显波峰波谷:白天高、夜里低,工作日高、周末低。云厂商不会因为你夜里闲就退钱。你也不能临时按峰值扩容——那才是真的贵。自建能把整体利用率拉到 70% 以上,云上通常 30% 就到顶。

第二,延迟可控。 自建能把 P99 压到 50ms 以内。云上因为网络跳数和共享租户,很难做到。这不是技术做不到,是商业模型不允许。

第三,数据合规。 中文语料出境的红线一直在,只是平时不查。用国内云时,数据在国内机房之间流转,问题不大;一旦涉及境外节点,合规风险立刻上来。自建 + 自有机房,把这条线焊死。

三条里真正硬的是第三条。前两条是经济账,第三条是能不能继续做这趟生意的账。

和过去不一样的地方

对比一:头部公司两年前就走完了。 Anthropic 和 AWS 深度合作,用 Trainium 跑训练负载;OpenAI 自建超算的故事更早,Mira Murati 时代就在讲;Meta 的 Llama 推理也是自建。这些公司有钱、有场景、有团队,自建是顺理成章。

对比二:中国大模型公司的默认选择还是云。 阿里通义靠阿里云,字节豆包靠火山引擎,月之暗面、深度求索早期都租云。这是资源最优解——不提前 capex,按 token 付费,起步轻。智谱之前也是这条路径。

对比三:智谱的特殊性——它不是巨头,烧钱自建是把有限融资压到 capex 上。 这意味着开源故事的余量被压缩,独立可控的故事被放大。换句话说,智谱不再打算讲"我们和阿里云共生",开始讲"我们可以独立服务大客户"。

这是中国大模型公司第一次在公开博客里把这件事说清楚。之前大家都在做,只是不说。

对开发者意味着什么

如果你正在用 GLM-4 / GLM-4.5 系列 API(入口:z.ai/platform),短期内会有三个变化:

1. 端到端延迟下降。 自建栈的 P99 能砍掉一半,体感最明显的是长上下文场景——之前 32k 上下文尾巴那段经常卡,自建后会顺很多。

2. 价格短期可能上调。 自建初期 capex 摊销重,大概率会转嫁一部分给 API 客户。用量大的话,建议锁个长约。

3. 服务稳定性理论上更高。 少一层云厂商故障域,SLA 会更好看。具体数字要等他们发 SLA 文档。

接入方式没变,下面这段是从 z.ai 文档拿的,能跑:

from zai import ZaiClient

client = ZaiClient(api_key="YOUR_API_KEY")

response = client.chat.completions.create(
    model="glm-4.5",
    messages=[
        {"role": "user", "content": "用一句话解释什么是推理栈"}
    ],
    temperature=0.7,
    max_tokens=256,
)

print(response.choices[0].message.content)

本地跑开源版 GLM-4.5,推荐 vLLM,吞吐量比 HuggingFace Transformers 直接跑高 10-20 倍。

编辑思考

自建推理栈从来不是技术选择,是商业选择。模型公司开始讲"基础设施独立性",通常意味着在给下一轮估值、IPO 或长期客户讲故事——卖的不是 token,是"可控"。

多数中国大模型公司还在烧 token 抢客户,智谱开始卖"可控"。这一步走早了 12 个月。短期看,智谱会在 API 定价上吃亏(自建摊销 + 客户迁移成本)。长期看,如果国产 GPU 在 2026 年下半年能把单卡推理性能拉到 H100 的 70% 水平,智谱就是提前两年卡位。

和阿里字节不同,智谱没有内部云业务兜底,这是孤注一掷;和 Anthropic 用 Trainium 跑训练负载不同,智谱大概率还是用英伟达国内特供版,卡脖子风险没解决,只是从"被云卡"换成"被 GPU 厂卡"。

不确定的地方:我没看到智谱披露 GPU 型号、机房位置、capex 数字。如果他们用的是 H100/H200 国内特供版,这步的护城河其实只有 18-24 个月——等国产替代成熟,所有公司都能自建。

参考资料:z.ai 官方博客原文 · Hacker News 讨论帖

来源: https://z.ai/blog/glm-built-its-inference-infrastructure