GLM 團隊(z.ai/智譜海外品牌)前幾天發布了《GLM built its inference infrastructure》,宣布把推理服務從阿里雲搬回自建機房。這篇貼文在 Hacker News 上拿到 169 分、131 則評論,登上首頁第一排。
消息來源:z.ai/blog/glm-built-its-inference-infrastructure
大模型公司自建推理服務,2024 年見到已不算稀奇——Anthropic 與 AWS 深度綁定,OpenAI 自己蓋超算,Meta 的 Llama 推理服務也是自建。但智譜這一步放在中國市場脈絡下看,時機相當微妙:它不像阿里、字節那種資源怪獸,身為非上市公司,把融資額度壓進 capex,等於把「開源基金會」的敘事餘額,換成「基建自主權」。
為何自建:算的不只是帳,是命
翻完原部落格,智譜列出三個理由。這邊逐條拆解,看看哪條是真正痛點,哪條是公關話術。
第一,推理成本。GPU 小時單價是一回事,流量尖峰的溢價是另一回事。第三方雲端採用量計費,但大模型推理有明顯的峰谷差異:白天高、夜裡低,平日高、週末低。雲廠商不會因為你半夜閒置就退錢。你也沒辦法只按峰值開機——那才是真的貴。自建能把整體資源利用率拉到 70% 以上,在雲端通常 30% 就已經封頂。
第二,延遲可控。自建能把 P99 壓到 50ms 以內。雲端受限於網路跳數與共享租戶,要達到這個數字很困難。這不是技術做不到,是商業模型不允許。
第三,資料合規。中文語料出境的紅線一直都在,只是平時不查。採用國內雲端時,資料在國內機房之間流動,問題不大;一旦涉及境外節點,合規風險立刻浮上來。自建加上自有機房,把這條界線徹底焊死。
三條裡真正硬的只有第三條。前兩條是經濟帳,第三條是這門生意還能不能繼續做下去的帳。
和過去不一樣的地方
對比一:頭部公司兩年前就走完這條路了。Anthropic 與 AWS 深度合作,用 Trainium 跑訓練負載;OpenAI 自建超算的故事更早,Mira Murati 時代就在談;Meta 的 Llama 推理也是自建。這些公司有資金、有場景、有團隊,自建是水到渠成。
對比二:中國大模型公司的預設選擇仍是雲端。阿里通義靠阿里雲,字節豆包靠火山引擎,月之暗面、深度求索早期都租雲。這是資源最佳解——不提前砸 capex,按 token 計費,起步輕。智譜過去也走這條路。
對比三:智譜的特殊性——它不是巨頭,把有限融資壓進自建是場豪賭。這代表開源故事的餘量被壓縮,獨立可控的故事被放大。換句話說,智譜不再打算講「我們跟阿里雲共生」,改講「我們能獨立服務大客戶」。
這是中國大模型公司第一次在公開部落格把這件事講清楚。先前大家都在做,只是不說。
對開發者意味著什麼
如果你正在用 GLM-4 / GLM-4.5 系列 API(入口:z.ai/platform),短期內會有三個變化:
1. 端對端延遲下降。自建服務的 P99 能砍一半,體感最明顯的是長上下文場景——之前 32k 上下文的尾巴那段經常卡,自建後會順很多。
2. 價格短期可能上調。自建初期 capex 攤銷重,大機率會轉嫁一部分給 API 客戶。用量大的話,建議鎖個長約。
3. 服務穩定性理論上更高。少一層雲廠商故障域,SLA 會更好看。具體數字要等他們公布 SLA 文件。
接入方式沒變,下方程式碼取自 z.ai 官方文件,可以直接跑:
from zai import ZaiClient
client = ZaiClient(api_key="YOUR_API_KEY")
response = client.chat.completions.create(
model="glm-4.5",
messages=[
{"role": "user", "content": "用一句話解釋什麼是推理棧"}
],
temperature=0.7,
max_tokens=256,
)
print(response.choices[0].message.content)
本地跑開源版 GLM-4.5,推薦 vLLM,吞吐量比 HuggingFace Transformers 直接跑高 10-20 倍。
編輯觀點
自建推理服務從來不是技術選擇,是商業選擇。模型公司開始談「基建自主權」,通常意味著在為下一輪估值、IPO 或長期客戶鋪陳故事——賣的不是 token,是「可控」。
多數中國大模型公司還在燒 token 搶客戶,智譜開始賣「可控」。這一步早了 12 個月。短期看,智譜會在 API 訂價上吃虧(自建攤銷加上客戶遷移成本)。長期看,如果國產 GPU 在 2026 年下半年能把單卡推理效能拉到 H100 的 70% 水平,智譜等於提前兩年卡位。
與阿里、字節不同,智譜沒有內部雲業務做後盾,這是孤注一擲;與 Anthropic 用 Trainium 跑訓練負載不同,智譜大機率仍採用輝達國內特供版,被掐脖子的風險沒解決,只是從「被雲卡」變成「被 GPU 廠卡」。
不確定的地方:沒看到智譜揭露 GPU 型號、機房位置、capex 數字。如果用的是 H100/H200 國內特供版,這步的護城河其實只有 18-24 個月——等國產替代成熟,所有公司都能自建。
參考資料:z.ai 官方部落格原文 · Hacker News 討論串