Google 同時推出 TPU 8i Max 與 TPU 8tx。前者專為大規模 AI 推理而設,後者則聚焦大規模訓練、supercomputing,以及高頻寬、低延遲的叢集互聯。本文將拆解兩者的核心差異,並指出正式採購前應驗證哪些指標。
Google TPU 比較:8i Max 與 8tx 如何選
Google 發布兩款新型 AI 加速器:主打大規模 AI 推理的 TPU 8i Max,以及針對大規模訓練、supercomputing 與高頻寬低延遲互聯而設計的 TPU 8tx。
官方介紹請見:TPU 8tx and TPU 8i Max。
這則消息登上 Hacker News 首頁後,累積 203 分、48 則留言。不過,熱度並不等於選型答案。此次發布的真正重點,是把訓練與推理拆成兩套各自最佳化的基礎架構。
不僅是兩款更大的 TPU
若只比較 8i Max 與 8tx 的峰值算力,很容易從錯誤的問題切入。
AI 加速器並非孤立運作的運算零件。實際部署時,它還必須連接 HBM、主機記憶體、網路、compiler、runtime 與排程系統。模型能否有效填滿晶片、運算單元能否持續運作,以及節點之間是否形成通訊瓶頸,這些因素才更接近最終帳單。
8i Max 的目標是 AI inference。Google 官方文章特別強調推理成本與部署效率。它更接近雲端線上服務的情境:請求具有延遲限制,流量存在尖峰與低谷,模型還必須處理並行請求。
8tx 處理的是另一類問題:訓練超大型模型,以及執行 supercomputing 工作負載。它強調 高頻寬、低延遲互聯。訓練期間,大量加速器需要同步 gradient、讀取參數並交換中間結果。即使單顆晶片計算速度再快,若節點間等待過久,叢集利用率仍難以提升。
可以先用一個簡化模型理解:
# 粗略估算:分別計算計算時間與通信時間
def training_step_time(compute_seconds, transfer_seconds, overlap=0.0):
overlap = max(0.0, min(overlap, 1.0))
return compute_seconds + transfer_seconds * (1.0 - overlap)
fast_chip_but_slow_network = training_step_time(0.8, 2.4, 0.2)
slower_chip_with_faster_network = training_step_time(1.0, 0.6, 0.7)
print(fast_chip_but_slow_network) # 2.72
print(slower_chip_with_faster_network) # 1.18
這不是 8i Max 與 8tx 的效能測試,單純用來說明為何只比較單晶片指標並不足夠。Google 將互聯能力納入 8tx 的核心定位,反映叢集通訊已與運算本身具有同等重要性。
8i Max 押注的是推理成本
推理市場的採購邏輯與訓練不同。
訓練通常是一次性的大型專案,模型架構確定後才決定規模。推理則可能長期運作,而且業務型態眾多:搜尋、推薦、客服、內容生成與 Agent 後端,都可能呼叫模型。
因此,企業採購 8i Max 所在的平台時,真正敏感的通常是四項指標:
- 每個 token 或每百萬 token 的成本;
- 能否維持穩定吞吐,而非只在實驗室環境達成最高數值;
- 長尾請求造成的尾延遲;
- 現有 GPU 資源能否以高利用率承接工作負載。
Google 將 8i Max 定位為大規模 AI 推理產品,並強調推理成本與部署效率。這代表它銷售的不只是一塊「更快的板子」,而是更低的單位服務成本。
但官方介紹不能直接等同獨立 benchmark。不同模型、batch size、輸入與輸出長度,以及量化精度,都可能造成明顯差異。Agent 情境中的工具呼叫、長上下文、KV cache 與並行模式,也會改變成本結構。
採購時,較合理的方式是先用自有請求進行回放測試,而非依峰值 FLOPS 排名。至少應記錄:
- 端到端吞吐;
- P50、P95 與 P99 延遲;
- 達成目標吞吐時的功耗與成本;
- 模型升級、擴充或縮容,以及故障遷移所需的時間。
若 8i Max 能在不 明顯增加延遲的前提下,降低既有推理服務的帳單,它就具有實際價值。若僅提升晶片規格,卻無法改善 compiler、batch processing 與叢集排程,優勢可能被軟體堆疊抵銷。
8tx 爭奪的是叢集互聯能力
8tx 的目標更為集中:大規模訓練與 supercomputing。
這類客戶關心的不是「單次請求多快返回」,而是數千乃至數萬顆加速器能否作為一個整體運作。常見瓶頸包括節點內頻寬、跨節點網路、同步策略、checkpoint 寫入,以及故障後的復原時間。
大型模型訓練另有自己的效能曲線。初期運算往往不是最昂貴的部分,資料載入、expert parallelism 通訊與 checkpoint 都可能造成 accelerator 空轉。高頻寬、低延遲互聯的價值,就在於縮短加速器等待資料的比例。
因此,不能簡單判斷 8tx 與 8i Max 誰「比較強」。前者最佳化的是叢集整體吞吐與平行訓練效率,後者最佳化的則是線上推理服務成本。目標函式不同,勝出者自然也不同。
模型團隊比較 8tx 時,應檢視完整的訓練週期:
- 相同模型與 batch size 下的 samples/sec;
- 擴充至更多節點後的線性效率;
- 分別測試通訊密集型與運算密集型模型;
- checkpoint、復原與 monitoring 工具是否成熟;
- 從試驗叢集遷移至正式叢集時,設定能否沿用。
在第三方 benchmark 公布前,僅憑晶片名稱推測訓練速度,並據此推算「訓練成本下降多少」,都缺乏可靠依據。
Google 正在重塑雲端產品邊界
Google Cloud 這次並非只是在通用 GPU 之外簡單增加兩款 TPU,而是在重新劃分服務邊界。
專用 TPU 與通用 GPU 將長期並存。GPU 生態成熟,模型相容性與軟體工具更完整,適合快速試錯、多模型並行,以及特殊工作負載。TPU 則透過晶片、互聯、compiler 與雲端服務協同,為特定工作負載換取成本優勢。
這套邏輯不同於過去單獨販售裸運算資源。客戶最終購買的不是晶片 SKU,而是一整套服務:
應用程式
↓
模型與推理框架
↓
編譯器、執行環境、排程器
↓
TPU 叢集與高速網路
↓
儲存、監控、權限與維運
Google 更有機會將 TPU 包裝為完整的 AI 基礎架構服務。對已使用 Google Cloud 的團隊而言,這種整合可能減少資料搬移與系統拼接成本。對僅購買設備進行訓練的研究團隊而言,仍須考量價格、供貨與遷移門檻。
8i Max 與 8tx 的分層,也更像一套產品組合:分別最佳化線上推理與離線訓練,避免用同一項硬體指標解釋兩種 workload。
開發者熱度不等於採購結論
這則消息登上 Hacker News 首頁後,累積 203 分、48 則留言。討論熱度說明 TPU 新品已進入開發者的資訊流,但留言區關注的重點,與企業是否遷移工作負載,是兩回事。
開發者通常會追問:
- 支援哪些框架與精度格式;
- 除錯與 profiling 是否順手;
- 遷移既有 CUDA 程式碼需要修改多少;
- 是否相容於 vLLM、Triton 或自訂 operator;
- 實際吞吐與每個 token 的成本是多少。
企業採購還要多問一層:
- 能否依需求取得足夠規模的資源;
- SLA 與配額是否穩定;
- 故障復原與技術支援是否可靠;
- 三年總成本是否已包含遷移與維運費用;
- 供應商鎖定造成的成本是否高於硬體成本本身。
因此,Hacker News 的 203 分可以證明「有人關注」,卻不能證明「值得採購」。價格、區域可用性、第三方 benchmark 與真實 workload 數據,目前都不應靠猜測。
編輯觀察
這次新品真正重要的,不是 Google 又多了兩種晶片規格,而是 AI 基礎架構的競爭正從單顆 accelerator,轉向整個叢集的成本。晶片、HBM、互聯、compiler、排程與維運被綁定成單一交付項目。8i Max 面向持續產生的推理帳單,8tx 處理訓練期間的通訊與空轉,兩者對應完全不同的預算。
它與過去幾輪 TPU 發布不同之處,在於 Google 更明確地將訓練與推理拆成兩套產品邏輯。這不表示企業從此只能二選一,更可能代表同一個模型生命週期內,訓練與線上服務將採用不同硬體。
我的判斷是,未來最影響遷移成本的因素,不會是峰值算力相差 20%,而是軟體適應能否在兩週內完成,以及排程器能否穩定提高資源利用率。不過,官方定位不能取代獨立證據。售價、第三方 benchmark、區域可用性,以及真實 Agent 負載下的尾延遲,仍有待後續數據確認。
來源
https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/