產品

Google TPU 選型解析:8i Max 與 8tx 各自的戰場

TPU 8i Max 聚焦大規模 AI 推理,8tx 則針對模型訓練、supercomputing 與高速叢集互聯。本文從延遲、成本、吞吐與擴充效率出發,釐清兩款產品的採購判準與適用邊界。

字級

Google 同時推出 TPU 8i Max 與 TPU 8tx。前者專為大規模 AI 推理而設,後者則聚焦大規模訓練、supercomputing,以及高頻寬、低延遲的叢集互聯。本文將拆解兩者的核心差異,並指出正式採購前應驗證哪些指標。

Google TPU 比較:8i Max 與 8tx 如何選

Google 發布兩款新型 AI 加速器:主打大規模 AI 推理的 TPU 8i Max,以及針對大規模訓練、supercomputing 與高頻寬低延遲互聯而設計的 TPU 8tx。

官方介紹請見:TPU 8tx and TPU 8i Max。

這則消息登上 Hacker News 首頁後,累積 203 分、48 則留言。不過,熱度並不等於選型答案。此次發布的真正重點,是把訓練與推理拆成兩套各自最佳化的基礎架構。

不僅是兩款更大的 TPU

若只比較 8i Max 與 8tx 的峰值算力,很容易從錯誤的問題切入。

AI 加速器並非孤立運作的運算零件。實際部署時,它還必須連接 HBM、主機記憶體、網路、compiler、runtime 與排程系統。模型能否有效填滿晶片、運算單元能否持續運作,以及節點之間是否形成通訊瓶頸,這些因素才更接近最終帳單。

8i Max 的目標是 AI inference。Google 官方文章特別強調推理成本與部署效率。它更接近雲端線上服務的情境:請求具有延遲限制,流量存在尖峰與低谷,模型還必須處理並行請求。

8tx 處理的是另一類問題:訓練超大型模型,以及執行 supercomputing 工作負載。它強調 高頻寬、低延遲互聯。訓練期間,大量加速器需要同步 gradient、讀取參數並交換中間結果。即使單顆晶片計算速度再快,若節點間等待過久,叢集利用率仍難以提升。

可以先用一個簡化模型理解:

# 粗略估算:分別計算計算時間與通信時間
def training_step_time(compute_seconds, transfer_seconds, overlap=0.0):
    overlap = max(0.0, min(overlap, 1.0))
    return compute_seconds + transfer_seconds * (1.0 - overlap)

fast_chip_but_slow_network = training_step_time(0.8, 2.4, 0.2)
slower_chip_with_faster_network = training_step_time(1.0, 0.6, 0.7)

print(fast_chip_but_slow_network)       # 2.72
print(slower_chip_with_faster_network)  # 1.18

這不是 8i Max 與 8tx 的效能測試,單純用來說明為何只比較單晶片指標並不足夠。Google 將互聯能力納入 8tx 的核心定位,反映叢集通訊已與運算本身具有同等重要性。

8i Max 押注的是推理成本

推理市場的採購邏輯與訓練不同。

訓練通常是一次性的大型專案,模型架構確定後才決定規模。推理則可能長期運作,而且業務型態眾多:搜尋、推薦、客服、內容生成與 Agent 後端,都可能呼叫模型。

因此,企業採購 8i Max 所在的平台時,真正敏感的通常是四項指標:

  • 每個 token 或每百萬 token 的成本;
  • 能否維持穩定吞吐,而非只在實驗室環境達成最高數值;
  • 長尾請求造成的尾延遲;
  • 現有 GPU 資源能否以高利用率承接工作負載。

Google 將 8i Max 定位為大規模 AI 推理產品,並強調推理成本與部署效率。這代表它銷售的不只是一塊「更快的板子」,而是更低的單位服務成本。

但官方介紹不能直接等同獨立 benchmark。不同模型、batch size、輸入與輸出長度,以及量化精度,都可能造成明顯差異。Agent 情境中的工具呼叫、長上下文、KV cache 與並行模式,也會改變成本結構。

採購時,較合理的方式是先用自有請求進行回放測試,而非依峰值 FLOPS 排名。至少應記錄:

  1. 端到端吞吐;
  2. P50、P95 與 P99 延遲;
  3. 達成目標吞吐時的功耗與成本;
  4. 模型升級、擴充或縮容,以及故障遷移所需的時間。

若 8i Max 能在不 明顯增加延遲的前提下,降低既有推理服務的帳單,它就具有實際價值。若僅提升晶片規格,卻無法改善 compiler、batch processing 與叢集排程,優勢可能被軟體堆疊抵銷。

8tx 爭奪的是叢集互聯能力

8tx 的目標更為集中:大規模訓練與 supercomputing。

這類客戶關心的不是「單次請求多快返回」,而是數千乃至數萬顆加速器能否作為一個整體運作。常見瓶頸包括節點內頻寬、跨節點網路、同步策略、checkpoint 寫入,以及故障後的復原時間。

大型模型訓練另有自己的效能曲線。初期運算往往不是最昂貴的部分,資料載入、expert parallelism 通訊與 checkpoint 都可能造成 accelerator 空轉。高頻寬、低延遲互聯的價值,就在於縮短加速器等待資料的比例。

因此,不能簡單判斷 8tx 與 8i Max 誰「比較強」。前者最佳化的是叢集整體吞吐與平行訓練效率,後者最佳化的則是線上推理服務成本。目標函式不同,勝出者自然也不同。

模型團隊比較 8tx 時,應檢視完整的訓練週期:

  • 相同模型與 batch size 下的 samples/sec;
  • 擴充至更多節點後的線性效率;
  • 分別測試通訊密集型與運算密集型模型;
  • checkpoint、復原與 monitoring 工具是否成熟;
  • 從試驗叢集遷移至正式叢集時,設定能否沿用。

在第三方 benchmark 公布前,僅憑晶片名稱推測訓練速度,並據此推算「訓練成本下降多少」,都缺乏可靠依據。

Google 正在重塑雲端產品邊界

Google Cloud 這次並非只是在通用 GPU 之外簡單增加兩款 TPU,而是在重新劃分服務邊界。

專用 TPU 與通用 GPU 將長期並存。GPU 生態成熟,模型相容性與軟體工具更完整,適合快速試錯、多模型並行,以及特殊工作負載。TPU 則透過晶片、互聯、compiler 與雲端服務協同,為特定工作負載換取成本優勢。

這套邏輯不同於過去單獨販售裸運算資源。客戶最終購買的不是晶片 SKU,而是一整套服務:

應用程式
  ↓
模型與推理框架
  ↓
編譯器、執行環境、排程器
  ↓
TPU 叢集與高速網路
  ↓
儲存、監控、權限與維運

Google 更有機會將 TPU 包裝為完整的 AI 基礎架構服務。對已使用 Google Cloud 的團隊而言,這種整合可能減少資料搬移與系統拼接成本。對僅購買設備進行訓練的研究團隊而言,仍須考量價格、供貨與遷移門檻。

8i Max 與 8tx 的分層,也更像一套產品組合:分別最佳化線上推理與離線訓練,避免用同一項硬體指標解釋兩種 workload。

開發者熱度不等於採購結論

這則消息登上 Hacker News 首頁後,累積 203 分、48 則留言。討論熱度說明 TPU 新品已進入開發者的資訊流,但留言區關注的重點,與企業是否遷移工作負載,是兩回事。

開發者通常會追問:

  • 支援哪些框架與精度格式;
  • 除錯與 profiling 是否順手;
  • 遷移既有 CUDA 程式碼需要修改多少;
  • 是否相容於 vLLM、Triton 或自訂 operator;
  • 實際吞吐與每個 token 的成本是多少。

企業採購還要多問一層:

  • 能否依需求取得足夠規模的資源;
  • SLA 與配額是否穩定;
  • 故障復原與技術支援是否可靠;
  • 三年總成本是否已包含遷移與維運費用;
  • 供應商鎖定造成的成本是否高於硬體成本本身。

因此,Hacker News 的 203 分可以證明「有人關注」,卻不能證明「值得採購」。價格、區域可用性、第三方 benchmark 與真實 workload 數據,目前都不應靠猜測。

編輯觀察

這次新品真正重要的,不是 Google 又多了兩種晶片規格,而是 AI 基礎架構的競爭正從單顆 accelerator,轉向整個叢集的成本。晶片、HBM、互聯、compiler、排程與維運被綁定成單一交付項目。8i Max 面向持續產生的推理帳單,8tx 處理訓練期間的通訊與空轉,兩者對應完全不同的預算。

它與過去幾輪 TPU 發布不同之處,在於 Google 更明確地將訓練與推理拆成兩套產品邏輯。這不表示企業從此只能二選一,更可能代表同一個模型生命週期內,訓練與線上服務將採用不同硬體。

我的判斷是,未來最影響遷移成本的因素,不會是峰值算力相差 20%,而是軟體適應能否在兩週內完成,以及排程器能否穩定提高資源利用率。不過,官方定位不能取代獨立證據。售價、第三方 benchmark、區域可用性,以及真實 Agent 負載下的尾延遲,仍有待後續數據確認。

來源

https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/

來源: https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/