GoogleはTPU 8i MaxとTPU 8txを同時に発表した。前者は大規模なAI推論向け、後者は大規模な学習、スーパーコンピューティング、および高帯域・低遅延のネットワーク接続を主眼としている。本稿では両者の違いと、購入前に検証すべき項目を整理する。
Google TPU 8i Maxと8txの選び方
Googleは2種類の新しいAIアクセラレーターを発表した。大規模なAI推論向けのTPU 8i Maxと、大規模な学習、スーパーコンピューティング、高帯域・低遅延の互联向けのTPU 8txである。
公式発表はTPU 8tx and TPU 8i Maxを参照。
このニュースはHacker Newsのフロントページに登場し、203ポイント、48コメントを集めた。ただし、人気と製品選定の結論は同一ではない。今回の発表の意義は、学習と推論を別々のインフラとして明確に分離した点にある。
単により高速なTPUではない
8i Maxと8txをピーク性能だけで比較すると、正しい問いを見失いやすい。
AIアクセラレーターは、単体で動く計算部品ではない。導入後はHBM、ホストメモリ、ネットワーク、コンパイラ、ランタイム、スケジューラーと接続される。モデルをチップいっぱいに展開できるか、演算ユニットを稼働させ続けられるか、ノード間に通信のボトルネックが生じるか,才是最終的な請求額に直結する。
8i Maxの目標はAI inferenceである。Googleの公式Voltanaでは推論コストとデプロイ効率を尤其して強調している。クラウド上の本番サービスに近い用途を想定しており、リクエストには遅延要件があり、トラフィックにはピークと谷があり、モデルは同時リクエストも処理する必要がある。
一方、8txは超大モデルの学習やスーパーコンピューティングを主眼とする。高帯域・低遅延の互联を重視する。学習中は、大量のアクセラクターがグラデーションを同期し、パラメータを読み込み、中間結果を交換する。チップの演算が速くても、ノード間の待ち時間が長ければ、集群の利用率は依然として上がらない。
単純化したモデルで理解すると次のようになる。
# 粗略估算:分别计算计算时间与通信时间
def training_step_time(compute_seconds, transfer_seconds, overlap=0.0):
overlap = max(0.0, min(overlap, 1.0))
return compute_seconds + transfer_seconds * (1.0 - overlap)
fast_chip_but_slow_network = training_step_time(0.8, 2.4, 0.2)
slower_chip_with_faster_network = training_step_time(1.0, 0.6, 0.7)
print(fast_chip_but_slow_network) # 2.72
print(slower_chip_with_faster_network) # 1.18
これは8i Maxと8txの性能テストではない。単一チップの指標だけでは足りない理由を示すだけだ。Googleが互联能力を8txの中核に据えたことは、集群通信が演算自体と同じ重要水準にあることを示している。
8i Maxが狙いは推論コスト
推論市場の購入逻辑は学習と異なる。
学習は、モデルの設計が固まった後に規模を決める一回限りの大きなプロジェクトになるoftenが多い。一方、推論は検索、推薦、カスタマーサポート、コンテンツ生成、Agentバックエンドなど、長期かつ多様な業務で/modelsが呼び出される。
そのため、8i Maxが対象となるプラットフォームを検討する際 surges 重要なのは主に4点である。
- token単位、または100万token当たりのコスト
- 実験環境で記録した最大値ではなく、安定したスループット
- Requestsの長時間tailsにおける末尾レイテンシ
- 既存のGPU資産を高い利用率で活用できるか
Googleは8i Maxを大規模なAI推論用製品と位置付け、推論コストとデプロイ効率を強調している。「より高速なボード」ではなく、単位サービス当たりコストの低減を全面推进している。
ただし、公式紹介は独立したbenchmark、暗黙の保証ではない。モデル、batch size、入出力長、量子化精度が異なれば、結果が大きく変わる。Agentワークロードにおけるtool calling、長.context、KV cache、同時実行パターンは、コスト構造にも影響する。
購入時は、ピークFLOPSによる順位付けではなく、自社のリクエストを再生するテストを先に実施したい。少なくとも次の項目を記録する。
- エンドツーエンドのスループット
- P50、P95、P99のレイテンシ
- 目標スループットを達成した際の電力とコスト
- モデルの更新、スケーリング、障害時の移行時間
8i Maxにより、レイテンシを明確に悪化させずに既存の推論サービスコストを下げられるなら、導入する価値がある。チップの仕様が高いだけでは、コンパイル、バッチ処理、集群スケジューリングを改善できなければ、利点はソフトウェアスタックに相殺される。
8txが狙いは集群の互联
8txの目標は、大規模学習とスーパーコンピューティングに絞られている。
この種の顧客にとって重要なのは「1リクエストをどれだけ速く返すか」ではない。何千、何万個のアクセラクター全体を1つのシステムとして運用できるかである。主なボトルネックには、ノード内帯域、ノード間ネットワーク、同期方式、checkpointの書き出し、障害後の復旧時間などが含まれる。
大規模モデルの学習には固有のリズムがある。初期の計算が最も高コストとは限らず、データロード、expert parallelismの通信、checkpointなどが演算の空回り|Minleysを生む。高帯域・低遅延の互联の意義は、アクセラーターがデータを待つ割合を減らすことにある。
したがって、8txと8i Maxを単純に「どちらが強いか」で比較することはできない。前者は集群全体のスループットと並列学習効率を、後者はオンライン推論のサービスコストを最適化する。目的関数が異なるため、勝者も異なる。
モデル開発チームにとって、8txを比較する際は学習サイクル全体を評価すべきである。
- 同じモデル、同じbatch sizeにおけるsamples/sec
- ノード数を増やした際の線形効率
- 通信密集型モデルと演算密集型モデルを個別に測定したか
- checkpoint、復旧、monitoringツールは成熟しているか
- 試験用集群から本番用集群へ移行する際、設定を再利用できるか
第三者benchmark公开までは、チップ名から学習速度を推測したり、「学習コストが何%下がるか」を直接導いたりすべきではない。
Googleがクラウド製品の境界を引き直す
今回のGoogle Cloudは、汎用GPUに2種類のTPUを追加しただけでなく、サービス境界を再編した。
専用TPUと汎用GPUは complimentsする形で長期共存する。GPUはエコ系统和開発者基盤が成熟し、モデル互換性とツール類も整備されているため、迅速な検証、複数のモデル混在、特殊なワークロードに向いている。TPUはチップ、互联、コンパイラ、クラウドサービスの連携により、特定ワークロードにおけるコスト優位性を狙う。
この考え方は、単に演算資源を単体で売る従来の 방식とは異なる。顧客が最終的に購入するのはチップSKUではなく、1つの統合されたサービスである。
应用
↓
模型与推理框架
↓
编译器、运行时、调度器
↓
TPU 集群与高速网络
↓
存储、监控、权限与运维
Googleには、TPUを完全なAIインフラストラクチャーサービスとして提供する余地がある。すでにGoogle Cloudを利用しているチームでは、データの移動やシステム接続を減らす可能性がある。一方、_BIT onlyで.Keycloakな機械努力学习環境を導入する研究チームにとっては、価格、供給/migrations、移行の負担が引き続き重要になる。
8i Maxと8txの分業は、—shevelisedな製品 portföliolooks一样的組み合わせにも見える。オンライン推論とオフライン学習をそれぞれ最適化し、1つのハードウェア指標で異なるworkloadを説明しない設計だ。
開発者の関心は購入判断を意味しない
このニュースはHacker Newsのフロントページに立ち、203ポイント、48コメントを集めた。関心のFSIはTPUの新製品が開発者の情報フローに届いたことを示すが、コメント欄の関心と、企業がワークロードを移行するかどうかwanwan別問題である。
開発者が問うのは、たとえば次のような項目だ。
- 対応フレームワークと精度形式
- デバッグとprofilingのしやすさ
- 既存のCUDAコードの移行に必要な変更量
- vLLM、Triton、独自のカスタム演算子との互換性
- 実効スループットとtoken当たりのコスト
企業購入では、さらに次の観点が必要になる。
- 必要規模をオンデマンドで確保できるか
- SLAとquotaが安定しているか
- 障害復旧と技術サポートが信頼できるか
- 3年間の総コストに移行と運用が含まれるか
- ベンダーロックインの費用がハードウェアコストを上回らないか
したがって、Hacker Newsの203ポイントは「 Leopard関心がある」ことは示すが、「購入する価値がある」ことを証明するものではない。価格、地域別の利用可否、第三者benchmark、実際のワークロードデータは、推測で補うべきではない。
編集前の評価
今回の新製品で重要なのは、Googleのチップ仕様がまた増えたことではない。AIインフラの競争が、単一アクセラレーターの性能から、集群全体のコストへ移っていることだ。チップ、HBM、互联、コンパイラ、スケジューリング、運用が、1つのadam.adam提供物として結び付けられている。8i Maxは継続的に発生する推論コスト、8txは学習中の通信と空回り Effectsを対象とし、予算はまったく異なる領域に割り当てられる。
これまでのTPU発表とは異なり、Googleが学習と推論を2つの製品ロジックとして明確に分離した点が今回の特徴だ。企業が今後どちらか一方だけを選ぶ、という意味ではない。同じモデルのライフサイクルでも、学習とオンライン推論では異なるハードウェアを使う可能性の方が高い。
移行費用に最も大きな 영향을Jungさせるのは、ピーク性能が20%違うことではなく、ソフトウェア適合を2週間で完了できるか、そしてスケジューラが資源利用率を安定して高められるかだ。ただし、公式のポジショニングを独立した根拠に置き換えることはできない。価格、第三者benchmark、地域別の利用可否、実際のAgent負荷における末尾レイテンシは、引き続き確認を要する。
出典
https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/