제품

TPU 8i Max와 8tx, workloads에 따른 선택 기준

TPU 8i Max는 대규모 AI inference 비용에, 8tx는 대규모 학습과 고대역폭·저지연 클러스터互联에 초점을 둡니다. 두 제품의 성능·비용·확장성을 비교해 procurement 전에 검증해야 할 항목을 정리했습니다.

글자 크기

Google이 TPU 8i Max와 TPU 8tx를 동시에 공개했습니다. 앞선 제품은 대규모 AI inference를, 뒤 제품은 대규모 학습과 슈퍼컴퓨팅, 고대역폭·저지연互联에 초점을 둡니다. 두 제품의 차이와 구매 전에 점검해야 할 사항을 살펴봅니다.

Google TPU 비교: 8i Max와 8tx 선택 기준

Google은 두 가지 신형 AI accelerator를 출시했습니다. 대규모 AI inference를 위한 TPU 8i Max와 대규모 학습, 슈퍼컴퓨팅, 고대역폭·저지연互联을 위한 TPU 8tx입니다.

공식 소개는 TPU 8tx and TPU 8i Max에서 확인할 수 있습니다.

이 소식이 Hacker News 메인 페이지에 올라가며 203점, 48개 댓글을 얻었습니다. 하지만 인기도를 곧바로 제품 선정의 근거로 삼아서는 안 됩니다. 이번 발표의 핵심은 학습과 inference를 두 가지 인프라로 분리한 점입니다.

단순히 더 큰 TPU 두 개가 아닙니다

8i Max와 8tx를 단순한 peak performance로 비교하면 잘못된 질문을 하게 됩니다.

AI accelerator는 독립적으로 작동하는 부품이 아닙니다. 실제 서비스에 투입된 뒤에는 HBM, host memory, network, compiler, runtime, scheduling system과 연결됩니다. 모델이 chip을 충분히 활용하는지, compute unit이 계속 작동하는지, node 사이에 통신 병목이 생기는지가 최종 비용에 더 큰 영향을 줍니다.

8i Max의 목표는 AI inference입니다. Google의 공식 설명은 inference 비용과 deployment efficiency를 강조합니다. 클라우드 기반 production service에 더 가깝습니다. 요청마다 latency 요구사항이 있고, 트래픽에는 peak와 trough가 있으며, 모델은 동시에 들어오는 요청도 처리해야 합니다.

8tx는 다른 문제를 해결합니다. 초대형 모델 학습과 슈퍼컴퓨팅 환경입니다. 핵심은 고대역폭·저지연互联입니다. 학습 중에는 대량의 accelerator가 gradient를 동기화하고, parameter를 읽으며, 중간 결과를 교환합니다. Chip의 연산 속도가 아무리 빨라도 node 간 대기 시간이 길면 cluster utilization은 여전히 올라가지 못합니다.

다음은 단순화한 모델입니다.

# 粗略估算:分别计算计算时间与通信时间
def training_step_time(compute_seconds, transfer_seconds, overlap=0.0):
    overlap = max(0.0, min(overlap, 1.0))
    return compute_seconds + transfer_seconds * (1.0 - overlap)

fast_chip_but_slow_network = training_step_time(0.8, 2.4, 0.2)
slower_chip_with_faster_network = training_step_time(1.0, 0.6, 0.7)

print(fast_chip_but_slow_network)       # 2.72
print(slower_chip_with_faster_network)  # 1.18

이는 8i Max와 8tx의 performance test가 아니라, 단일 chip 지표만으로 충분하지 않은 이유를 보여주는 예시입니다. Google이互联 능력을 8tx의 핵심 포지셔닝에 포함했다는 점은 cluster communication이 computation 자체만큼 중요해졌다는 의미입니다.

8i Max가 겨냥하는 것은 inference 비용

inference市场监管은 학습과 procurement 논리가 다릅니다.

학습은 대체로 일회성 프로젝트입니다. 모델을 정한 뒤 규모를 결정합니다. 반면 inference는 장기간 실행될 수 있으며 업무 형태도 다양합니다. 검색, 추천, 고객 서비스, 콘텐츠 생성, Agent backend 모두 모델을 호출할 수 있습니다.

따라서 8i Max가 속한 platform을 구매할 때 실제로 민감한 항목은 대개 네 가지입니다.

  • token당 또는 100만 token당 비용
  • 실험실 최고 throughput이 아닌 안정적인 throughput
  • long-tail 요청에서 발생하는 tail latency
  • 기존 GPU resource를 높은 utilization으로 활용할 수 있는지

Google은 8i Max를 대규모 AI inference용 제품으로 포지셔닝하며 inference 비용과 deployment efficiency를 강조했습니다. 단순히 “더 빠른 board”를 파는 것이 아니라 단위 서비스당 비용을 낮추는 것입니다.

다만 공식 소개는 독립 benchmark와 같지 않습니다. 서로 다른 모델, batch size, 입력·출력 길이, quantization precision에 따라 결과가 크게 달라질 수 있습니다. Agent 환경의 tool call, long context, KV cache, concurrency pattern도 비용 구조를 바꿉니다.

구매할 때는 peak FLOPS 순으로 비교하기보다 자체 request replay test를 먼저 진행하는 편이 좋습니다. 최소한 다음 항목을 기록해야 합니다.

  1. End-to-end throughput
  2. P50, P95, P99 latency
  3. 목표 throughput을 달성했을 때의 power와 비용
  4. 모델 upgrade, scale out·in, failure migration에 걸리는 시간

8i Max가 latency를 눈에 띄게 늘리지 않으면서 기존 inference 서비스의 비용을 낮춘다면 가치가 있습니다. Chip 사양만 더 좋아졌고 compilation, batching, cluster scheduling이 개선되지 않는다면 software stack 때문에 장점이 상쇄될 수 있습니다.

8tx가 겨냥하는 것은 cluster interconnect

8tx의 목표는 더 집중되어 있습니다. 대규모 학습과 슈퍼컴퓨팅입니다.

이러한 고객들이 중요한 것은 “한 요청이 얼마나 빨리 반환되는가”가 아니라 수천 또는 수만 개의 accelerator를 하나의 시스템처럼运作할 수 있는지입니다. 주요 병목에는 node 내부 bandwidth, node 간 network, synchronization strategy, checkpoint write, failure recovery time이 포함됩니다.

대규모 모델 학습에는 별도의 리듬이 있습니다. 초기 단계에서는 computation이 항상 가장 비싼 것은 아닙니다. Data loading, expert parallelism communication, checkpoint 모두 idle time을 만들 수 있습니다. 고대역폭·저지연互联의 가치는 accelerator가 데이터를 기다리는 비율을 줄이는 데 있습니다.

따라서 8tx와 8i Max를 단순히 “누가 더 강한가”로 비교할 수 없습니다. 8tx는 cluster 전체 throughput과 병렬 학습 efficiency를 최적화하고, 8i Max는 online inference service 비용을 최적화합니다. 목표 함수가 다르면 우열도 달라집니다.

모델 팀이라면 8tx를 비교할 때 전체 학습 주기를 기준으로 살펴봐야 합니다.

  • 동일한 모델과 batch size에서의 samples/sec
  • 더 많은 node로 확장했을 때의 linear efficiency
  • communication-intensive 모델과 computation-intensive 모델을 각각 테스트
  • checkpoint, recovery, monitoring tool의 성숙도
  • 실험용 cluster에서 production cluster로 이전할 때 configuration을 재사용할 수 있는지

제3자 benchmark가 나오기 전에는 chip 이름으로 학습 속도를 추측하지 않으며, “학습 비용이 얼마나 낮아지는지”를 직접 계산하지도 않습니다.

Google이 다시 그리는 클라우드 제품 경계

이번 Google Cloud의 움직임은 범용 GPU 외에 TPU 두 종류를 추가한 데 그치지 않고 서비스 경계를 재편한 것입니다.

전용 TPU와 범용 GPU는 장기간 함께 존재할 것입니다. GPU ecosystem은 성숙하고 모델 compatibility와 software tool이 더 완비되어 있어 빠른 실험, 여러 모델의 혼합 실행, 특수한 workload에 적합합니다. TPU는 chip, interconnect, compiler, cloud service가 함께 작동할 때 특정 workload에서 비용 우위를 얻습니다.

이 방식은 과거의 raw compute resource 판매와 다릅니다. 고객이 최종적으로 구매하는 것은 chip SKU가 아니라 하나의 완전한 서비스 묶음입니다.

应用
  ↓
模型与推理框架
  ↓
编译器、运行时、调度器
  ↓
TPU 集群与高速网络
  ↓
存储、监控、权限与运维

Google은 TPU를 완전한 AI infrastructure service로 묶어 제공할 가능성이 높습니다. 이미 Google Cloud를 사용하는 팀이라면 이러한 통합이 data movement와 system integration 비용을 줄일 수 있습니다. 반대로 machine만 구매해 학습하는 연구 팀은 여전히 가격, 공급, migration 난이도를 따져봐야 합니다.

8i Max와 8tx의 계층도 하나의 product portfolio와 비슷합니다. Online inference와 offline 학습을 각각 최적화해 하나의 hardware metric으로 두 workload를 모두 설명하지 않으려는 설계입니다.

개발자 인기도는 procurement 결론이 아닙니다

이 소식은 Hacker News 메인 페이지에 올라가며 203점, 48개 댓글을 얻었습니다. 논의가 활발하다는 것은 새로운 TPU가 개발자의 정보 흐름에 들어왔다는 뜻이지만, 댓글에서关注하는 것과 기업이 workload를 이전할지는 별개의 문제입니다.

개발자는 보통 다음을 묻습니다.

  • 어떤 framework와 precision format을 지원하는가
  • debugging과 profiling이 편리한가
  • 기존 CUDA code를 migration하려면 얼마나 바꿔야 하는가
  • vLLM, Triton, 사용자 정의 operator와 호환되는가
  • 실제 throughput과 token당 비용은 얼마인가

기업 구매 담당자는 한 단계 더 질문해야 합니다.

  • 필요한 규모를 필요할 때마다 확보할 수 있는가
  • SLA와 quota가 안정적인가
  • failure recovery와 technical support가 신뢰할 만한가
  • 3년 TCO에 migration과 운영 비용이 포함되는가
  • vendor lock-in 비용이 hardware 비용보다 크지 않은가

따라서 Hacker News의 203점은 “관심이 있다”는 사실은 보여주지만 “구매할 가치가 있다”를 증명하지는 않습니다. 가격, 지역별 availability, 제3자 benchmark, 실제 workload data는 추측으로 판단할 단계가 아닙니다.

편집자 생각

이번 신제품에서 중요한 것은 Google의 chip 사양이 두 가지 늘었다는 사실이 아니라, AI infrastructure 경쟁이 단일 accelerator에서 전체 cluster 비용으로 이동하고 있다는 점입니다. Chip, HBM, interconnect, compiler, scheduling, operations가 하나의 delivery unit으로 묶입니다. 8i Max는 지속적으로 발생하는 inference 비용을, 8tx는 학습 중 communication과 idle time을 겨냥합니다. 서로 완전히 다른 budget에 대응하는 셈입니다.

이전 TPU 출시 때와 다른 점은 Google이 학습과 inference를 두 가지 product logic으로 더 명확히 분리했다는 것입니다. 기업이 앞으로 둘 중 하나만 선택해야 한다는 뜻은 아닙니다. 하나의 model lifecycle 안에서 학습과 online service가 서로 다른 hardware를 사용할 가능성이 더 큽니다.

제가 보기migration 비용에 가장 큰 영향을 줄 요소는 peak compute performance가 20% 차이 나는 일이 아니라, software adaptation을 2주 안에 끝낼 수 있는지, scheduler가 resource utilization을 안정적으로 끌어올릴 수 있는지입니다. 다만 공식 포지셔닝은 독립적인 evidence를 대신할 수 없습니다. 가격, 제3자 benchmark, 지역별 availability, 실제 Agent load에서 나타나는 tail latency는 계속 확인할 필요가 있습니다.

출처: https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/