제품

Cloud AI 100 Ultra 심층 분석: 128GB 저전력 추론 카드

Cloud AI 100 Ultra는 128GB 메모리와 548GB/s 대역폭, 150W 전력으로 클라우드 LLM 추론에 접근한다. 하드웨어 방향은 명확하지만, 실제 도입 판단에 필요한 처리량·지연 시간·호환성·이전 비용 데이터는 아직 부족하다.

글자 크기

Cloud AI 100 Ultra 심층 분석: 128GB 저전력 추론 카드

전력 150W, 메모리 128GB, 대역폭 548GB/s. Cloud AI 100 Ultra는 NVIDIA와 정면으로 최고 연산 성능을 겨루기보다, 클라우드 대규모 모델 추론에서 메모리 용량과 에너지 효율을 내세운다.

Qualcomm은 Cloud AI 100 Ultra를 데이터센터용 AI 가속 카드로�������� 데이터센터 AI 가속 카드로업계 пози셔닝하며, 제품 페이지에는 150W 전력, 128GB 메모리, 548GB/s 메모리 대역폭이 제시됐다.

당시 Hacker News discussions는 프런트 페이지에 49 points와 19개의 댓글을 모아较大的ものではない 만큼 주목할 만했다. 논의는 집중적이었다. 이는 실제 배포 가치가 있는 추론 카드인가, 아니면 다시 한 전용 가속기이며 워크로드 적응이 필요한가?

핵심은 최고 연산 성능이 아닌 사양

우선 세 가지 사양부터 살펴본다.

  • 전력: 150W
  • 메모리: 128GB
  • 메모리 대역폭: 548GB/s

학습 카드를 평가할 때 사람들은 먼저 FP16, BF16 또는 FP8의 최고 연산 성능을 묻고, 이후 VRAM 용량과 대역폭을 확인한다. 추론 카드에서는 순서가 반대가 되어야 한다.

대규모 모델 추론은 흔히 세 가지 요인의 제약을 받는다.

  1. 모델 가중치가 이미 메모리에 적재됐는가
  2. 토큰 하나를 생성할 때 얼마의 가중치를 읽어야 하는가
  3. 여러 요청이 동시에 들어왔을 때 시스템이 어떻게 스케줄링하는가

모델 전체가 상주하지 않으면 CPU 메모리, 가속기 메모리, 외부 저장소 사이에서 가중치를 옮겨야 한다. 계산 유닛이 아직 일하지 않았는데도 I/O에서 병목이 먼저 발생한다.

Cloud AI 100 Ultra의 548GB/s 메모리 대역폭은 모든 고사양 GPU를 이기는 것이 아니라, 카드 한 장의 상주 용량을 높이고 가중치 이동을 줄이는 것을 목표로 한다. 150W라는 전력 수치도 여기에 의미가 있다. 더 촘촘한 랙 배치가 가능하고, 인스턴스별 냉각 부담도 줄일 수 있기 때문이다.

물론 이것만으로 자연스럽게 지연 시간이 낮아지는 것은 아니다. 지연 시간은 양자화 방식, 오퍼레이터 구현, 배치 전략, 호스트 연결, 소프트웨어 스택에도 좌우된다. 사양은 기술 방향을 보여줄 뿐, 실측을 대체할 수 없다.

128GB가 핵심 셀링 포인트

128GB는 이 카드에서 가장 논의할 가치가 높은 사양이다.

지난 2년간 대규모 모델 추론에서는 KV cache의 중요성이 커졌다. 긴 컨텍스트, Agent의 여러 차례 호출, RAG, 높은 동시성 처리는 계속해서 VRAM을 소모한다. 제품 페이지에 적힌 컨텍스트 윈도우의 크기와, 모델 실행 후 실제로 KV cache에 남을 수 있는 공간은 별개의 문제다.

더 큰 unified memory는 몇 가지 직접적인 이점을 제공한다.

频繁换入减少带来的稳定延迟

중간 규모 모델의 양자화 가중치를 통째로 상주시킬 수 있다면, 추론 서비스는 호스트 메모리나 SSD에서 가중치를 빈번하게 가져올 필요가 없다. 요청이 들어오면 곧바로 계산을 시작할 수 있다.

이는 대화형 서비스에 특히 중요하다. 사용자가 체감하는 것은 보드 마케팅 자료에 적힌 이론적 최고 성능이 아니라 첫 토큰 지연 시간과 이후 생성 속도다.

긴 컨텍스트 때문에 즉시 동시성을 줄이지 않아도 됨

긴 컨텍스트가 만드는 추가 부담은 보통 가중치에서만 오는 것이 아니라 KV cache에서도 발생한다. 소프트웨어가 128GB를 효율적으로 관리할 수 있다면, 배포자는 컨텍스트 길이, batch size, 동시 요청 수를 조정할 여지를 더 확보할 수 있다.

다만 한 가지 조건이 필요하다. 128GB는 전체 메모리이지, 전부 무조건 KV cache에 할당할 수 있는 용량은 아니다. 런타임은 여전히 작업 공간, 통신 버퍼, 프레임워크 자체에 필요한 메모리를 사용해야 한다.

MoE 모델에 더 적합한 대용량 메모리 전략

MoE 아키텍처는 토큰을 계산할 때 일부 expert만 활성화하지만, 모든 expert의 가중치는 상주하거나 접근해야 한다. 대용량 메모리는 routing 외에 발생하는 가중치 이동 부담을 줄일 수 있다.

따라서 Cloud AI 100 Ultra의 논리는 “메모리가 클수록 모든 모델이 빨라진다”가 아니다. 메모리와 대역폭이 병목인 워크로드에서는 더 큰 용량이 낮은 page-out 비용, 안정적인 지연 시간, 높은 서비스 밀도로 이어질 가능성이 있다는 데 있다.

150W가 구매 비용 계산식을 바꾼다

클라우드 서비스 제공자에게 추론 가속기는 우선 구매 비용이고, 그다음이 성능이다.

150W는 무엇을 의미하는가?

한 랙에 카드 32장을 배포한다고 가정하자. 카드 한 장의 소비 전력만 4.8kW이며, CPU, 메모리, 네트워크, 전력 이중화 비용은 아직 포함하지 않았다. 700W급 고사양 GPU로 같은 수의 보드를 구성하면 이미 22.4kW에 달한다. 랙 전력, 액체 냉각 설계, 데이터센터 공간도 함께 바꿔야 한다.

여기서 언급한 700W는 전력 차이를 설명하기 위한 수치일 뿐, Cloud AI 100 Ultra의 비교 제품 사양이 아니다. 이를 근거로 두 제품의 성능 차이도 추론할 수 없다. 올바른 계산 기준은 유효 token당 비용이다.

每 token 成本 =
(设备折旧 + 电费 + 机房与散热成本)
÷ 部署期间产出的有效 token 数

Cloud AI 100 Ultra의 실제 처리량이 낮다면, 낮은 전력, 높은 배포 밀도, 적은 운영 비용으로 격차를 만회해야 한다. 처리량이 비슷한 상태에서 전력이 한 자릿수 낮다면 구매 비용 계산은 매력적이 될 수 있다.

150W의 가치는 절전 홍보 문구가 아니다. 랙 밀도와 token당 비용을 바꿀 수 있는 설계 제약이라는 데 있다.

Qualcomm이 CUDA와의 정면 경쟁을 피한 방식

NVIDIA GPU의 우점은 언제나 칩셋에만 있는 것이 아니다.

CUDA, cuDNN, NCCL, TensorRT-LLM, vLLM 지원, 이미 조정된 다수의 오퍼레이터와 양자화 절차가 함께 이전 비용을 구성한다. 개발자가 지원되지 않는 오퍼레이터를 만나면 대개 생태계 안에서 대안이나 기존 구현을 찾을 수 있다.

Cloud AI 100 Ultra는 이 모든 차원에서 승리할 필요가 없다. 안정적인一类 워크로드에서 충분히 좋은 결과를 내면 배포 가치를 만들 수 있다.

이러한 워크로드의 전형적인 특징은 다음과 같다.

  • 모델 구조가 비교적 고정되어 있다.
  • 입력과 출력이 주로 텍스트 또는 이미지 token으로 구성된다.
  • 비즈니스가 컴파일과 오퍼레이터 적응을 감수할 수 있다.
  • 배포자가 낮은 전력과 더 큰 메모리를 위해 일정 수준의 소프트웨어 비용을 감수할 의사가 있다.

이는 전용 추론 카드에서 흔히 보이는 제품 논리다. 무엇이든 실행한다는 목표를 추구하기보다, 명확한 모델과 서비스 등급을 중심으로 최적화한다.

그렇지만 NVIDIA에는 여전히 뚜렷한 우점이 있다. 범용성, 완성도 높은 도구, 개발에서 배포까지의 경로다. Cloud AI 100 Ultra가 증명해야 하는 것은 “CUDA가 제공하지 못하는 모든 것”이 아니라, “일부 클라우드 추론 작업에서 더 낮은 총비용으로 충분히 좋은 결과를 제공할 수 있는가”다.

가장 큰 공백은 여전히 벤치마크

현재 가장 필요한 것은 추가적인 제품 사양이 아니라 재현 가능한 워크로드 데이터다.

최소한 네 가지 질문에 답해야 한다.

1. 실제 처리량은 얼마인가?

모델, 정밀도, 입력 길이, 출력 길이, batch size, 동시 요청 수를 함께 밝혀야 한다. tokens/s만 보는 것은 의미가 없다. 1,000 token을 계속 출력하는 작업과 20 token만 출력하는 작업은 서로 다른 부하를 만들기 때문이다.

2. 첫 token 지연 시간은 어떤가?

TTFT는 사용자가 시스템이 멈춘 것처럼 느끼는지 결정한다. cold start, 사전 준비 이후, 서로 다른 동시성 조건에서 P50, P95, P99를 함께 보고하는 것이 바람직하다.

3. 모델 호환성은 어느 정도인가?

주요 오픈소스 모델을 얼마나 폭넓게 지원하는지, 양자화 이후 정밀도가 얼마나 손상되는지 확인해야 한다. 특히 MoE, 긴 컨텍스트, 구조화된 생성은 128GB 메모리가 가장 유리할 수 있는 영역이므로 주목할 만하다.

4. 소프트웨어 이전 비용은 얼마나 큰가?

배포를 위해 코드를 얼마나 수정해야 하는가? Hugging Face, vLLM 또는 기존 서비스 프레임워크를 재사용할 수 있는가? 지원되지 않는 오퍼레이터가 나왔을 때 작은 수정으로 해결되는지, 모델을 다시 작성해야 하는지 확인해야 한다.

이 질문들에 명확한 답이 없다면 150W, 128GB, 548GB/s는 여전히 사양일 뿐이며 제품의 성공과 실패를 판단하기에 부족하다.

Qualcomm 공식 페이지:
https://www.qualcomm.com/data-center/products/cloud-ai-100-ultra

Hacker News 논의:
https://news.ycombinator.com/item?id=50370654

편집자 생각

이 사례가 중요한 이유는 AI 가속 카드가 하나 더 추가됐기 때문이 아니다. 추론 장비 구매에서 선택지를 계산할 수 있게 됐기 때문이다. 최고 연산 성능끼리만 비교하는 대신 메모리 용량, 전력, token당 비용도 비교해야 한다. 클라우드 서비스 제공자에게 이는 곧 랙 밀도, 컨텍스트 길이, 동시성 전략에 직접 영향을 준다.

전용 추론 카드의 돌파구는 범용 모델 시장이 아니라, 고정된 모델과 안정적인 트래픽, 명확한 지연 시간 경계를 가진 서비스에서 열릴 가능성이 크다. 내부 API, 대량 텍스트 처리처럼 자주 모델을 교체하지 않거나 복잡한 오퍼레이터에 의존하지 않는 업무에 먼저 적용될 수 있다. 반대로 모델을 자주 바꾸거나 복잡한 오퍼레이터가 필요한 사업에는 당분간 적합하지 않을 수 있다.

이번 접근은 과거의 “최고 연산 성능을 높이는” 전략과 다르다. 평가 기준이 배포 이후의 총비용과 예측 가능성으로 이동했다. 128GB는 단순한 사양 숫자가 아니라 스케줄링 전략의 일부가 될 수도 있다. 하지만 공개된 벤치마크, 실제 모델 목록, 이전 사례가 아직 없어 소프트웨어 스택이 하드웨어 이점을 실현할 수 있는지 확인하기 어렵다. 구매 전에는 자체 모델로 부하 테스트를 수행해야 한다.

출처: https://www.qualcomm.com/data-center/products/cloud-ai-100-ultra