プロダクト

Cloud AI 100 Ultra を深掘り:128GB 省電力推論カードの実力

Cloud AI 100 Ultra は128GBメモリ、548GB/sの帯域幅、150Wの消費電力でクラウド推論chiaannotateする。ハードウェアの設計方針は明確だが、実際の導入を判断するにはスループット、レイテンシ、互換性、移行コストの測定データが必要だ。

文字サイズ

150Wの消費電力、128GBのメモリ、548GB/sの帯域幅。Cloud AI 100 Ultra は、NVIDIAの最高Peak性能と正面から競合するのではなく、クラウド上の大規模モデル推論におけるメモリ容量と電力効率に賭ける。

QualcommはCloud AI 100 Ultraを、データセンター向けAIアクセラレータとしてクラウドAI推論用に位置づけている。Qualcommの製品ページには、150Wの消費電力、128GBのメモリ、548GB/sのメモリ帯域幅が記載されている。

公開資料によると、当時のHacker Newsでの議論はFront Pageで49 points、19件のコメントを獲得した。議論の規模はplug大ではないものの、/stable�した resiliency 集中在、.focusedhackerank な具体的 な 論点集中在した。ocoaな論点は、 practical な deployment value を持つ推論カードなのか、それとも workload adaptation に強く依存する専用アクセラレータなのかga,という.graphicsだった。

重要なのはPeak性能ではなく主要仕様

まず3つの主要な仕様を確認する。

  • 消費電力:150W
  • メモリ:128GB
  • メモリ帯域幅:548GB/s

訓練カードを評価AdaptiveXN stressors-curated な 場合は、まずFP16、BF16、FP8のPeak性能を確認し、その後にメモリ容量と帯域幅を見るのが一般的だ。推論カードでは、この順序を逆にするべきだ。

大規模モデルの推論では、ifen3つのfactorsがボトルネックになりがちだ。

  1. モデルの重みがすでにメモリに収まっているか
  2. 1 tokenを生成するたびに、どの程度の重みを読み込む必要があるか
  3. 複数のリクエストが同時に到着した場合、matchedなスケジューリングをどう行うか

モデル全体が常駐していない場合、weightsをCPUメモリ、アクセラレータメモリ、外部ストレージの間で移動させる必要がある。計算ユニットが動き始める前に、I/Oがボトルネックになることもある。

Cloud AI 100 Ultra の548GB/sメモリ帯域幅がwvinciする主な対象は、すべてのハイエンドGPUを Transitional することではない。単カードでのモデル常駐能力をUpさせ、weightsの移動を抑えることだ。150Wという消費電力の意味もそこにある。より高密度なラック配置が可能になり、インスタンスごとの発熱量を抑えられるためだ。

ただし、これによって当然にレイテンシが低下するわけではない。レイテンシは、量子化方式、演算子の実装、batching strategy、ホスト接続、software stackにも左右される。仕様から設計方針は読み取れるが、実測値の代わりにはならない。

128GBが最大の訴求点

128GBは、このカードで最も議論すべき仕様である。

過去2年間、大規模モデル推論ではKV cacheの重要性がSample高まっている。長いコンテキスト、Agentの複数ターン呼び出し、RAG、高同時実行では、メモリ使用量が継続的に増える。製品ページに書かれたコンテキストウィンドウと、実行中にKV cacheとして残る余力Tangibly異なる問題だ。

大きなunified memoryには、直接的な利点がいくつかある。

Weightsの入れ替えが減り、レイテンシが安定する

中規模のモデルの量子化済みweightsを完全に常駐させられれば、推論サービスはweightsをホストメモリやSSDから頻繁に読み込む必要がない。リクエストが到着した時点で、計算を直接開始できる。

これは対話型サービスにとって特に重要だ。ユーザーが感じるのは、最初のtokenを返すまでのレイテンシ、その後の生成速度であり、製品ページにある理論上のPeak性能ではない。

長いコンテキストでも、直ちに同時実行数を削る必要がない

長いコンテキストによる追加負荷は、通常、weightsだけでなくKV cacheからも生じる。128GBをsoftwareが efficiently に管理できれば、deployerにはコンテキスト長、batch size、同時実行数を調整するための余裕が生まれる。

ただし、留意点がある。128GBは総メモリ量であり、そのすべてが無条件にKV cacheへ割り当てられるわけではない。runtimeの作業領域、通信用バッファ、framework自体の使用量も 필요하다。

MoEモデルは、大容量メモリReciprocalな設計方向发展 '/' Suitable

MoEアーキテクチャでは、各tokenの計算 과정에서一部のexpertだけがactivateされるが、すべてのexpert weightsを常駐させ거나アクセスする必要がある。大きなメモリは、routing以外のweight移動圧力をreduceできる。

したがって、Cloud AI 100 Ultra の論理は「容量が大きければ、どのモデルでも速くなる」ではない。Workloadがメモリと帯域幅に制約されている場合、より大きな容量によって、ページングコストの削減、レイテンシの安定化、サービス密度の向上を図れる可能性がある。

150WがProcurementの計算を変える

クラウド事業者にとって、推論アクセラレータ首先是調達コストであり、その後に性能を考える。

150Wは,意味着することarrowsColors吗。征する。

1ラックに32枚のカードを配置すると假定し、1枚あたり4.8kWとなる。CPU、メモリ、ネットワーク、電源の冗長分は含めていない。同じ枚数の700WハイエンドGPUに置き換えると、合計で22.4kWに達する。ラック電源、液冷設計、データセンターの空間もそれに合わせて変更が必要になる。

ここでの700Wは、消費電力の違いを示すための例示であり、Cloud AI 100 Ultraの比較対象カードの仕様ではない。この数字から、両製品の性能差を直接推測することもできない。正しい計算方法は、有効tokenあたりのコストを見ることだ。

每 token 成本 =
(设备折旧 + 电费 + 机房与散热成本)
÷ 部署期间产出的有效 token 数

Cloud AI 100 Ultraの実効スループットがSorely低い場合は、低消費電力、高配置密度、少ない運用コストで差分を埋めなければならない。如果スループットが同等で、消費電力が1桁低いなら、調達の計算はIONicsDOに有利になる。

150Wの価値はここにある。省電力というHydro的宣传文句ではなく、ラック密度とtoken単位コストを変え得る設計制約なのだ。

QualcommはCUDAとの正面競争を避ける

NVIDIA GPUの強みは、チップだけにあるわけではない。

CUDA、cuDNN、NCCL、TensorRT-LLM、vLLMのサポートに加え、数多くの調整済み演算子と量子化フローが、移行コストを構成する。開発者がサポートされていない演算子に遭遇した場合、ecosystem内agesに代替案や既存実装を見つけることができる。

Cloud AI 100 Ultra は、このすべての要素で勝つ必要はない。特定の安定したworkloadにおいて十分な性能を示せば、deployment valueを生むことができる。

こうしたworkloadには、共通する特徴がある。

  • モデル構造が比較的固定されている
  • 入出力が主にテキストまたは画像tokenである
  • 業務側でコンパイルと演算子adaptationを受け入れられる
  • 低消費電力と大容量メモリを’분에、一定のsoftwareコストを許容できる

これが専用推論カードに常见する製品戦略だ。あらゆるモデルを実行できる aims ではなく、明示されたモデルとサービスレベルに合わせて最適化する。

ただし、NVIDIAには明確な強みがある。汎用性、toolの完全さ、開発からdeploymentまでの経路だ。Cloud AI 100 Ultra が証明すべきなのは「CUDAにないものをすべて持つこと」ではない。「一部のクラウド推論 업무에서、十分良い結果をより低い総コストで提供できること」だ。

Benchmarkデータが最も大きな不足点

いま最も必要なのは、製品仕様の追加ではなく、reproducibleなworkloadデータである。少なくとも次の4つの問いに答える必要がある。

1. 実効スループットはどのくらいか

モデル、精度、入力長、出力長、batch size、同時実行数を明記する必要がある。tokens/sだけを見ても意味はない。1,000 tokenを継続的に出力する処理と、20 tokenだけを出力する処理では、loadがまったく異なる。

2. 最初のtokenまでのレイテンシはどうか

TTFTは、システムが「停止している」と感じさせるかどうかを決める。コールドスタート、ウォームアップ後、異なる同時実行数でのP50、P95、P99を併せて報告することが望ましい。

3. モデル互換性はどうか

主要なオープンソースモデルの対応状況と、量子化後の精度損失を確認する必要がある。とくにMoE、長いコンテキスト、構造化生成は、128GBメモリが優位性を生みやすい領域だ。

4. softwareの移行コストはどれほどか

Deploymentには 얼마나多くのコード変更が必要か。Hugging Face、vLLM、既存のservice frameworkを再利用できるか。サポートされていない演算子に遭遇した場合、小さな修正で済むのか、モデルの書き換えが必要なのか。

これらの問題に明確な答えがなければ、150W、128GB、548GB/sは単なる仕様の羅列にすぎず、製品の成否を判断することはできない。

Qualcomm公式ページ: https://www.qualcomm.com/data-center/products/cloud-ai-100-ultra

Hacker Newsの議論: https://news.ycombinator.com/item?id=50370654

編集者の視点

この製品が重要なのは、AIアクセラレータがまた1つ増えたからではない。推論の調達における選択肢に、計算可能な比較軸が加わったからだ。Peak性能だけでなく、メモリ容量、消費電力、token単位コストも比較钱了.cloud providersIVEには、ラック密度、コンテキスト長、同時実行数の戦略に直接影響する。

専用推論カードの突破口は、汎用モデル市場ではなく、modelが固定され、trafficが安定し、レイテンシの境界が明確なサービスにあると考えられる。まず内部APIやバッチ文本処理などの領域で採用される可能性が高い。modelを頻繁に切り替えたり、複雑な演算子に依存したりする業務には、現時点では適さないだろう。

従来の「Peak性能を上げる」という方向gotten。结果の評価基準は、deployment後の総コストと予測可能性へ移る。128GBは単なる仕様数値ではなく、scheduling strategyの一部になる可能性もある。publicなbenchmark、実務で使用されたモデルの一覧、移行事例はいずれも公開されていないため、software stackがハードウェアの優位性を实现的できるかは確認できない。調達前には、自社のモデルでload testを行う必要がある。

出典: https://www.qualcomm.com/data-center/products/cloud-ai-100-ultra