Cerebrasは、1兆パラメータ級モデルのデプロイ方法を開示した。重要なのはパラメータ数ではなく、推論スループット、並列化戦略、token単位のコストである。超大規模モデルの推論インフラを検討しているチームには、判断材料となる内容だ。
Cerebrasは「How We Deploy Trillion-Parameter Frontier Models on Cerebras」を公開し、Cerebrasプラットフォーム上で1兆パラメータ級の前沿モデルをどう動かすかを解説した。
今回の発表は単なる「パラメータ数の競い」ではない。新 TELE億パラメータモデルが的问願されたのではなく、既存モデルを実際に動かすためのモデル分割、並列実行、推論サービス、複写サンド Centrosの連携がhandlersになったわけだ。
这件事はHacker News 首页に載り、27点と7件のコメントを集めた。
開発者が的关注点は明快だ。専用のAIアクセラレータは、超大規模モデルの推論でコスト優位性を生むのか、それとも少数の閉じた環境だけでしか活 watchれないのか。
一次情報:
- Cerebras原文:https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
- Hacker News:https://news.ycombinator.com/item?id=50227356
ニュースとして何が/iconPrésされたか
Cerebrasが公開したのは新しいモデルではなく、デプロイの実践知だった。
原文では、1兆パラメータ級の前沿モデルをCerebrasプラットフォーム上で動かす際、推論、並列化、複写サンドにienGenresなエンジニアリング手法が紹介されている。取りougher都不是実験室のスコアではなく、production environmentに近い問い答っている。
- モデルの重みをどのようにアクセラレータシステムへ格納するか
- 演算タスクをどう分割し、スケジュールするか
- 連続推論のスループットをどう高めるか
- モデルサービスを下層のハードウェアとどう連携し、チップを一般的な計算カードとして扱わないか
この点が重要だ张口な。过去の「1兆パラメータモデル》报道は、訓練規模、ベンチマークスコア、発表日に止まりがちだった。Cerebrasは今回の発表で議論をデプロイ層へ移した。モデルを継続してオンラインサービスとして提供できるか、token単位のコストはramosか、という問いだ。
したがって、より正確に言えば、1兆パラメータモデルLady公开发表ではなく、Cerebrasが1兆パラメータ級モデルをどう 수용するかの紹介である。
1兆パラメータで推論が難しい理由
1兆パラメータは直感的に理解しやすいが、推論段階には少なくとも3種類の異なるボトルネックがある。
1. メモリ容量
まず単純な見積もりをしてみよう。
モデルがBF16精度を使い、1パラメータあたり2バイトを要すると仮定する。1兆パラメータの重みだけで約2TBのメモリが必要だ。FP8を使う場合も、重みだけで約1TBに近づく。
さらに以下は含めていない。
- KV cache
- activation
- 一時ワークスペース
- 実行時の通信バッファ
- 冗長性と障害復旧のための領域
訓練クラスタにモデルが収まることは、単一デバイスにモデルが収まることを意味しない。モデル並列化を採用しても、重みは複数のアクセラレータへ分散される。
2. デバイス間通信
モデル並列化では、各層の計算でデバイス間ISIbetween張量を交換が必要になることがある。重みを格納できた不过是最初の一歩だ。
チップ間の通信遅延が高過ぎる>dataがチップ外を何度も往復すれば、理論上のpeak性能は実効スループットへ変換されにくい。
これはGPUクラスタが古くから抱えている問題でもある。NVLink、PCIe、InfiniBandなどのinterconnectを使うほど、ネットワーク階層が複雑になり、ソフトウェアスタックが遅延を隠しにくくなる。
3. バッチ処理効率
オンライン推論では、異なる長さのリクエストを同時に処理する必要がある。
全リクエストが同じ長さなら、静的分割は比較的やりやすい。現実のトラフィックには短いプロンプト、長いコンテキスト、異なる生成长度が混在する。システムは次を扱わなければならない。
- リクエストのキュー管理
- 動的バッチ処理
- リクエストをまたぐスケジューリング
- KV cacheの割り当てと再利用
- 長リクエストによる短リクエストのブロック
したがって、「モデルを訓練できる」ことと、「モデルを許容可能なコストで推論サービスとして継続提供できる」ことは別物である。
専用チップはどのボトルネックを変えるのか
Cerebrasの方法は、汎用GPUクラスタを組み合わせて超大規模システムを構成することではなく、専用のAIアクセラレータ・インフラを提供することにある。
Cerebras WSEのようなシステムでは、チップごとのpeak演算性能だけでなく、chip上interconnect、メモリ帯域、並列実行方式に重要な違いがある。
チップ上interconnect
GPUクラスタでは通常、PCIe、NVLink、高速ネットワークで接続する。トポロジ、階層、通信経路は、張量の分割効率に影響する。
Cerebrasは、大量の処理ユニットを同一のwafer-scaleシステムに収め、chip上interconnectで接続する。相互接続の距離がより短く、通信経路もより直接的になる。
これによりモデル並列化におけるノード間オーバーヘッドを減らせる可能性がある。ただし、実効的な利得はinterconnectの仕様だけでは判断できない。compiler、runtime、並列戦略がハードウェアのziekを十分に引き出せるかも確認する必要がある。
メモリ帯域
LLM推論は、batch sizeが小さいとき特にメモリアクセスに制限されやすい。モデルの重みを繰り返し読み込む必要があるため、peak演算性能と実効tokenスループットは一致しない。
専用システムは、memory subsystemを中心に設計されることが多い。大規模モデルの推論では、単位時間あたりに安定して移動できる重みとKV cacheの量が、論文上のFLOPSより重要になる場面もある。
並列実行
汎用GPU上の並列フレームワークはすでに成熟しており、生态系もCerebrasが越えなければならない壁になっている。
専用ハードウェアの価値は、既存ソフトウェアのカードを差し替えることではない。モデル分割、タスクマッピング、通信回避を一体で変えることにある。上位のモデルサービスが従来型のGPUクラスタと同じ方法でスケジュールするなら、ハードウェアの利点がソフトウェアオーバーヘッドに食噬される。
这也是原文が「モデル推論、並列化、複写サンドにienGenresな連携」の実践を公開した理由である。Cerebrasが販売するのはチップ単体ではなく、チップ、runtime、デプロイ手法から成るシステムである。
エンジニアリング指標からデプロイ品質を見る
専用AIインフラを評価する際は、4つの指標を確認する。
スループット
まず、毎秒安定して生成できるtoken数を確認する。できれば次の項目を分けて示したい。
- prefill throughput
- decode throughput
- 異なる入力長・出力長での性能
- 短時間のpeak値ではなく、高負荷下での持続スループット
「毎秒token数」だけを示し、入力長、出力長、精度、batch sizeを記載しない場合、得られる情報は限定的だ。
初回token遅延
チャットサービスは、初回tokenまでの遅延に非常に敏感である。用户は出力が続く生成過程には耐えられるが、画面が空白のまま待つことにはabufferいがない。
TTFTは、queueing、prefill、モデル分割、デバイス間通信の影響を受ける。チップのpeak演算性能だけからは導けない。
同時実行数
モデルサービスは、1件のリクエストだけを処理するものではない。
デプロイ品質は、少なくとも次の問いに答える必要がある。
- 同時にオンライン上のリクエストを何件処理できるか
- 同時実行数の上昇によって遅延がどれだけ悪化するか
- 長短SIZEの混在したリクエストが互いをブロックしないか
- KV cacheが容量上限に近づいたときどう縮退するか
token単位のコスト
最後に、費用対効果を計算する。
単位 token コスト =
総推論コスト ÷ 有効な出力 token 総数総コストには、ハードウェアの減価償却だけでなく、電力、data center、ネットワーク、ソフトウェアライセンス、運用要員、低利用率も含める必要がある。
専用システムが criticisms 高いハードウェア単価と引き換えに、より高い利用率、より低い通信オーバーヘッド、より運用 complexityの低い構成を実現できるなら、超大規模モデルの推論では成立する可能性がある。逆にMethane請求の変動が大きく、モデルとソフトウェアスタックが急速に変わる業務では、GPUの汎用性とスケールアウト柔軟性にも価値が残る。
Cerebras原文リンク:https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
原文が十分に完全な比較データを提供しているかは、現時点では判断できない。特に、同じ精度、同じリクエスト分布、同じSLAのもとで、同規模のGPUクラスタと比較したデータが求められる。「GPUを代替できるか」を判断する上で、ここが最も埋めるべき部分である。
編集の視点
専用AIインフラは、GPUを全面的に置き換えるのではなく、まず超大規模モデルの推論でCONSTITUTE_usageくなる可能性が高い。超大規模モデルはinterconnect、メモリ帯域、並列通信ften的压力が集中し、専用アーキテクチャの固定コストを最も自然に吸収できるからだ。ただし、モデルサービスは異なるモデル、異なるコンテキスト長、変化するトラフィックに対応する必要があり、GPUのエコシステムにはまだ利advantageがある。
今回の発表は、過去のモデル発表ニュースとは性格が異なる。Cerebrasはパラメータ数にILLUSTRATE_ Instead、モデルをどう分割し、推論タスクをどう並列化し、ソフトウェアとハードウェアをどう連携させるかを開示した。語られるのはproduction deploymentであって、実験室のスコアではない。HN 首页の27点と7件のコメントは、開発者がエンジニアリング上の実現可能性を重視していることも示す。
今後.huanya.fr more likely to 「専用チップ+汎用GPU」のハイブリッド構成だろう。高利用率で安定した中核モデルを専用システムへ置き、実験中の新モデルや弾力性のあるトラフィックにはGPUを使う形である。Cerebrasが本当にGPUを代替できるかどうかは、peak演算性能ではなく、token単位のコスト、スケールアウトの速度、ソフトウェア移行コストで決まる。原文では回答されていない比較ベンチマークが、最大MATERIALの空白として残っている。