モデルを訓練するのは始まりにすぎない。Llama 4 や Flux といったオープンウェイトのモデルが HuggingFace に並び、誰もがダウンロードできる時代。しかし、70B パラメータのモデルを 50ms 以内で動かし、1 推論あたりのコストを数セントレベルまで抑える話は、根本的に別のビジネスになる。
最近、Latent Space の Inference Engineering Masterclass ポッドキャストの概要欄で、Baseten の Series F 企業価値が $13B と記載されていた。さすがにこの数字は違和感がある。AI インフラ上位企業の資金調達規模を踏まえれば、$1.3B 程度が現実的なレンジだ。概要欄のタイプミスの可能性もあるが、いずれにせよ注目を集めるための演出臭は残る。
ただし、今回の本題は調達額ではない。本当に伝えたいのは、推理エンジニアリング(inference engineering)という領域が、訓練よりもさらに競争激化している、という点だ。
まず数字を整理する
Latent Space のポッドキャスト概要欄に書かれた Series F 企業価値は $13B。比較対象は明確だ。
- Together AI:2024年末の Series C 時点で約 $1.25B
- Anyscale:2022年の Series C 後に約 $2.5B、直近ラウンドは非開示
- CoreWeave:上場前最終ラウンドで約 $19B(NVIDIA H100 クラスタ規模)
Baseten は推理 PaaS が主力で、GPU クラウドの貸借業ではない。事業規模としては Together や Fireworks と同梯队だ。$13B ともなると CoreWeave に並ぶ計算になり、設立5年で推理最適化一本の企業としては説明がつかない。
より妥当なのは $1.3B という数字だろう。Series F ラウンドの調達額と、調達後企業評価額のいずれかが、本来伝えたかった値と推測される。ポッドキャスト概要欄では企業評価額と書かれていたが、調達額と混同しやすい書き方になっている。
実際の数字がどちらであれ、資金調達のペース自体が示しているのは、推理側へ流れる資金が増えているという事実だ。
2024年初頭は、訓練クラスタとスケーリング則が話題の中心だった。今は違う。訓練側のボトルネックはデータ、アライメント、post-training であり、推理側のボトルネックは latency、cost、throughput という別次元の問題だ。資金は確実に推理側へ流れている。
推理エンジニアリングの本質:「デプロイ」とは別物
多くの人は、大モデルの実運用を「訓練 + デプロイ」と捉える。当然だが、この理解は表面的にすぎない。
Baseten はポッドキャスト内で、autoregressive モデルと diffusion モデルの推論過程を一連のエンジニアリング問題として議論している。扱う範囲は inference stack 全体だ。
- Batching:単一リクエスト vs バッチリクエスト、latency と throughput のトレードオフ設計
- 量子化(Quantization):FP16 → INT8 → INT4、モデルサイズ圧縮と精度低下のバランス
- KV Cache:autoregressive 推論で attention の key/value を再利用し計算を節約
- Continuous Batching:バッチの組成を動的に調整し、全リクエストの完了を待たずに次のリクエストを受け入れる
- 投機的デコード(Speculative Decoding):小型モデルでドラフトを生成し、大型モデルで検証する
それぞれが独立した最適化の战场だ。Together の spec infer、Fireworks の Attention Optimizer、vLLM の PagedAttention。同じ戦場で戦う別々の武器と言える。
具体例を出す。vLLM の PagedAttention は、KV cache を仮想メモリのようにページ管理する仕組みで、長系列リクエストのメモリ浪費率を従来比の数倍からほぼゼロ近くまで引き下げた。これは小手先のチューニングではなく、GPU 使用率という数字に直結する本物の技術だ。
# vLLM の continuous batching 例
from vllm import LLM, SamplingParams
llm = LLM(model="meta-llama/Llama-3-70B-Instruct")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)
# continuous batching がバッチ内のリクエストライフサイクルを自動管理
outputs = llm.generate(["用一句话解释 KV cache"], sampling_params)
このコードを実行すると、vLLM は内部で KV cache のページング、continuous batching、動的スケジューリングを自動で行う。開発者はこうした詳細を一切意識する必要がない。しかし、Baseten や Together のような企業は、すべての層を完全に掌握している必要がある。
なぜ今なのか:訓練の天井が見え、推理が次の戦場になった
2024年は訓練クラスタとスケーリング則を争夺するのが常識で、GPU 供給が希少資源だった。今は違う。NVIDIA H100、H200 の供給はもはや主要矛盾ではなく、金を出せば数ヶ月待つ程度でカードを確保できる。
本当に厳しいのは推理側だ。
- 誰が Llama 70B を 50ms 以内で動かせるか
- 誰が Flux の画像1枚生成 GPU コストを数セントまで落とせるか
- 誰がバースト的なトラフィック下でも p99 latency を安定させられるか
これらの問いの解は「より多くの GPU を買う」ではない。エンジニアリングの最適化にある。
直感に反する事実をひとつ。多くの LLM アプリケーションの限界費用のうち、推理が 70% 以上を占める。訓練は一度きりの投資であり、変数として支配的ではない。つまり、推理最適化の ROI は訓練最適化より直接的だ。
Baseten の堀:モデルではなくスケジューラとコンパイラ
Together、Fireworks、Anyscale と並ぶ競合の中で、Baseten が強調するのは inference stack の深さだ。ポッドキャストで Philip Kiely と Ali Taha が繰り返し口にしていたキーワードは autoscaling。
推理側の autoscaling は従来の Web サービスより遥かに難しい。LLM リクエストのトークン数はリクエストごとに大きく異なり(10 トークンもあれば 2000 トークンもある)、単一リクエストの GPU 占有時間を事前に予測できない。
従来の CPU 使用率を autoscaling のシグナルにすると、LLM 推論は深刻なアンダープロビジョンか、深刻なオーバープロビジョンのどちらかになる。
Baseten の解は独自開発のスケジューラにある。リクエストの推定トークン数、モデルの現在負荷、GPU キューの長さに基づいてリアルタイムでスケジューリングを行う。スケジューラのコード量そのものは大きくないが、パラメータチューニングの知見は数ヶ月から数年単位の蓄積で生まれる。
もうひとつの堀がコンパイラ最適化だ。vLLM、TGI、SGLang といったオープンソースの推論フレームワークは PyTorch で書かれており、Python インタプリタのオーバーヘッドや動的グラフスケジューリングのオーバーヘッドを必ず経る。Baseten と Fireworks はそれぞれ独自のコンパイラ層を構築し、ホットパスを CUDA kernel や Triton に下ろしている。
同質化していく競争の中で、勝敗を分けるのはこうした技術の詳細だ。
ポッドキャストで語られなかった含意
Masterclass は Latent Space の長尺インタビュー形式だ。Philip Kiely と Ali Taha は Baseten のエンジニア代表として主讲している。Masterclass 形式はどうしても布教になりやすい。登壇者は自社が正しくやったことを語り、誤りや未着手のことには触れない。
ここでは、追加で掘るべき論点をいくつか挙げる。
1. オープン模型の推理、利益余地は本当にあるのか?
Llama 70B のデプロイコストは vLLM で相当低くできる。一方で、価格設定の幅もオープン生態系によって圧縮される。顧客が、自社もまたオープン模型を使っていることを知っていれば、価格交渉の余地は限定的になる。Baseten のプレミアムは「使いやすさ」と「SLA」に由来するが、この2つにはどの程度の価値があるのか。
2. 企業顧客は「速さ」に本当に金を払うのか?
Demo 段階では latency が勝敗を分ける。p99 が 200ms から 80ms に下がれば受注を左右しうる。しかし本番運用が軌道に乗ると、「速さ」の顧客価値は相対的に下がる。200ms 余分待つだけで致命傷になるケースは稀だ。「速さ」に対して顧客が支払う意思があるのは、Demo と POC のフェーズだけかもしれない。
3. 推理最適化の限界効用は逓減していないか?
vLLM の PagedAttention は「メモリ浪費」を解決し、Continuous Batching は「GPU 空転」を解決した。次の一段大きな最適化はどこから来るのか。ハードウェア(Blackwell、B200)か、モデルアーキテクチャ(MoE、Hybrid)か、新しいアルゴリズム(speculative decoding、tree attention)か。ハードウェア進化が主要ドライバーであれば、ソフトウェア層の堀は思ったより浅くなる可能性がある。
4. なぜ Baseten はモデル自体を作らないのか?
Together は自社モデル微調整サービスを開始し、Fireworks も fine-tuning に手を広げている。Baseten は一貫してインフラ層のみに集中している。これは戦略的な規律なのか、それとも何かの機会を逃した結果なのか。
これらの論点は Latent Space のポッドキャストでは掘り下げられていない。引き続き追いかける価値がある。
最後に
推理エンジニアリングの赛道は、想像以上に込み合っている。Together、Fireworks、Anyscale、Replicate、Modal、Baseten──主要プレイヤーは少なくとも6社。AWS Bedrock や Google Vertex AI といったクラウドベンダーも参戦する中、独立系 PaaS プレイヤーにはどれだけの余地が残るのか。これは本物の問題だ。
ただ、逆の見方もできる。オープン模型の推理は硬直的で長期的な需要だ。Llama や Flux といったオープンウェイトがダウンロードされ続ける限り、推理インフラの存在意義は消えない。Baseten や Together が賭けているのは、「推理ワークフローはデータベースのように托管されるようになる」というシナリオだ。
開発者向けの提案:今 inference PaaS を選ぶなら、一社に全振りしない方がいい。Together は spec decoding にアグレッシブ、Fireworks は Attention Optimizer に蓄積あり、Baseten は autoscaling に深さを強調する。実際のワークロードで benchmark を回し、p99 latency とトークン単価を比較するのが、メーカーのポッドキャストを聴くよりずっと有益だ。
この見立てが正しいかは、3〜5年で答えが出る。
参考:Latent Space Podcast: Inference Engineering Masterclass with Baseten