實戰

Baseten Series F 估值是 13 億還是 130 億?推理工程的真實戰場

Latent Space 把 Baseten 的 Series F 估值誤標為 130 億美元,引發外界對這家推理 PaaS 公司的質疑。本文不只釐清數字,更帶你看懂推理工程這條賽道究竟在比什麼。

字級

模型訓練完只是起點。Llama 4、Flux 這些開源權重躺在 HuggingFace 上,誰都能下載。但要把一個 70B 模型壓到 50ms 以內回應、把單次推理成本壓到幾美分,是完全不同的生意。

最近 Latent Space 的 Inference Engineering Masterclass 播客描述中,Baseten 的 Series F 估值被標成 $13B。這個數字太離譜——頭部 AI 基礎設施公司的融資節奏,$1.3B 才是合理的量級。摘要本身可能是手誤,也可能是有意為之的注意力操作。

不過融資額不是本文重點。重點是:推理工程(inference engineering)這條賽道,正變得比訓練端還擁擠。

先把數字釐清

Latent Space 在播客描述中寫的 Series F 估值是 $13B,對照組很清楚:

  • Together AI 2024 年底 Series C 估值約 $1.25B
  • Anyscale 在 2022 年 C 輪後估值約 $2.5B,最近一輪未揭露
  • CoreWeave 上市前最後一輪估值約 $19B,是 NVIDIA H100 叢集等級的選手

Baseten 主營推理 PaaS,不是 GPU 雲租賃。規模上和 Together、Fireworks 一個梯隊。$13B 估值意味著它要追上 CoreWeave,對一家成立五年、專攻推理最佳化的公司來說並不合理。

更可能的數字是 $1.3B——一個是 Series F 輪次融資金額,另一個是投後估值。Latent Space 摘要寫的是估值,但很容易和融資金額搞混。

無論哪個數字是真的,融資節奏本身說明一件事:錢開始往推理端流了。

2024 年初大家還在拼訓練叢集和 scaling law。現在訓練端的瓶頸是資料、是對齊、是 post-training。推理端的瓶頸則完全是另一回事——是 latency、cost、throughput。

推理工程到底是什麼:別把它當成「部署」

大多數人理解的大型模型落地 = 訓練完 + 部署上線。這種理解太粗了。

Baseten 在播客中把 autoregressive 和 diffusion 模型的推理過程當作一整套工程問題來談,涵蓋 inference stack 的全鏈路:

  • Batching:單請求 vs 批次請求,怎麼在 latency 和 throughput 之間取捨
  • 量化(Quantization):FP16 → INT8 → INT4,模型體積壓縮與精度損失的取捨
  • KV Cache:自迴歸推理中快取 attention 的 key/value,省下重複計算
  • Continuous Batching:動態調整 batch 組成,不用等所有請求完成就能加入新請求
  • 推測解碼(Speculative Decoding):用小模型打草稿,大模型驗證

每一項都是獨立的最佳化戰場。Together 的 spec infer、Fireworks 的 Attention Optimizer、vLLM 的 PagedAttention——這些都是同一個戰場上的不同武器。

舉個具體的例子。vLLM 的 PagedAttention 把 KV cache 像虛擬記憶體一樣分頁管理,讓長序列請求的記憶體浪費率從傳統方案的數倍降到接近零。這不是花拳繡腿的優化,是能直接反映在 GPU 使用率上的硬功夫。

# vLLM 的 continuous batching 範例
from vllm import LLM, SamplingParams

llm = LLM(model="meta-llama/Llama-3-70B-Instruct")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)

# continuous batching 自動管理 batch 內的請求生命週期
outputs = llm.generate(["用一句話解釋 KV cache"], sampling_params)

這段程式跑起來後,vLLM 會在底層自動做 KV cache 分頁、continuous batching、動態排程。開發者根本不用碰這些細節,但 Baseten、Together 這些公司必須把每一層都摸透。

為什麼是現在:訓練瓶頸讓位給推理瓶頸

2024 年大家還在拼訓練叢集和 scaling law,GPU 產能是稀缺資源。現在 NVIDIA H100、H200 產能已經不是主要矛盾——只要出得起錢,等幾個月就能拿到卡。

真正的矛盾轉移到了推理端:

  • 誰能把 Llama 70B 壓到 50ms 以內?
  • 誰能把 Flux 生成單張圖的 GPU 成本壓到幾美分?
  • 誰能在 bursty 流量下維持 p99 latency 穩定?

這些問題的解法不是買更多 GPU,而是工程優化。

一個違反直覺的事實:許多 LLM 應用的邊際成本中,推理佔 70% 以上,訓練的一次性投入反而不是主要變數。這代表推理優化的 ROI 比訓練優化更直接。

Baseten 的護城河:不是模型,是排程與編譯

對標 Together、Fireworks、Anyscale 這些選手,Baseten 強調的是 inference stack 的深度。播客中 Philip Kiely 和 Ali Taha 反覆提到一個詞:autoscaling。

推理端的 autoscaling 比傳統 Web 服務難上一個量級。LLM 請求的 token 數差異極大(10 token vs 2000 token),單一請求的 GPU 時間無法預估。

如果用傳統的 CPU 使用率當 autoscaling 訊號,LLM 推理不是嚴重 under-provision,就是嚴重 over-provision。

Baseten 的解法是自研排程器,依據請求的預估 token 數、模型當前負載、GPU 佇列長度做即時排程。排程器的程式碼量不大,但調參經驗是幾個月到幾年的累積。

另一條護城河是編譯優化。vLLM、TGI、SGLang 這些開源推理框架用 PyTorch 撰寫,跑起來要經過 Python 直譯器開銷、動態圖排程開銷。Baseten 和 Fireworks 都在做自己的編譯層,把熱路徑下沉到 CUDA kernel 或 Triton。

同質化競爭中,技術細節才是決勝負的地方。

播客裡沒明說的隱情

Masterclass 是 Latent Space 的長訪談形式,Philip Kiely 和 Ali Taha 作為 Baseten 的工程師代表主講。Masterclass 形式很容易變成佈道——主講人講的全是自家做對的事,迴避做錯或沒做的事。

挑幾個值得追問的點:

1. 開源模型的推理利潤空間到底有多大?

Llama 70B 的部署成本可以用 vLLM 壓到很低,但定價空間同樣被開源生態壓低。如果客戶知道你自己也是用開源模型,價格談判就沒什麼轉圜餘地。Baseten 的溢價來自「易用性」和「SLA」,但這兩項值多少錢?

2. 企業客戶真的會為「更快」付溢價嗎?

Demo 階段 latency 是生死線,p99 從 200ms 降到 80ms 可能決定訂單歸屬。但生產環境跑起來後,「更快」對客戶沒那麼值錢——多等 200ms 又不會怎樣。客戶為「快」付費的窗口,可能只在 demo 和 POC 階段。

3. 推理優化的邊際收益是否在遞減?

vLLM 的 PagedAttention 解決了「記憶體浪費」問題,Continuous Batching 解決了「GPU 空轉」問題。下一個量級的優化從哪來?硬體(Blackwell、B200)、模型架構(MoE、Hybrid),還是新的演算法(speculative decoding、tree attention)?如果硬體演進是主要驅動力,軟體層的護城河可能沒那麼深。

4. 為什麼 Baseten 不做模型?

Together 推出了自研模型微調服務,Fireworks 也在做 fine-tuning。Baseten 始終只做基礎設施層。這是戰略定力,還是錯過了什麼?

這些問題 Latent Space 播客裡都沒展開,值後續追蹤。

結語

推理工程的賽道比大多數人的認知更擁擠。Together、Fireworks、Anyscale、Replicate、Modal、Baseten——至少六家頭部。加上 AWS Bedrock、Google Vertex AI 這類雲端大廠入場,留給獨立 PaaS 選手的空間有多大,是個真問題。

但反過來想:開源模型的推理是剛性且長期存在的需求。只要 Llama、Flux 這些開源權重持續被下載,推理基礎設施就有存在的價值。Baseten、Together 賭的是「推理工作流會被託管,就像資料庫被託管一樣」。

對開發者的建議是:現在要選 inference PaaS,別只押一家。Together 在 spec decoding 上激進,Fireworks 在 Attention Optimizer 上有累積,Baseten 在 autoscaling 上強調深度。實際跑你的 workload 做 benchmark,比較 p99 latency 和單 token 成本,比聽廠商播客有用。

這個判斷是否成立,三到五年內會見分曉。


參考來源:Latent Space Podcast: Inference Engineering Masterclass with Baseten

來源: https://www.latent.space/p/inference-eng