实战

$13B 还是 $1.3B:Baseten 的 Series F 数字疑云,看懂推理工程这条赛道

Latent Space 播客把 Baseten Series F 估值写成 $13B,这个数字明显不对。把这事讲清楚,顺便拆解推理工程到底卷在哪儿。

字号

$13B 还是 $1.3B:Baseten 的 Series F 数字疑云,看懂推理工程这条赛道

训练完模型只是开始。Llama 4、Flux 这些开源权重摆在 HuggingFace 上,谁都能下载。但把一个 70B 模型跑到 50ms 以内、单次推理成本压到几美分,是另一门生意。

最近 Latent Space 的 Inference Engineering Masterclass 播客描述里,Baseten 的 Series F 估值赫然标着 $13B。这个数字有点离谱——头部 AI 基础设施公司的融资节奏,$1.3B 才是合理的量级。摘要本身可能有手误,也可能是有意为之的注意力游戏。

但融资额本身不是这篇文章的重点。重点是:推理工程(inference engineering)这条赛道,正在变得比训练还拥挤。

先把数字搞清楚

Latent Space 在播客描述里写的 Series F 估值是 $13B,参照系很明确:

  • Together AI 2024 年底 Series C 估值约 $1.25B
  • Anyscale 在 2022 年 C 轮后估值约 $2.5B,最近一轮没披露
  • CoreWeave 上市前最后一轮估值约 $19B,是 NVIDIA H100 集群级别的玩家

Baseten 主营推理 PaaS,不是 GPU 云租赁。规模上和 Together、Fireworks 一个梯队。$13B 估值意味着它要追平 CoreWeave,对一个成立 5 年、专攻推理优化的公司来说不合理。

更可能的数字是 $1.3B——一个是 Series F 轮次融资金额,另一个是投后估值。Latent Space 摘要里写的是估值,但很容易和融资金额混淆。

无论哪个数字是真的,融资节奏本身说明一件事:推理侧的钱开始变多了。

2024 年初大家还在卷训练集群和 scaling law。现在训练侧的瓶颈是数据、是对齐、是 post-training。推理侧的瓶颈则完全是另一回事——是 latency、cost、throughput。

钱开始往推理流。

推理工程到底是什么:别把它当成"部署"

大多数人理解的大模型落地 = 训练完 + 部署上线。这种理解太粗了。

Baseten 在播客里把 autoregressive 和 diffusion 模型的推理过程当作一套完整的工程问题来谈,涉及 inference stack 的全链路:

  • Batching:单请求 vs 批量请求,怎么在 latency 和 throughput 之间找平衡
  • 量化(Quantization):FP16 → INT8 → INT4,模型体积压缩和精度损失的 trade-off
  • KV Cache:自回归推理里缓存 attention key/value,节省重复计算
  • Continuous Batching:动态调整 batch 组成,不等所有请求完成就加入新请求
  • 推测解码(Speculative Decoding):用小模型打草稿,大模型验证

每一项都是独立的优化战场。Together 的 spec infer、Fireworks 的 Attention Optimizer、vLLM 的 PagedAttention——这些都是在同一个战场上的不同武器。

举个具体的例子。vLLM 的 PagedAttention 把 KV cache 像虚拟内存一样分页管理,使长序列请求的内存浪费率从传统方案的几倍降到接近零。这不是花拳绣腿的优化,是能直接体现在 GPU 利用率数字上的硬功夫。

# vLLM 的 continuous batching 示例
from vllm import LLM, SamplingParams

llm = LLM(model="meta-llama/Llama-3-70B-Instruct")
sampling_params = SamplingParams(temperature=0.7, max_tokens=256)

# continuous batching 自动管理 batch 内的请求生命周期
outputs = llm.generate(["用一句话解释 KV cache"], sampling_params)

这段代码跑起来后,vLLM 会在底层自动做 KV cache 分页、continuous batching、动态调度。开发者根本不用碰这些细节,但 Baseten、Together 这些公司必须把每一层都吃透。

为什么是现在:训练瓶颈让位给推理瓶颈

2024 年大家还在卷训练集群和 scaling law,GPU 产能是稀缺资源。现在 NVIDIA H100、H200 产能已经不是主要矛盾——只要出钱,等几个月就能拿到卡。

真正的矛盾转移到了推理侧:

  • 谁能把 Llama 70B 跑到 50ms 以内?
  • 谁能把 Flux 生成单图的 GPU 成本压到几美分?
  • 谁能在 bursty 流量下保持 p99 latency 稳定?

这些问题的解法不是买更多 GPU,是工程优化。

一个反直觉的事实:很多 LLM 应用的边际成本里,推理占 70% 以上,训练一次性投入反而不是主要变量。这意味着推理优化的 ROI 比训练优化更直接。

Baseten 的护城河:不是模型,是调度和编译

对标 Together、Fireworks、Anyscale 这些玩家,Baseten 强调的是 inference stack 的深度。播客里 Philip Kiely 和 Ali Taha 反复提到一个词:autoscaling。

推理侧的 autoscaling 比传统 Web 服务难得多。LLM 请求的 token 数差异巨大(10 token vs 2000 token),单请求的 GPU 时间无法预知。

如果用传统的 CPU 利用率做 autoscaling 信号,LLM 推理要么严重 under-provision,要么严重 over-provision。

Baseten 的解法是自研调度器,根据请求的预估 token 数、模型当前负载、GPU 队列长度做实时调度。调度器的代码量不大,但调参经验是几个月到几年的积累。

另一个护城河是编译优化。vLLM、TGI、SGLang 这些开源推理框架用 PyTorch 写,跑起来要经过 Python 解释器开销、动态图调度开销。Baseten 和 Fireworks 都在做自己的编译层,把热路径下沉到 CUDA kernel 或 Triton。

同质化竞争里,技术细节才是分胜负的地方。

播客里没明说的隐情

Masterclass 是 Latent Space 的长访谈形式。Philip Kiely 和 Ali Taha 作为 Baseten 的工程师代表主讲。Masterclass 形式很容易变成布道——主讲人讲的都是自家做对的事,回避做错或没做的事。

挑几个值得追问的点:

1. 开源模型的推理利润空间到底多大?

Llama 70B 的部署成本可以用 vLLM 压到很低。但定价空间同样被开源生态压低。如果客户知道你自己也是用开源模型,价格谈判就没什么腾挪余地。Baseten 的溢价来自"易用性"和"SLA",但这两项值多少钱?

2. 企业客户真的会为"更快"付溢价吗?

Demo 阶段 latency 是生死线,p99 从 200ms 降到 80ms 可能决定订单归属。但生产环境跑起来后,"更快"对客户没那么值钱——多等 200ms 又不会死。客户为"快"付费的窗口,可能只在 demo 和 POC 阶段。

3. 推理优化的边际收益是否在递减?

vLLM 的 PagedAttention 解决了"内存浪费"问题,Continuous Batching 解决了"GPU 空转"问题。下一个量级的优化从哪里来?硬件(Blackwell、B200)、模型架构(MoE、Hybrid)、还是新的算法(speculative decoding、tree attention)?如果硬件演进是主要驱动力,软件层的护城河可能没那么深。

4. 为什么 Baseten 不做模型?

Together 推出了自研模型微调服务,Fireworks 也在做 fine-tuning。Baseten 始终只做基础设施层。这是战略定力,还是错过了什么?

这些问题 Latent Space 播客里都没展开。值得后续追。

写在最后

推理工程的赛道,比大多数人的认知更拥挤。Together、Fireworks、Anyscale、Replicate、Modal、Baseten——至少六家头部。加上 AWS Bedrock、Google Vertex AI 这种云厂商入场,留给独立 PaaS 玩家的空间有多大,是个真问题。

但反过来想:开源模型的推理是刚性的、长期的需求。只要 Llama、Flux 这些开源权重持续被下载,推理基础设施就有存在的价值。Baseten、Together 赌的是"推理工作流会被托管,就像数据库被托管一样"。

对开发者的建议是:如果你现在要选 inference PaaS,别押注一家。Together 在 spec decoding 上激进,Fireworks 在 Attention Optimizer 上有积累,Baseten 在 autoscaling 上强调深度。跑你的实际 workload benchmark,对比 p99 latency 和单 token 成本,比听厂商播客有用。

这个判断是否成立,3-5 年内会见分晓。


参考来源:Latent Space Podcast: Inference Engineering Masterclass with Baseten

来源: https://www.latent.space/p/inference-eng