实战

Cerebras 万亿参数部署:专用芯片能替代 GPU 吗?

Cerebras 公开了万亿参数级模型的部署方法。文章拆解推理显存、通信与批处理瓶颈,并给出比较专用芯片和 GPU 的工程指标。

字号

Cerebras 公开了万亿参数级模型的部署方法。重点不在参数规模,而在推理吞吐、并行策略和单位 token 成本。这对正在评估超大模型推理基础设施的团队有直接参考价值。

Cerebras 发布了《How We Deploy Trillion-Parameter Frontier Models on Cerebras》,讨论在 Cerebras 平台上部署万亿参数级前沿模型的方法。

这不是又一场“参数规模刷榜”。原文没有宣布一个名为“万亿参数”的新模型,而是讲现有模型怎样跑起来:模型切分、并行执行、推理服务和系统协同。

这件事登上 Hacker News 首页,获得 27 分和 7 条评论。

开发者关注的方向很明确:专用 AI 加速基础设施,到底是在超大模型推理中形成成本优势,还是只适合少数封闭场景?

原始资料:

  • Cerebras 原文:https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
  • Hacker News:https://news.ycombinator.com/item?id=50227356

新闻里真正发布了什么

Cerebras 这次公开的是一套部署实践,而不是一款新模型。

原文围绕万亿参数级前沿模型在 Cerebras 平台上的运行展开,公开了模型推理、并行化和系统协同方面的工程做法。它回答的问题也更偏生产环境:

  • 模型权重怎样放入加速系统;
  • 计算任务怎样切分和调度;
  • 怎样提高连续推理的吞吐;
  • 模型服务怎样与底层硬件配合,而不是把芯片当成普通算力卡使用。

这点很重要。过去关于“万亿参数模型”的消息,大多停在训练规模、榜单成绩或发布日期。Cerebras 这次把讨论拉到了部署层:模型能否持续提供在线服务,单位 token 要花多少钱。

所以,更准确的理解是:这不是发布一个万亿参数模型,而是展示 Cerebras 怎样承载万亿参数级模型。

万亿参数为何难在推理

万亿参数听起来很直观,但推理阶段至少有三种不同瓶颈。

1. 显存容量

先做一个简单估算。

假设模型使用 BF16 精度,每个参数占 2 字节。1 万亿参数仅权重就需要约 2 TB 显存。若使用 FP8,单看权重也要接近 1 TB。

这还没有计算:

  • KV cache;
  • 激活值;
  • 临时工作区;
  • 运行时通信缓冲;
  • 冗余与故障恢复空间。

训练集群能容纳模型,不代表单台设备能装下。即使采用模型并行,权重也要被分摊到多颗加速器上。

2. 跨设备通信

模型并行意味着每层计算都可能需要跨设备交换张量。权重放得下,只是第一步。

如果芯片之间的通信延迟过高,或者数据要在芯片外部反复搬运,理论算力很难变成有效吞吐。

这也是 GPU 集群面临的经典问题:采用 NVLink、PCIe、InfiniBand 等互连,网络层级越复杂,软件栈越难把延迟隐藏掉。

3. 批处理效率

在线推理还要求系统同时处理不同长度的请求。

如果所有请求等长,静态切分相对容易。真实流量却包含短提示、长上下文和不同生成长度。系统要处理:

  • 请求排队;
  • 动态批处理;
  • 跨请求调度;
  • KV cache 的分配与复用;
  • 长请求阻塞短请求。

因此,“模型能训出来”和“模型能以可接受成本持续提供推理服务”,是两回事。

专用芯片改变了哪段瓶颈

Cerebras 的路线不是用通用 GPU 集群拼出超大规模系统,而是提供专用 AI 加速基础设施。

在 Cerebras WSE 这类系统中,关键差异不只是每颗芯片的峰值算力,而是片上互连、内存带宽和并行执行方式。

片上互连

GPU 集群通常通过 PCIe、NVLink 和高速网络连接。拓扑、分层和通信路径会影响张量切分效率。

Cerebras 的思路是把大量处理单元放进同一片晶圆级系统,并用片上互连连接。互连距离更短,通信路径也更直接。

这可能减少模型并行中的跨节点开销,但判断实际收益,不能只看互连规格。还要看编译器、运行时和并行策略能否把硬件优势完整暴露出来。

内存带宽

LLM 推理经常受内存访问限制,尤其在 batch size 较小时。模型权重需要不断读取,算力峰值并不等于有效 token 吞吐。

专用系统通常会围绕内存子系统设计。对大模型推理来说,单位时间内能稳定搬运多少权重和 KV cache,有时比纸面 FLOPS 更重要。

并行执行

通用 GPU 上的并行框架已经很成熟,生态也是 Cerebras 必须面对的门槛。

专用硬件的真正价值,不是给现有软件换一块卡,而是让模型切分、任务映射和通信规避一起改变。如果上层模型服务仍按传统 GPU 集群方式调度,硬件优势可能被软件开销吃掉。

这也是原文公开“模型推理、并行化和系统协同”实践的原因。它销售的不是一颗芯片,而是芯片、运行时和部署方法组成的系统。

从工程指标看部署质量

评估专用 AI 基础设施,我会看四组指标。

吞吐

先看每秒能稳定生成多少 token。最好同时区分:

  • prefill throughput;
  • decode throughput;
  • 不同输入长度和输出长度下的表现;
  • 高负载下的持续吞吐,而不是短时峰值。

如果只给一个“每秒 token”数字,却没有输入长度、输出长度、精度和 batch size,信息量很有限。

首 token 延迟

聊天产品对首 token 延迟非常敏感。用户通常可以容忍生成过程持续输出,但不愿盯着空白等待。

TTFT 会受到排队、prefill、模型切分和跨设备通信影响。它不能由芯片峰值算力单独推导。

并发量

模型服务不是只跑一个请求。

部署质量至少要回答:

  • 同时在线多少请求;
  • 延迟随并发增加到什么程度;
  • 长短请求混合时是否互相阻塞;
  • KV cache 接近容量上限后怎样降级。

单位 token 成本

最后算账:

单位 token 成本 =
总推理成本 ÷ 有效输出 token 总数

总成本不能只包括硬件折旧,还要纳入电力、机房、网络、软件许可、运维人员和低利用率。

如果专用系统能以更高硬件单价换来更高利用率、更低通信开销和更少运维复杂度,它可能在超大模型推理中成立。反之,如果业务波动大、模型和软件栈变化快,GPU 的通用性与扩容弹性仍有价值。

Cerebras 原文链接:https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras

目前我不确定原文是否给出了足够完整的横向数据,尤其是与同规模 GPU 集群在相同精度、相同请求分布、相同 SLA 下的对照。这也是判断“能否替代 GPU”时最需要补齐的部分。

编辑思考

专用 AI 基础设施更可能先从超大模型推理切入,而不是全面替代 GPU。超大模型对互连、内存带宽和并行通信的压力最集中,也最容易把专用架构的固定成本摊开。但模型服务需要适配不同模型、不同上下文长度和不断变化的流量,GPU 生态仍占优势。

这次与过去的模型发布新闻不同。Cerebras 没有把重点放在参数数字,而是公开模型如何切分、推理任务如何并行、软硬件如何协同。它讨论的是生产部署,而不是实验室成绩。HN 首页 27 分、7 条评论也说明开发者在意的是工程可行性。

我的判断是,未来更可能出现“专用芯片加通用 GPU”的混合架构:稳定、高利用率的核心模型放专用系统,新模型实验和弹性流量仍用 GPU。Cerebras 是否真能替代 GPU,不能由峰值算力决定,而要看单位 token 成本、扩容速度和软件迁移成本。原文没有回答的横向基准,仍是最大缺口。

来源: https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras