实战

去中心化算力跑赢大集群?Prime Intellect 的 NanoGPT 限时赛

Prime Intellect 把 NanoGPT Speedrun 的成绩挂上 HN 首页,127 分热度。本质问题是:分散在各地的消费级 GPU 拼起来,真能打过 CoreWeave、Modal 这类大集群?评论区吵的是这件事。

字号

去中心化算力跑赢大集群?Prime Intellect 的 NanoGPT 限时赛

127 分、31 条评论。一篇技术博客能在 Hacker News 首页停留到这个位置,要么是话题踩中了神经,要么是数据本身够硬。Prime Intellect 这篇 NanoGPT Speedrun 两样都占了:去中心化训练能不能跑赢单一大集群——这个争论从去年 INTELLECT-2 出来就没停过,这次算是拿了个小尺度的实弹测试。

NanoGPT Speedrun 是什么

Andrej Karpathy 2022 年写的 NanoGPT 是 LLM 圈最被低估的玩具之一。300 行 PyTorch,从空 checkpoint 训到能生成像样文本的 GPT-2 量级模型。社区拿它做"训练速度竞速"已经有三年多——一个固定的目标函数、固定的 token 数,看谁把 wall-clock time 压到最短。

玩法很硬核:

  • 固定数据集(FineWeb)、固定步数、固定的 val loss 门槛
  • 唯一变量是代码 + 硬件调度
  • 任何能跑起来的人都能递交成绩

它的价值不在"训出好模型"。NanoGPT 太小了,GPT-2 124M 的 val loss 推到 3.28 之后边际收益急剧衰减。它真正的意义是把"优化能力"从"算力规模"里剥离开来——你不能靠买更多 GPU 解决问题,只能改代码、改调度、改 kernel。这几年保持纪录的人(Kevin/Franke、@Grad62304977 等)改的不是模型,是 attention 实现、activation checkpointing 策略、参数初始化方案。

最近的纪录线被拉到 3 分 28 秒——这是 Keller Jordan 在 unsloth 团队支持下跑出来的成绩。@c_b_std 之前在 Modal 上也曾创下接近的水平。换句话说,这个榜单是单一大集群工程优化的天花板。

Prime Intellect 的这次成绩

Prime Intellect 的成绩是 3 分 33 秒,差一点摸到纪录线。

看他们的博客,几个关键数字:

  • 8x H100(不是 8 个节点,就是 8 张卡,分散在不同地理区域)
  • 总训练成本约 $560
  • 端到端 3:33 跑完完整的 GPT-2 训练流程
  • val loss 达到 NanoGPT Speedrun 的标准阈值

对比一下:CoreWeave 那个纪录用了相当大的集群规模(具体数字社区没完全披露,但密度上看明显远超 8 卡)。Prime Intellect 用 1/10 到 1/20 的算力总量 跑到了距离纪录 5 秒以内。

这个差距值多少钱?按照云 GPU 的市价,8x H100 跑 3 分半大约就是 $500-700 这个区间。Prime Intellect 把数字推到 $560,等于直接公开了账单。

技术上核心是他们的 PRIME-RL 和 SYNTHETIC-1 风格的协处理架构——8 张 H100 之间的通信走的是他们自研的 bandwidth-aware scheduler,目的不是把所有卡塞进同一个网络 fabric,而是让分布在不同机房的卡互相协调。这跟 INTELLECT-2(去中心化 RL 训练)共享同一套底层代码。

INTELLECT-2 之后的延续

INTELLECT-2 是 Prime Intellect 去年下半年发的项目,目标是让分布在世界各地的人把自家 GPU 临时"借"给一个大模型训练任务,按贡献算力分奖励。它走的是 RL 路线(基于 DeepSeek-R1 那条思路),跑出来一个 32B 的模型 INTELLECT-2。

这次 NanoGPT 是同一套去中心化基础设施搬到基础预训练(pretraining)上的验证。三个层面是复用的:

  1. 异步权重同步——每张本地卡不需要等所有人都跑完再 sync
  2. 带宽感知的任务分配——网络条件差的卡分到更多本地计算补偿
  3. 容错调度——某张卡掉线不会让整个训练 deadlock

这个栈从 RL 搬到 pretraining 不是直接的工程拷贝,因为两边的优化目标不一样(RL 强调 rollout 吞吐,pretraining 强调梯度同步)。能跑起来说明底层抽象做得比较干净。

HN 评论区在吵什么

评论区 31 条大致分了三派:

第一派:"这不是真去中心化"
最常见的质疑。@tlsigator 之类的评论指出:8x H100 从 8 个 cloud region 拉过来协调,跟"全球玩家拿家用 GPU 拼集群"是两种东西。前者本质上还是大公司的私有基础设施在多地部署,后者才是 INTELLECT-2 当初宣传的卖点。

第二派:"3 分 33 秒没破纪录"
更技术向的批评。@adamjstevenson 这类人的看法是:榜单上你得赢才算贡献,差 5 秒说明只是"靠近",没有实际超越。CoreWeave / Modal 的代码优化积淀在那摆着,去中心化 overhead 不解决就永远差那么一截。

第三派:"成本才是重点"
@metasim 这条线的人在算账:如果同样 $560 在 CoreWeave 上跑,估计 wall-clock 会被集群 size 压到 1 分钟以内——也就是说单机时延上你输了,但单美元产出上你赢了。这个 trade-off 对小团队/学术界有意义,对头部实验室没意义。

还有一个我没在 HN 上看到但很有意思的问题:可复现性。NanoGPT Speedrun 榜单历来要求开源训练脚本和精确的环境描述。Prime Intellect 的博客里给了代码仓库,但 HN 评论区有人指出,要从公开代码完整复现 3:33 还差几个关键参数(具体是 optimizer 的 warmup schedule 和 gradient clipping 阈值)。这点如果不被原作者补上,纪录的有效性会打折扣。

编辑思考

这件事真正值得关注的不是 3 分 33 秒这五个数字,而是它暴露的去中心化训练的边界条件。

过去一年,去中心化训练的叙事一直是"我们能把分散算力组织起来跟超大集群拼"。INTELLECT-2 证明了这事在 RL 上能跑——因为 rollout 是天然并行的,对同步没那么敏感。NanoGPT 这次告诉我们:一旦对同步精度要求高的任务(pretraining、特别是需要大批量同步的优化),去中心化的网络 overhead 就是硬天花板。3:33 vs 3:28,差 5 秒——这 5 秒大概率是节点间网络往返拖出来的,跟算法无关。

我预测接下来 6 个月内会有两类跟进:

  1. 一类是 Prime Intellect 这类"半去中心化"——把核心同步留在一个好网络内部,只让少量异构节点参与,做性能/去中心化的妥协。
  2. 另一类是有人会证明纯 pretraining 完全去中心化不可能比单集群强,转头去做"去中心化数据标注 + 中心化训练"这类混合架构。

不确定的地方:

  • Prime Intellect 没给完整的环境细节,复现门槛高于榜单历史标准。这次成绩严格意义上不算破纪录,是"展示能力"。
  • INTELLECT-2 的实际经济性也还没被外部审计过——去中心化给贡献者分多少钱、设备损耗怎么算、是净盈利还是净亏损,没有公开数据。
  • 8x H100 的"去中心化"这个叙事本身就有水分。从 8 个不同 AWS region 租卡,跟让玩家在家里贡献 RTX 4090,是天差地别的两件事。

社区对这件事的反应不会是"哦去中心化赢了",但它会让"去中心化能赢什么、不能赢什么"这个问题变得可量化。这一点比纪录本身更有价值。


来源:Prime Intellect NanoGPT Speedrun

来源: https://www.primeintellect.ai/research/nanogpt-speedrun