实战

998 美元训出 3.8B 模型:复盘 little-lm-3-8b 的低成本实验

Hugo Vergnes 用不到一千美元从头训练 3.8B 模型 little-lm-3-8b,CORE 拿到 0.384。这件事最大的价值不是省钱,而是把"小模型能训到什么程度"这件事量化了。

字号

Hugo Vergnes 最近在他个人博客上放了一个实验:用 $998 从头训了一个 3.8B 参数的 LLM,CORE 0.384。在 Hacker News 上拿了首页 74 分、13 条讨论(HN 链接),算是小规模实验里关注度比较高的一个。

我对这件事的兴趣不在"千美元训模型"这个噱头,而在它把"小模型能训到什么程度"这件事给量化了。下面分四块拆。

$998 是怎么花出去的

Vergnes 在原博客里给了相当详细的账单,我整理一下:

项目 金额
GPU 租赁(云 spot 实例,约 2 天) ~$900
数据准备 / 清洗 ~$50
实验性跑 + 失败重试 ~$48
合计 $998

GPU 部分是大头,占了 90%。Vergnes 没有明确说用了什么卡,但从价格和时间倒推,大概率是 H100 80GB 或 A100 80GB 的 spot 实例,2 天左右跑完训练。spot 价格波动大,能压到 $900 算运气好。

训练配置他公开了:

# 摘自作者博客的训练配置
model:
  params: 3.8B
  layers: 32
  hidden_size: 2560
  heads: 32
  seq_len: 4096

training:
  tokens: 100B
  batch_size: 1024
  lr: 3e-4
  optimizer: AdamW
  schedule: cosine
  precision: bf16

100B token、3.8B 参数,按 Chinchilla optimal(~20x 参数)的标准其实是欠训的(optimal 大约 76B,但模型只有 3.8B,optimal 对应 token 是 76B 左右,他跑了 100B,略超 Chinchilla)。这个选择很关键——见下文"为什么这件事值得复盘"。

0.384 CORE 到底算什么水平

CORE 是 Compositional Reasoning Evaluation,一套测推理和组合能力的 benchmark。我把它和几个主流 3-4B 模型放在一张表里:

模型 参数量 CORE 分数
little-lm-3-8b 3.8B 0.384
Phi-3.5-mini 3.8B ~0.50
Qwen2.5-3B 3.0B ~0.46
Llama-3.2-3B 3.2B ~0.42
SmolLM2-1.7B 1.7B ~0.38

(注:主流模型的 CORE 分数是综合多个评测源的近似值,不是单一论文数字。)

0.384 是什么概念?比 SmolLM2-1.7B 略高,但比 Phi-3.5-mini 低 25% 左右。Vergnes 自己也没回避这点,他在博客里写:

"The model is competitive with similarly sized models trained on similar budgets, but it doesn't reach the performance of models trained on trillion-token datasets."

所以结论很清晰:不是 SOTA,也不是失败,是合理的 baseline。在 $998 这个预算约束下,能跑出 0.384 已经接近理论上限。

代码与权重:开源意味着什么

Vergnes 把训练脚本和配置全部公开了,仓库在 hugovergnes/little-lm(实际仓库链接见博客)。

但权重没有开源。这是最关键的一点。

  • ✅ 训练代码(nanoGPT 风格,修改版)
  • ✅ 配置文件、数据处理脚本
  • ✅ 训练日志和 loss 曲线
  • ❌ 模型权重
  • ❌ 完整训练数据集(只给了去重的 sample)

没有权重,意味着别人不能直接用这个模型,只能复现或继续 pre-train。Vergnes 在 HN 讨论里解释了原因:权重文件本身要托管、要考虑 license,他一个人没精力处理。

社区后续动作:HN 上有人提了建议,比如把权重上传到 HuggingFace、用 GitHub LFS、甚至建议众筹托管费用。截至目前(Vergnes 最后更新是 8 月初),还没有看到权重释出。

为什么这件事值得复盘

$998 不是终点,是下限。

如果把 Vergnes 的实验当起点,思考"同样预算下换架构/换数据/换训练策略能带来多少提升",这张表值得展开:

1. 数据质量的边际收益

Vergnes 用的是去重后的 web 数据(类似 FineWeb 的处理流程)。如果换成更高质量的合成数据 + 精选 web 数据,同样的 100B token,CORE 可能能涨到 0.42-0.45。这是过去一年社区已经验证过的。

2. 训练 token 数的甜蜜点

他跑了 100B token,已经略超 Chinchilla。继续加 token 收益递减(3.8B 模型在 ~200B token 后基本饱和),但如果预算翻倍到 $2000,再训 100B token,可能涨到 0.40 左右。

3. 架构选择

他用的是标准 dense transformer。如果换成 MoE(比如 8B 总参 / 2B 激活),同样 FLOPs 下效果会好 10-20%,但工程复杂度上去了。

4. 多轮训练 + SFT

$998 只够 pre-train。如果再加 $200 做 SFT(用 ShareGPT 之类),效果会有质的提升——但这就超出 Vergnes 原实验的范围了。

给"想自己训模型"的人的实际建议:

  • 预算 < $1000:跑 1-3B 模型 + 50-100B token,能到 0.35-0.40 CORE
  • 预算 $1000-5000:跑 3-7B 模型 + 200B token + 简单 SFT,能到 0.45-0.50
  • 预算 > $10000:可以开始和 Phi-3.5-mini 这种"半工业级"模型正面竞争

Vergnes 的实验证明了第一档是真实可行的。

编辑思考

这件事真正的信号不是"便宜",而是 pre-train 的边际成本在塌方。

一年前,$998 只够跑一次 ablation 实验——调几个超参,看个 loss 曲线。现在能训一个完整的 3.8B 模型。CORE 0.384 听起来不高,但它是全流程跑通的结果,不是 toy benchmark。

对小团队和独立研究者,这意味着:pre-train 不再是大厂的专利。Phi-3、Qwen2.5、Llama-3.2 这些"小模型"的护城河,本质上是数据质量和工程优化,不是绝对算力。一个有耐心的小团队,用 $5k-$10k 的预算,配合公开数据 + 开源训练框架,有希望在 6 个月内做出接近 Phi-3.5-mini 水平的模型。

但也要冷静:这个实验没有权重,意味着 Vergnes 自己也不认为它已经"产品级"。如果他要靠这个模型做下游任务,大概率还是要用 Phi-3 或 Qwen。换句话说,pre-train 的成本塌了,但 post-train(instruction tuning、RLHF、DPO)的成本还在——那才是真正贵、真正需要算力的部分。

不确定的地方:$998 这个数字有没有把"作者的隐性时间成本"算进去?如果算上人力(Vergnes 大概花了 2-4 周),真实成本可能是 $3000-5000。但即便如此,依然是 2023 年不敢想的数字。

我的判断:2026 年我们会看到更多个人和小团队发布的 1-7B pre-train 模型。它们不会取代 Qwen 或 Llama,但会成为特定垂直领域(法律、医学、代码)的基座。Vergnes 的实验是这条曲线的起点之一。


参考来源:
- Hugo Vergnes 原博客
- Hacker News 讨论

来源: https://hugovergnes.github.io/little-lm-3-8b/