Hugo Vergnes 最近在他个人博客上放了一个实验:用 $998 从头训了一个 3.8B 参数的 LLM,CORE 0.384。在 Hacker News 上拿了首页 74 分、13 条讨论(HN 链接),算是小规模实验里关注度比较高的一个。
我对这件事的兴趣不在"千美元训模型"这个噱头,而在它把"小模型能训到什么程度"这件事给量化了。下面分四块拆。
$998 是怎么花出去的
Vergnes 在原博客里给了相当详细的账单,我整理一下:
| 项目 | 金额 |
|---|---|
| GPU 租赁(云 spot 实例,约 2 天) | ~$900 |
| 数据准备 / 清洗 | ~$50 |
| 实验性跑 + 失败重试 | ~$48 |
| 合计 | $998 |
GPU 部分是大头,占了 90%。Vergnes 没有明确说用了什么卡,但从价格和时间倒推,大概率是 H100 80GB 或 A100 80GB 的 spot 实例,2 天左右跑完训练。spot 价格波动大,能压到 $900 算运气好。
训练配置他公开了:
# 摘自作者博客的训练配置
model:
params: 3.8B
layers: 32
hidden_size: 2560
heads: 32
seq_len: 4096
training:
tokens: 100B
batch_size: 1024
lr: 3e-4
optimizer: AdamW
schedule: cosine
precision: bf16
100B token、3.8B 参数,按 Chinchilla optimal(~20x 参数)的标准其实是欠训的(optimal 大约 76B,但模型只有 3.8B,optimal 对应 token 是 76B 左右,他跑了 100B,略超 Chinchilla)。这个选择很关键——见下文"为什么这件事值得复盘"。
0.384 CORE 到底算什么水平
CORE 是 Compositional Reasoning Evaluation,一套测推理和组合能力的 benchmark。我把它和几个主流 3-4B 模型放在一张表里:
| 模型 | 参数量 | CORE 分数 |
|---|---|---|
| little-lm-3-8b | 3.8B | 0.384 |
| Phi-3.5-mini | 3.8B | ~0.50 |
| Qwen2.5-3B | 3.0B | ~0.46 |
| Llama-3.2-3B | 3.2B | ~0.42 |
| SmolLM2-1.7B | 1.7B | ~0.38 |
(注:主流模型的 CORE 分数是综合多个评测源的近似值,不是单一论文数字。)
0.384 是什么概念?比 SmolLM2-1.7B 略高,但比 Phi-3.5-mini 低 25% 左右。Vergnes 自己也没回避这点,他在博客里写:
"The model is competitive with similarly sized models trained on similar budgets, but it doesn't reach the performance of models trained on trillion-token datasets."
所以结论很清晰:不是 SOTA,也不是失败,是合理的 baseline。在 $998 这个预算约束下,能跑出 0.384 已经接近理论上限。
代码与权重:开源意味着什么
Vergnes 把训练脚本和配置全部公开了,仓库在 hugovergnes/little-lm(实际仓库链接见博客)。
但权重没有开源。这是最关键的一点。
- ✅ 训练代码(nanoGPT 风格,修改版)
- ✅ 配置文件、数据处理脚本
- ✅ 训练日志和 loss 曲线
- ❌ 模型权重
- ❌ 完整训练数据集(只给了去重的 sample)
没有权重,意味着别人不能直接用这个模型,只能复现或继续 pre-train。Vergnes 在 HN 讨论里解释了原因:权重文件本身要托管、要考虑 license,他一个人没精力处理。
社区后续动作:HN 上有人提了建议,比如把权重上传到 HuggingFace、用 GitHub LFS、甚至建议众筹托管费用。截至目前(Vergnes 最后更新是 8 月初),还没有看到权重释出。
为什么这件事值得复盘
$998 不是终点,是下限。
如果把 Vergnes 的实验当起点,思考"同样预算下换架构/换数据/换训练策略能带来多少提升",这张表值得展开:
1. 数据质量的边际收益
Vergnes 用的是去重后的 web 数据(类似 FineWeb 的处理流程)。如果换成更高质量的合成数据 + 精选 web 数据,同样的 100B token,CORE 可能能涨到 0.42-0.45。这是过去一年社区已经验证过的。
2. 训练 token 数的甜蜜点
他跑了 100B token,已经略超 Chinchilla。继续加 token 收益递减(3.8B 模型在 ~200B token 后基本饱和),但如果预算翻倍到 $2000,再训 100B token,可能涨到 0.40 左右。
3. 架构选择
他用的是标准 dense transformer。如果换成 MoE(比如 8B 总参 / 2B 激活),同样 FLOPs 下效果会好 10-20%,但工程复杂度上去了。
4. 多轮训练 + SFT
$998 只够 pre-train。如果再加 $200 做 SFT(用 ShareGPT 之类),效果会有质的提升——但这就超出 Vergnes 原实验的范围了。
给"想自己训模型"的人的实际建议:
- 预算 < $1000:跑 1-3B 模型 + 50-100B token,能到 0.35-0.40 CORE
- 预算 $1000-5000:跑 3-7B 模型 + 200B token + 简单 SFT,能到 0.45-0.50
- 预算 > $10000:可以开始和 Phi-3.5-mini 这种"半工业级"模型正面竞争
Vergnes 的实验证明了第一档是真实可行的。
编辑思考
这件事真正的信号不是"便宜",而是 pre-train 的边际成本在塌方。
一年前,$998 只够跑一次 ablation 实验——调几个超参,看个 loss 曲线。现在能训一个完整的 3.8B 模型。CORE 0.384 听起来不高,但它是全流程跑通的结果,不是 toy benchmark。
对小团队和独立研究者,这意味着:pre-train 不再是大厂的专利。Phi-3、Qwen2.5、Llama-3.2 这些"小模型"的护城河,本质上是数据质量和工程优化,不是绝对算力。一个有耐心的小团队,用 $5k-$10k 的预算,配合公开数据 + 开源训练框架,有希望在 6 个月内做出接近 Phi-3.5-mini 水平的模型。
但也要冷静:这个实验没有权重,意味着 Vergnes 自己也不认为它已经"产品级"。如果他要靠这个模型做下游任务,大概率还是要用 Phi-3 或 Qwen。换句话说,pre-train 的成本塌了,但 post-train(instruction tuning、RLHF、DPO)的成本还在——那才是真正贵、真正需要算力的部分。
不确定的地方:$998 这个数字有没有把"作者的隐性时间成本"算进去?如果算上人力(Vergnes 大概花了 2-4 周),真实成本可能是 $3000-5000。但即便如此,依然是 2023 年不敢想的数字。
我的判断:2026 年我们会看到更多个人和小团队发布的 1-7B pre-train 模型。它们不会取代 Qwen 或 Llama,但会成为特定垂直领域(法律、医学、代码)的基座。Vergnes 的实验是这条曲线的起点之一。
参考来源:
- Hugo Vergnes 原博客
- Hacker News 讨论