Hugo Vergnes 最近在他個人部落格上發布了一項實驗:用 $998 從頭訓練了一個 3.8B 參數的 LLM,CORE 0.384。在 Hacker News 上拿到首頁 74 分、13 則討論(HN 連結),算是小規模實驗中關注度相當高的一個。
我對這件事的興趣不在「千美元訓模型」這個噱頭,而在於它把「小模型能訓練到什麼程度」這件事量化了。以下分四個部分拆解。
$998 是怎麼花掉的
Vergnes 在原部落格中給了相當詳細的帳單,整理如下:
| 項目 | 金額 |
|---|---|
| GPU 租賃(雲端 spot 實例,約 2 天) | ~$900 |
| 資料準備 / 清洗 | ~$50 |
| 實驗性訓練 + 失敗重試 | ~$48 |
| 合計 | $998 |
GPU 部分是大宗,佔了 90%。Vergnes 沒有明確說明用的是哪張卡,但從價格與時間倒推,大概率是 H100 80GB 或 A100 80GB 的 spot 實例,2 天左右跑完整個訓練。spot 價格波動大,能壓到 $900 算運氣好。
訓練配置他公開了:
# 摘自作者部落格的訓練配置
model:
params: 3.8B
layers: 32
hidden_size: 2560
heads: 32
seq_len: 4096
training:
tokens: 100B
batch_size: 1024
lr: 3e-4
optimizer: AdamW
schedule: cosine
precision: bf16
100B token、3.8B 參數,依 Chinchilla optimal(~20x 參數)的標準其實是欠訓練的(optimal 大約 76B,但模型只有 3.8B,optimal 對應 token 是 76B 左右,他跑了 100B,略超 Chinchilla)。這個選擇很關鍵——見下文「為什麼這件事值得復盤」。
0.384 CORE 到底算什麼水平
CORE 是 Compositional Reasoning Evaluation,一套測試推理與組合能力的 benchmark。我把它和幾個主流 3-4B 模型放在同一張表裡:
| 模型 | 參數量 | CORE 分數 |
|---|---|---|
| little-lm-3-8b | 3.8B | 0.384 |
| Phi-3.5-mini | 3.8B | ~0.50 |
| Qwen2.5-3B | 3.0B | ~0.46 |
| Llama-3.2-3B | 3.2B | ~0.42 |
| SmolLM2-1.7B | 1.7B | ~0.38 |
(註:主流模型的 CORE 分數是綜合多個評測來源的近似值,非單一論文數字。)
0.384 是什麼概念?比 SmolLM2-1.7B 略高,但比 Phi-3.5-mini 低 25% 左右。Vergnes 自己也不迴避這點,他在部落格中寫道:
「The model is competitive with similarly sized models trained on similar budgets, but it doesn't reach the performance of models trained on trillion-token datasets.」
所以結論很清楚:不是 SOTA,也不是失敗,而是合理的 baseline。在 $998 這個預算限制下,能跑出 0.384 已經接近理論上限。
程式碼與權重:開源意味著什麼
Vergnes 把訓練腳本與配置全部公開,倉庫在 hugovergnes/little-lm(實際倉庫連結見部落格)。
但權重沒有開源。這是最關鍵的一點。
- ✅ 訓練程式碼(nanoGPT 風格,修改版)
- ✅ 配置檔案、資料處理腳本
- ✅ 訓練日誌與 loss 曲線
- ❌ 模型權重
- ❌ 完整訓練資料集(僅提供去重的 sample)
沒有權重,代表別人無法直接使用這個模型,只能復現或繼續 pre-train。Vergnes 在 HN 討論中解釋了原因:權重檔案本身需要託管、需要考慮 license,他一個人沒精力處理。
社群後續動態:HN 上有人提出建議,例如把權重上傳到 HuggingFace、用 GitHub LFS、甚至建議眾籌託管費用。截至目前(Vergnes 最後更新是 8 月初),仍未看到權重釋出。
為什麼這件事值得復盤
$998 不是終點,是下限。
如果把 Vergnes 的實驗當起點,思考「同樣預算下換架構 / 換資料 / 換訓練策略能帶來多少提升」,以下幾個方向值得展開:
1. 資料品質的邊際效益
Vergnes 用的是去重後的 web 資料(類似 FineWeb 的處理流程)。若換成更高品質的合成資料 + 精選 web 資料,同樣 100B token,CORE 應能提升到 0.42-0.45。這是過去一年社群已驗證過的結論。
2. 訓練 token 數的甜蜜點
他跑了 100B token,已略超 Chinchilla。繼續增加 token 會收益遞減(3.8B 模型在 ~200B token 後基本飽和),但若預算翻倍到 $2000,再多訓練 100B token,分數可能提升到 0.40 左右。
3. 架構選擇
他用的是標準 dense transformer。若改用 MoE(例如 8B 總參 / 2B 激活),同樣 FLOPs 下效果會好 10-20%,但工程複雜度也跟著提高。
4. 多輪訓練 + SFT
$998 只夠 pre-train。若再追加 $200 做 SFT(用 ShareGPT 之類的資料),效果會有質的提升——但這已超出 Vergnes 原實驗的範圍。
給「想自己訓練模型的人」的實際建議:
- 預算 < $1000:跑 1-3B 模型 + 50-100B token,可達 0.35-0.40 CORE
- 預算 $1000-5000:跑 3-7B 模型 + 200B token + 簡單 SFT,可達 0.45-0.50
- 預算 > $10000:可以開始與 Phi-3.5-mini 這種「半工業級」模型正面競爭
Vergnes 的實驗證明了第一檔是切實可行的。
編輯觀點
這件事真正的訊號不是「便宜」,而是 pre-train 的邊際成本正在崩跌。
一年前,$998 只夠跑一次 ablation 實驗——調幾個超參、看一下 loss 曲線。現在則能完整訓練一個 3.8B 模型。CORE 0.384 聽起來不高,但它是全流程跑通的成果,不是 toy benchmark。
對小團隊與獨立研究者而言,這代表:pre-train 不再是大廠的專利。Phi-3、Qwen2.5、Llama-3.2 這些「小模型」的護城河,本質上是資料品質與工程優化,不是絕對算力。一個有耐心的小團隊,用 $5k-$10k 的預算,搭配公開資料與開源訓練框架,有機會在 6 個月內做出接近 Phi-3.5-mini 水平的模型。
但也要冷靜:這個實驗沒有權重,代表 Vergnes 自己也不認為它已經達到「產品級」。如果他要靠這個模型做下游任務,大概率還是要用 Phi-3 或 Qwen。換句話說,pre-train 的成本塌了,但 post-train(instruction tuning、RLHF、DPO)的成本仍在——那才是真正貴、真正需要算力的環節。
不確定的地方:$998 這個數字有沒有把「作者的隱性時間成本」算進去?若計入人力(Vergnes 大約花了 2-4 週),真實成本可能是 $3000-5000。但即便如此,依然是 2023 年不敢想的數字。
我的判斷:2026 年我們會看到更多個人與小團隊發布的 1-7B pre-train 模型。它們不會取代 Qwen 或 Llama,但會成為特定垂直領域(法律、醫學、程式碼)的基座。Vergnes 的實驗是這條曲線的起點之一。
參考來源: