實戰

千美元級別訓出 3.8B 模型:little-lm-3-8b 低成本實驗完整解析

Hugo Vergnes 以不到一千美元的預算從頭訓練 3.8B 參數的 LLM,CORE 分數達到 0.384。這項實驗真正值得關注的價值,在於把「小模型能訓練到什麼程度」這件事量化了。

字級

Hugo Vergnes 最近在他個人部落格上發布了一項實驗:用 $998 從頭訓練了一個 3.8B 參數的 LLM,CORE 0.384。在 Hacker News 上拿到首頁 74 分、13 則討論(HN 連結),算是小規模實驗中關注度相當高的一個。

我對這件事的興趣不在「千美元訓模型」這個噱頭,而在於它把「小模型能訓練到什麼程度」這件事量化了。以下分四個部分拆解。

$998 是怎麼花掉的

Vergnes 在原部落格中給了相當詳細的帳單,整理如下:

項目金額
GPU 租賃(雲端 spot 實例,約 2 天)~$900
資料準備 / 清洗~$50
實驗性訓練 + 失敗重試~$48
合計$998

GPU 部分是大宗,佔了 90%。Vergnes 沒有明確說明用的是哪張卡,但從價格與時間倒推,大概率是 H100 80GB 或 A100 80GB 的 spot 實例,2 天左右跑完整個訓練。spot 價格波動大,能壓到 $900 算運氣好。

訓練配置他公開了:

# 摘自作者部落格的訓練配置
model:
  params: 3.8B
  layers: 32
  hidden_size: 2560
  heads: 32
  seq_len: 4096

training:
  tokens: 100B
  batch_size: 1024
  lr: 3e-4
  optimizer: AdamW
  schedule: cosine
  precision: bf16

100B token、3.8B 參數,依 Chinchilla optimal(~20x 參數)的標準其實是欠訓練的(optimal 大約 76B,但模型只有 3.8B,optimal 對應 token 是 76B 左右,他跑了 100B,略超 Chinchilla)。這個選擇很關鍵——見下文「為什麼這件事值得復盤」。

0.384 CORE 到底算什麼水平

CORE 是 Compositional Reasoning Evaluation,一套測試推理與組合能力的 benchmark。我把它和幾個主流 3-4B 模型放在同一張表裡:

模型參數量CORE 分數
little-lm-3-8b3.8B0.384
Phi-3.5-mini3.8B~0.50
Qwen2.5-3B3.0B~0.46
Llama-3.2-3B3.2B~0.42
SmolLM2-1.7B1.7B~0.38

(註:主流模型的 CORE 分數是綜合多個評測來源的近似值,非單一論文數字。)

0.384 是什麼概念?比 SmolLM2-1.7B 略高,但比 Phi-3.5-mini 低 25% 左右。Vergnes 自己也不迴避這點,他在部落格中寫道:

「The model is competitive with similarly sized models trained on similar budgets, but it doesn't reach the performance of models trained on trillion-token datasets.」

所以結論很清楚:不是 SOTA,也不是失敗,而是合理的 baseline。在 $998 這個預算限制下,能跑出 0.384 已經接近理論上限。

程式碼與權重:開源意味著什麼

Vergnes 把訓練腳本與配置全部公開,倉庫在 hugovergnes/little-lm(實際倉庫連結見部落格)。

但權重沒有開源。這是最關鍵的一點。

  • ✅ 訓練程式碼(nanoGPT 風格,修改版)
  • ✅ 配置檔案、資料處理腳本
  • ✅ 訓練日誌與 loss 曲線
  • ❌ 模型權重
  • ❌ 完整訓練資料集(僅提供去重的 sample)

沒有權重,代表別人無法直接使用這個模型,只能復現或繼續 pre-train。Vergnes 在 HN 討論中解釋了原因:權重檔案本身需要託管、需要考慮 license,他一個人沒精力處理。

社群後續動態:HN 上有人提出建議,例如把權重上傳到 HuggingFace、用 GitHub LFS、甚至建議眾籌託管費用。截至目前(Vergnes 最後更新是 8 月初),仍未看到權重釋出。

為什麼這件事值得復盤

$998 不是終點,是下限。

如果把 Vergnes 的實驗當起點,思考「同樣預算下換架構 / 換資料 / 換訓練策略能帶來多少提升」,以下幾個方向值得展開:

1. 資料品質的邊際效益

Vergnes 用的是去重後的 web 資料(類似 FineWeb 的處理流程)。若換成更高品質的合成資料 + 精選 web 資料,同樣 100B token,CORE 應能提升到 0.42-0.45。這是過去一年社群已驗證過的結論。

2. 訓練 token 數的甜蜜點

他跑了 100B token,已略超 Chinchilla。繼續增加 token 會收益遞減(3.8B 模型在 ~200B token 後基本飽和),但若預算翻倍到 $2000,再多訓練 100B token,分數可能提升到 0.40 左右。

3. 架構選擇

他用的是標準 dense transformer。若改用 MoE(例如 8B 總參 / 2B 激活),同樣 FLOPs 下效果會好 10-20%,但工程複雜度也跟著提高。

4. 多輪訓練 + SFT

$998 只夠 pre-train。若再追加 $200 做 SFT(用 ShareGPT 之類的資料),效果會有質的提升——但這已超出 Vergnes 原實驗的範圍。

給「想自己訓練模型的人」的實際建議:

  • 預算 < $1000:跑 1-3B 模型 + 50-100B token,可達 0.35-0.40 CORE
  • 預算 $1000-5000:跑 3-7B 模型 + 200B token + 簡單 SFT,可達 0.45-0.50
  • 預算 > $10000:可以開始與 Phi-3.5-mini 這種「半工業級」模型正面競爭

Vergnes 的實驗證明了第一檔是切實可行的。

編輯觀點

這件事真正的訊號不是「便宜」,而是 pre-train 的邊際成本正在崩跌。

一年前,$998 只夠跑一次 ablation 實驗——調幾個超參、看一下 loss 曲線。現在則能完整訓練一個 3.8B 模型。CORE 0.384 聽起來不高,但它是全流程跑通的成果,不是 toy benchmark。

對小團隊與獨立研究者而言,這代表:pre-train 不再是大廠的專利。Phi-3、Qwen2.5、Llama-3.2 這些「小模型」的護城河,本質上是資料品質與工程優化,不是絕對算力。一個有耐心的小團隊,用 $5k-$10k 的預算,搭配公開資料與開源訓練框架,有機會在 6 個月內做出接近 Phi-3.5-mini 水平的模型。

但也要冷靜:這個實驗沒有權重,代表 Vergnes 自己也不認為它已經達到「產品級」。如果他要靠這個模型做下游任務,大概率還是要用 Phi-3 或 Qwen。換句話說,pre-train 的成本塌了,但 post-train(instruction tuning、RLHF、DPO)的成本仍在——那才是真正貴、真正需要算力的環節。

不確定的地方:$998 這個數字有沒有把「作者的隱性時間成本」算進去?若計入人力(Vergnes 大約花了 2-4 週),真實成本可能是 $3000-5000。但即便如此,依然是 2023 年不敢想的數字。

我的判斷:2026 年我們會看到更多個人與小團隊發布的 1-7B pre-train 模型。它們不會取代 Qwen 或 Llama,但會成為特定垂直領域(法律、醫學、程式碼)的基座。Vergnes 的實驗是這條曲線的起點之一。


參考來源:

來源: https://hugovergnes.github.io/little-lm-3-8b/