実践

1000ドル未満で3.8Bモデルを自作した実験を検証する

Hugo Vergnes氏が約1000ドルの予算で3.8BパラメータのLLM「little-lm-3-8b」をゼロから訓練し、COREスコア0.384を達成した。コスト削減そのものよりも、小規模モデルの到達点を数値で示したことが注目に値する。

文字サイズ

Hugo Vergnes氏が自身のブログで公開した実験が話題になっている。予算998ドルで3.8BパラメータのLLMをゼロから訓練し、CORE 0.384を記録したという内容だ。Hacker Newsではフロントページに74ポイント、13件のコメントを獲得しており、小規模実験としては比較的高い注目度を集めた。

筆者が興味を持ったのは「千ドルでモデルを訓練」という話題性そのものではない。むしろ「小规模モデルはどこまで訓練できるのか」という問いを、定量的な形で提示した点に価値がある。以下、4つのセクションに分けて整理する。

998ドルの内訳

Vergnes氏は元のブログでかなり詳細な内訳を載せているので、ここに再構成する。

項目金額
GPUレンタル(クラウドスポットインスタンス、約2天)~$900
データ準備・清洗~$50
実験的ラン+失敗リトライ~$48
合計$998

GPUがコストの大半を占め、全体の90%に達する。Vergnes氏は具体的なGPUモデルを明示していないが、価格と所要時間から逆算するとH100 80GBまたはA100 80GBのスポットインスタンスと考えられる。スポット価格は変動が大きいことを踏まえると、$900に収めたのは幸運だったと言える。

公開された訓練設定は以下のとおり。

# 摘自作者博客的训练配置
model:
  params: 3.8B
  layers: 32
  hidden_size: 2560
  heads: 32
  seq_len: 4096

training:
  tokens: 100B
  batch_size: 1024
  lr: 3e-4
  optimizer: AdamW
  schedule: cosine
  precision: bf16

100Bトークンに対して3.8Bパラメータという組み合わせは、Chinchilla optimal(約20倍パラメータ)の基準で見ると一見すると過小訓練に見える。実際には3.8Bモデルにとってのoptimal token数は約76Bで、Vergnes氏は100Bを走らせているので、Chinchillaをわずかに超えた程度にとどまる。この選択が実験全体の結果を左右している点については後述する。

0.384というCOREスコアの意味

COREはCompositional Reasoning Evaluationの略で、推論能力と組み合わせ能力を測るベンチマークだ。主要な3〜4Bモデルと比較した結果が以下になる。

モデルパラメータ数COREスコア
little-lm-3-8b3.8B0.384
Phi-3.5-mini3.8B~0.50
Qwen2.5-3B3.0B~0.46
Llama-3.2-3B3.2B~0.42
SmolLM2-1.7B1.7B~0.38

(注:主要モデルのCOREスコアは複数の評価ソースから算出した概算値で、単一論文の数字ではない。)

0.384という数値をどう捉えるか。SmolLM2-1.7Bをわずかに上回るが、Phi-3.5-miniとは25%ほどの差がある。Vergnes氏本人もブログ内でこの点を率直に認めている。

The model is competitive with similarly sized models trained on similar budgets, but it doesn't reach the performance of models trained on trillion-token datasets.

つまり結論は明快で、SOTAではないが失敗でもない、現実的なベースラインということだ。$998という予算制約下では、0.384はほぼ理論上の上限に近い。

コードと重みのオープン化、その意味

Vergnes氏は訓練スクリプトと設定ファイルをすべて公開している。リポジトリはhugovergnes/little-lm(実際のリンクはブログを参照)だ。

ただし重みは公開されていない。ここが最重要のポイントとなる。

  • ✅ 訓練コード(nanoGPTスタイルを改変したもの)
  • ✅ 設定ファイル、データ処理スクリプト
  • ✅ 訓練ログとlossカーブ
  • ❌ モデル重み
  • ❌ 完全な訓練データセット(重複除去済みサンプルのみ公開)

重みが非公開ということは、他者がこのモデルを直接利用することはできず、再現または追加のpre-trainしかできない。Vergnes氏はHNの議論で理由を説明しており、重みファイルのホスティングやライセンス処理に一人で対応する余裕がないとのことだ。

コミュニティ側の反応として、HNではHuggingFaceへのアップロードやGitHub LFS、ホスティング費用のクラウドファンディングといった提案が出ている。直近の更新(8月初頭)時点で、重みの公開には至っていない。

この実験を検証する価値

$998はゴールではなく下限だ。

Vergnes氏の実験を出発点として、「同じ予算でアーキテクチャ・データ・訓練戦略を変えればどこまで伸びるか」を考えると、以下の観点が参考になる。

1. データ品質の限界効用

使用されているのは重複除去済みのwebデータで、FineWebと同様の処理フローに近い。より高品質な合成データと厳選したwebデータを組み合わせれば、同じ100BトークンでCOREが0.42〜0.45まで伸びる可能性がある。これはここ1年でコミュニティがすでに検証してきた方向性だ。

2. 訓練トークン数のスイートスポット

100BトークンはすでにChinchillaをわずかに超えている。3.8Bモデルではこれ以上トークンを増やしても収穫は逓減する(~200Bトークンでほぼ頭打ち)。一方、予算を$2000に倍増させて100Bトークン追加するなら、0.40前後までは届くかもしれない。

3. アーキテクチャ選択

使われているのは標準的なdense transformerだ。MoE(例:総パラメータ8B、活性2B)に切り替えれば、同じFLOPsで10〜20%の性能向上が見込める。ただしエンジニアリングの複雑度は跳ね上がる。

4. 多段階訓練+SFT

$998ではpre-trainのみが現実的だ。仮に$200を追加してSFT(ShareGPTなどを使用)を実施すれば、質的な改善は得られる。ただしこれはVergnes氏の元実験の範囲を超える。

「自分でモデルを訓練してみたい」という人向けの予算別ガイドをまとめておく。

  • 予算 < $1000:1〜3Bモデル+50〜100BトークンでCORE 0.35〜0.40
  • 予算 $1000〜5000:3〜7Bモデル+200Bトークン+簡易SFTでCORE 0.45〜0.50
  • 予算 > $10000:Phi-3.5-miniのような「準工業レベル」のモデルと競合可能

Vergnes氏の実験が示したのは、最安帯が現実的に機能するということだ。

編集部の見解

この実験が本当に伝えているシグナルは「安価」ということではなく、pre-trainの限界コストが崩れてきているという点にある。

1年前なら、$998はせいぜい1回分のablation実験に使うのがやっとだった。ハイパーパラメータをいくつかいじってlossカーブを眺める程度だ。それが今は、3.8Bモデルの訓練全体を完走できる。CORE 0.384は派手な数字ではないが、パイプライン全体を最後まで通した結果であって、トイベンチマークではない。

小規模チームや独立研究者にとって意味するところは明確で、pre-trainは大企業の専有物ではなくなった。Phi-3やQwen2.5、Llama-3.2といった「小型モデル」の堀の本質はデータ品質とエンジニアリング最適化であり、絶対的な計算量ではない。根気強い小規模チームが$5k〜$10kの予算と公開データ、オープンソースの訓練フレームワークを組み合わせれば、6ヶ月以内にPhi-3.5-miniレベルに近づける可能性がある。

一方で冷静に見るべき点もある。この実験には重みが公開されていない。つまりVergnes氏自身もこのモデルを「製品レベル」とは見なしていないということだ。下流タスクに使うなら、おそらくPhi-3やQwenを選ぶことになるだろう。言い換えれば、pre-trainのコストは下がったが、post-train(instruction tuning、RLHF、DPO)のコストは依然として高い。そちらこそが本当にコストがかかり、本当に計算力を必要とする部分だ。

不確定な要素として、「Vergnes氏の時間的コスト」が$998に含まれているかという疑問がある。本人が2〜4週間を費やしたと考えると、実質的なコストは$3000〜5000程度かもしれない。それでも2023年では考えられなかった数字だ。

筆者の見通しとしては、2026年には個人や小規模チームが公開する1〜7Bのpre-trainモデルがさらに増える。QwenやLlamaを置き換えることはないが、法律や医療、コードといった特定領域向けのベースモデルとしては定着するだろう。Vergnes氏の実験はその軌道の出発点のひとつだ。


参考ソース

出典: https://hugovergnes.github.io/little-lm-3-8b/