Hugo Vergnes가 최근 개인 블로그에 실험 결과를 공개했다: $998로 3.8B 파라미터 LLM을从头부터 학습, CORE 0.384. Hacker News에서 홈 74점, 13개 토론(HN 링크)을 기록했는데, 소규모 실험치고는 꽤 주목받은 사례다.
필자가 이 사례에 관심을 갖는 이유는 "천 달러로 모델 학습"이라는 화제성이 아니라, "소형 모델이 어디까지 가능한가"를 정량화해줬기 때문이다. 아래 네 부분으로 나눠 정리한다.
$998은 어떻게 쓰였나
Vergnes는 원문 블로그에 꽤 상세한 비용 내역을 공개했다. 정리하면 다음과 같다:
| 항목 | 금액 |
|---|---|
| GPU 임대 (클라우드 spot 인스턴스, 약 2일) | ~$900 |
| 데이터 준비 / 정제 | ~$50 |
| 실험 러닝 + 실패 재시도 | ~$48 |
| 합계 | $998 |
GPU 비용이 전체의 90%로 압도적이다. Vergnes가 정확한 GPU 모델을 명시하진 않았지만, 가격과 시간으로 미루어 H100 80GB 또는 A100 80GB spot 인스턴스로 추정되며, 약 2일 만에 학습을 마쳤다. spot 가격은 변동성이 크기 때문에 $900에 맞춘 것은 운이 좋았다고 볼 수 있다.
학습 설정은 공개돼 있다:
# 摘自作者博客的训练配置
model:
params: 3.8B
layers: 32
hidden_size: 2560
heads: 32
seq_len: 4096
training:
tokens: 100B
batch_size: 1024
lr: 3e-4
optimizer: AdamW
schedule: cosine
precision: bf16
100B 토큰, 3.8B 파라미터 구성을 보면, Chinchilla optimal(~20× 파라미터) 기준으로는 사실 과적 학습이다(3.8B 모델의 optimal 토큰 수는 약 76B인데 100B를 돌렸으니 Chinchilla를 살짝 넘김). 이 선택이 왜 중요한지는 아래 "왜 이 실험을 되짚어봐야 하나"에서 다룬다.
CORE 0.384는 어느 정도 수준인가
CORE는 Compositional Reasoning Evaluation으로, 추론과 조합 능력을 측정하는 벤치마크다. 주요 3-4B 모델과 비교해 보면:
| 모델 | 파라미터 | CORE 점수 |
|---|---|---|
| little-lm-3-8b | 3.8B | 0.384 |
| Phi-3.5-mini | 3.8B | ~0.50 |
| Qwen2.5-3B | 3.0B | ~0.46 |
| Llama-3.2-3B | 3.2B | ~0.42 |
| SmolLM2-1.7B | 1.7B | ~0.38 |
(주: 주요 모델의 CORE 점수는 여러 평가 소스를 종합한 근사치이며, 단일 논문 수치가 아니다.)
0.384는 어떤 수준인가? SmolLM2-1.7B보다 살짝 높지만, Phi-3.5-mini보다는 약 25% 낮다. Vergnes 본인도 이 점을 숨기지 않고 블로그에 적었다:
"The model is competitive with similarly sized models trained on similar budgets, but it doesn't reach the performance of models trained on trillion-token datasets."
따라서 결론은 명확하다. SOTA도 아니고, 실패도 아니다. 합리적인 baseline이다. $998이라는 예산 제약 안에서 0.384를 뽑아낸 것은 이론적 상한에 거의 근접한 결과다.
코드와 가중치: 오픈소스가 의미하는 것
Vergnes는 학습 스크립트와 설정을 전부 공개했다. 저장소는 hugovergnes/little-lm에 있다(실제 저장소 링크는 블로그 참조).
하지만 가중치는 공개하지 않았다. 이 부분이 가장 중요하다.
- ✅ 학습 코드 (nanoGPT 스타일, 수정 버전)
- ✅ 설정 파일, 데이터 처리 스크립트
- ✅ 학습 로그와 loss 곡선
- ❌ 모델 가중치
- ❌ 전체 학습 데이터셋 (중복 제거된 샘플만 공개)
가중치가 없다는 건 다른 사람이 이 모델을 바로 쓸 수는 없고, 재현하거나 추가 pre-train만 가능하다는 뜻이다. Vergnes는 HN 토론에서 이유를 설명했다: 가중치 파일을 호스팅해야 하고 라이선스도 신경 써야 하는데, 혼자 처리하기엔 부담이 크다는 것.
커뮤니티 후속 반응: HN에서 가중치를 HuggingFace에 올리거나 GitHub LFS를 쓰거나, 호스팅 비용을 크라우드펀딩하자는 제안이 나왔다. 기준 시점(Vergnes의 마지막 업데이트는 8월 초)까지 가중치 공개 움직임은 확인되지 않았다.
왜 이 실험을 되짚어봐야 하나
$998은终点이 아니라, 하한선이다.
Vergnes의 실험을 출발점으로 삼아 "같은 예산에서 아키텍처/데이터/학습 전략만 바꾸면 얼마나 끌어올릴 수 있는가"를 생각하면 다음 표를 펼쳐볼 만하다.
1. 데이터 품질의 한계 수익
Vergnes는 중복 제거된 웹 데이터를 사용했다(FineWeb 처리 파이프라인과 유사). 여기에 더 고품질 합성 데이터와 정제된 웹 데이터를 섞으면, 같은 100B 토큰에서도 CORE가 0.42-0.45까지 오를 가능성이 있다. 이건 지난 1년간 커뮤니티가 이미 검증한 부분이다.
2. 학습 토큰 수의 스윗 스팟
그는 100B 토큰을 돌렸고, 이미 Chinchilla를 살짝 넘겼다. 토큰을 더 늘려도 수익은 체감된다(3.8B 모델은 약 200B 토큰 이후 거의 포화). 하지만 예산을 $2000으로 두 배로 늘려 100B 토큰을 추가로 학습하면 0.40 근처까지 갈 수 있다.
3. 아키텍처 선택
그는 표준 dense transformer를 사용했다. MoE(예: 총 8B / 활성 2B)로 바꾸면 동일 FLOPs 대비 10-20% 성능 향상을 기대할 수 있지만, 엔지니어링 복잡도가 함께 올라간다.
4. 다단계 학습 + SFT
$998로는 pre-train만 가능하다. 여기에 $200을 더해 SFT(ShareGPT 류 데이터)를 추가하면 질적인 도약이 일어나지만, 이건 Vergnes의 원래 실험 범위를 넘어선 이야기다.
"직접 모델을 학습하고 싶은 사람"을 위한 실질적 가이드:
- 예산 < $1000: 1-3B 모델 + 50-100B 토큰 → CORE 0.35-0.40
- 예산 $1000-5000: 3-7B 모델 + 200B 토큰 + 간단한 SFT → 0.45-0.50
- 예산 > $10000: Phi-3.5-mini 같은 "준산업용" 모델과 정면 경쟁 가능
Vergnes의 실험이 증명한 건 첫 번째 등급이 현실적이라는 점이다.
편집자 소견
이 사건의 진짜 시그널은 "싸다"가 아니라 pre-train의 한계 비용이 무너지고 있다는 데 있다.
1년 전에는 $998로도 ablation 실험 한 번 돌리기가 빠듯했다. 몇 개 하이퍼파라미터 조정하고 loss 곡선 확인하는 정도였다. 지금은 3.8B 모델을 완전 학습시킬 수 있다. CORE 0.384가 높게 느껴지지 않을 수 있지만, 이건 toy benchmark가 아니라 전체 파이프라인을 끝까지 돌린 결과다.
소규모 팀과 독립 연구자에게 이건 pre-train이 더 이상 대기업만의 영역이 아니라는 뜻이다. Phi-3, Qwen2.5, Llama-3.2 같은 "소형 모델"의 해자(moat)는 본질적으로 데이터 품질과 엔지니어링 최적화이지, 절대적인 컴퓨트가 아니다. 인내심 있는 작은 팀이 $5k-$10k 예산에 공개 데이터와 오픈소스 학습 프레임워크를 조합하면, 6개월 안에 Phi-3.5-mini에 근접한 모델을 만들 가능성이 있다.
다만 냉정하게 볼 점도 있다. 이 실험에는 가중치가 없다. 즉 Vergnes 본인도 이걸 "프로덕트급"이라고 보지 않는다는 의미다. 이 모델을下游 과제에 쓰려면 결국 Phi-3나 Qwen을 가져다 쓸 가능성이 높다. 다시 말해 pre-train의 비용은 무너졌지만, post-train(instruction tuning, RLHF, DPO)의 비용은 여전히 높다. 그쪽이야말로 진짜 비싸고 진짜 컴퓨트가 필요한 영역이다.
불확실한 부분: $998이라는 숫자에 "작성자의隐性 시간 비용"이 포함됐는가? 인건비(대략 2-4주 정도 소요 추정)를 합치면 실제 비용은 $3000-5000일 수도 있다. 하지만 그렇다 해도 2023년에는 꿈도 못 꾸던 숫자다.
필자의 판단: 2026년에는 개인과 소규모 팀이 공개하는 1-7B pre-train 모델 사례가 더 늘 것이다. Qwen이나 Llama를 대체하진 못하지만, 특정 수직领域(법률, 의료, 코드)의 기반 모델로는 자리 잡을 수 있다. Vergnes의 실험은 이 곡선의 시작점 중 하나다.
참고 출처: