127점, 댓글 31개. 기술 블로그가 Hacker News 메인 페이지에서 이 정도 순위를 유지하려면, 화제성이 정확히 걸렸거나 데이터 자체가 강해야 한다. Prime Intellect의 NanoGPT Speedrun 글은 둘 다 갖췄다. "분산 훈련이 단일 대형 클러스터를 이길 수 있는가"라는 논쟁은去年 INTELLECT-2가 나온 뒤로 끊이지 않았는데, 이번에는 소규모 실전 테스트 결과가 나왔다.
NanoGPT Speedrun이란
Andrej Karpathy가 2022년에 작성한 NanoGPT는 LLM 생태계에서 가장 과소평가된 토이 프로젝트 중 하나다. PyTorch 300줄로 빈 체크포인트부터 시작해 GPT-2 급 모델을 학습시켜서 그럴듯한 텍스트를 생성한다. 커뮤니티는 이걸 "학습 속도 경주"용으로 3년 넘게 써왔다. 고정된 목표 함수, 고정된 토큰 수에서 wall-clock time을 얼마나 짧게 줄이느냐를競う。
룰은 단순하다.
- 고정 데이터셋(FineWeb), 고정 스텝 수, 고정 val loss 임계값
- 유일한 변수는 코드와 하드웨어 스케줄링뿐
- 실행 가능한 사람은 누구나 결과 제출 가능
가치는 "좋은 모델을 학습시키는 것"에 있지 않다. NanoGPT는 너무 작아서 GPT-2 124M의 val loss를 3.28 이하로 밀어붙이면 한계 효용이 급격히 떨어진다. 진짜 의미는 "최적화 능력"을 "컴퓨팅 규모"로부터 분리했다는 점이다. GPU를 더 사서 문제를 해결할 수가 없고, 오직 코드, 스케줄링, 커널만 바꿔야 한다. 기록을 유지해온 인물들(Kevin/Franke, @Grad62304977 등)이 만진 건 모델이 아니라 attention 구현, activation checkpointing 전략, 파라미터 초기화 방식이다.
현재 기록은 3분 28초다. unsloth 팀의 지원을 받은 Keller Jordan이 세운 기록이다. 이전에 @_c_b_std_도 Modal에서 비슷한 수준을 찍은 적이 있다. 즉 이 리더보드는 단일 대형 클러스터의 엔지니어링 최적화 천장을 보여주는 곳이다.
Prime Intellect의 이번 기록
Prime Intellect의 기록은 3분 33초, 기록선에 5초 부족하다.
블로그에서 확인되는 주요 수치는 다음과 같다.
- 8x H100 (8개 노드가 아니라 8장 카드, 서로 다른 지역에 분산 배치)
- 총 학습 비용 약 $560
- 3:33에 걸쳐 전체 GPT-2 학습 파이프라인 종단간 실행
- val loss가 NanoGPT Speedrun 표준 임계값 도달
비교해보면: CoreWeave의 기록은 상당히 큰 클러스터를 썼다(정확한 숫자는 커뮤니티에 완전히 공개되지 않았지만, 밀도로 보면 8장 수준을 훨씬 넘는다). Prime Intellect는 전체 컴퓨팅의 1/10~1/20만 써서 기록에 5초 안쪽까지 다가갔다.
이 격차가 얼마짜리인가. 시장가 기준으로 8x H100을 3분 반 돌리면 $500~700 정도. Prime Intellect가 $560이라고 공개한 건 청구서를 그대로 보여준 셈이다.
기술적 핵심은 자체 개발한 PRIME-RL과 SYNTHETIC-1 스타일의 코프로세싱 아키텍처다. 8장 H100 사이의 통신은 자체 bandwidth-aware scheduler를 탄다. 목표는 모든 카드를 같은 네트워크 fabric에 욱여넣는 게 아니라, 서로 다른 데이터센터에 있는 카드들이 협조하도록 만드는 것이다. INTELLECT-2(분산 RL 학습)와 같은 저수준 코드를 공유한다.
INTELLECT-2 이후의 연속선
INTELLECT-2는 Prime Intellect가 작년 하반기 공개한 프로젝트로, 전 세계에 흩어진 사람들이 자택 GPU를 일시적으로 "빌려" 대규모 모델 학습에 참여하고 기여한 컴퓨팅만큼 보상을 받는 구조다. RL(DeepSeek-R1 계열) 라인으로 32B 모델 INTELLECT-2를 학습시켰다.
이번 NanoGPT는 같은 분산 인프라를 pretraining으로 옮긴 검증 사례다. 세 가지 레이어가 재사용된다.
- 비동기 가중치 동기화 — 각 로컬 카드가 다른 모든 카드의 완료를 기다릴 필요 없음
- 대역폭 인지 작업 할당 — 네트워크 상태가 안 좋은 카드엔 로컬 연산을 더 부여
- 장애 허용 스케줄링 — 특정 카드 이탈이 전체 학습 데드락을 일으키지 않음
이 스택을 RL에서 pretraining으로 옮기는 건 단순 복붙이 아니다. 두 영역의 최적화 목표가 다르다(RL은 rollout 처리량, pretraining은 그래디언트 동기화). 작동한다는 건 저수준 추상화가 꽤 깔끔하게 만들어졌다는 뜻이다.
HN 댓글에서 무슨争论가 오가는가
댓글 31개는 크게 세 파로 나뉜다.
첫 번째 파: "이건 진짜 분산이 아니다"
가장 흔한 지적이다. @tlsigator 류의 댓글은 8장 H100을 8개 cloud region에서 끌어와 조율하는 것과 "전 세계 게이머가 자택 GPU를 모아 클러스터를 만드는 것"은 별개의 이야기라고 짚는다. 전자는 본질적으로 대형 기업의 사설 인프라를 다중 지역에 배치한 것이고, 후자만이 INTELLECT-2가 처음에 내세운 셀링 포인트다.
두 번째 파: "3분 33초는 기록 경신이 아니다"
더 기술적인 비판이다. @adamjstevenson 같은 사람의 시선은 이렇다. 리더보드는 이겨야 기여로 인정받는다. 5초 차이는 "근접"일 뿐 "초월"이 아니다. CoreWeave/Modal의 코드 최적화 누적이 거기 있고, 분산 오버헤드가 해결되지 않는 한 그 차이는 영원히 좁혀지지 않는다.
세 번째 파: "비용이 핵심"
@metasim 계열은 산수를 한다. 같은 $560을 CoreWeave에 쓰면 wall-clock이 클러스터 크기 때문에 1분 안쪽으로 떨어질 거라고. 즉 단일 머신 지연 시간으로는 졌지만, 달러당 산출로는 이긴다. 이 트레이드오프는 소규모 팀/학계엔 의미가 있지만, 프론티어 랩엔 의미가 없다.
HN에는 없었지만 하나 더 흥미로운 문제가 있다. 재현 가능성이다. NanoGPT Speedrun 리더보드는 원래 학습 스크립트와 정확한 환경 정보 공개를 요구해왔다. Prime Intellect 블로그에 코드 저장소는 공개되어 있지만, 공개된 코드로 3:33을 완전 재현하려면 아직 몇 가지 핵심 파라미터(구체적으로 optimizer의 warmup schedule과 gradient clipping 임계값)가 부족하다는 지적이 HN 댓글에 있다. 이 부분이 작성자가 보완하지 않으면 기록의 유효성에 금이 간다.
편집자 소견
이 사건에서 진짜 주목할 건 3분 33초라는 숫자 자체가 아니라, 그것이 드러내는 분산 학습의 경계 조건이다.
작년 한 해 동안 분산 학습의 서사는 늘 "흩어진 컴퓨팅을 모아 초대형 클러스터에 맞먹는 규모를 만들 수 있다"였다. INTELLECT-2는 RL 영역에서 이게 가능함을 보였다. rollout은 자연스럽게 병렬화되고 동기화 민감도가 낮기 때문이다. 이번 NanoGPT 결과가 말해주는 건 동기화 정밀도가 높은 작업(pretraining, 특히 큰 배치 동기화가 필요한 최적화)에서는 분산 네트워크 오버헤드가 곧 하드 천장이라는 점이다. 3:33 vs 3:28, 5초 차이 — 이 5초는 거의 확실히 노드 간 네트워크 왕복에서 나오는 비용이지 알고리즘 문제가 아니다.
앞으로 6개월 안에 두 종류의 후속작이 나올 거라고 본다.
- Prime Intellect 같은 "반분산" 형태. 핵심 동기화는 좋은 네트워크 내부에 남기고, 소수의 이기종 노드만 참여시키는 성능/분산 간 절충안.
- 순수 pretraining의 완전 분산이 단일 클러스터보다 강할 수 없음을 증명하고, "분산 데이터 라벨링 + 중앙 집중형 학습" 같은 하이브리드 아키텍처로 방향을 튼 팀.
불확실한 지점들.
- Prime Intellect가 환경 세부사항을 완전히 공개하지 않아 재현 난이도가 리더보드 역사상 표준보다 높다. 이번 기록은 엄밀히 따져 기록 경신이 아니라 "능력 시연"이다.
- INTELLECT-2의 실제 경제성도 외부 감사 결과가 아직 없다. 기여자에게 분배되는 금액, 장비 마모 처리, 순이익인지 순손실인지에 대한 공개 데이터가 없다.
- 8x H100의 "분산"이라는 서사 자체에 수분(水分)이 들어 있다. AWS region 8개에서 카드를 빌리는 것과 게이머가 집에서 RTX 4090을 기여하는 것은 하늘과 땅 차이다.
커뮤니티 반응은 "아 분산 학습이 이겼다"가 아니라, "분산 학습이 무엇을 이길 수 있고 무엇을 이길 수 없는가"라는 질문을 정량화할 수 있게 만들었다는 쪽에 가까울 것이다. 이 지점이 기록 자체보다 가치가 있다.