의견

1.5시간 학습한 소형 모델이 대부분의 LLM을 이겼다

한 개발자가 1.5시간 동안 소형 transformer를 학습시켜 ARC-AGI 1에서 대형 모델들을 제쳤다. 수직적 추론 vs 규모 확장, 이 실험이 보여주는 것은 무엇일까.

글자 크기

1.5시간 학습한 소형 모델이 대부분의 LLM을 이겼다

HN에 올라온 글이 화제다. 《I trained a small transformer in 1.5hrs and it beats many LLMs》가 333점, 댓글 89개를 기록했다. 작성자 mvakde는 GPU 클러스터도 쓰지 않았고, 몇 달을 태우며 학습시키지도 않았다. ARC-AGI 1에 특화된 소형 transformer를 직접 구현해 1.5시간 만에 학습시켰고, 그 결과가 시중의 대부분의 LLM을 앞질렀다.

분명히 짚어볼 만한 가치가 있는 사건이다.

무슨 일이 있었나

mvakde의 실험 대상은 ARC-AGI 1, 즉 추상적 추론 benchmark다. 그 접근 방식은 다음과 같다.

  • 소형 transformer를 직접 구현 (파라미터 수는 공개된 범위 내에서 과장된 수준은 아님)
  • 학습 데이터는 ARC-AGI 1 내장 학습 세트 + 자체 생성 데이터 확장
  • 학습 시간 1.5시간 (소비자용 GPU로 충분)
  • 평가는 ARC-AGI 1의 비공개 테스트 세트로 진행

결과: ARC-AGI 1에서 대부분의 주요 LLM을 제쳤다. 단, '대부분'이지 '전부'는 아니다. GPT-4나 Claude 같은 최상위 폐쇄형 모델은 일부 하위 작업에서 여전히 우위를 보인다.

ARC-AGI 1이란 무엇인가

ARC의 풀네임은 Abstraction and Reasoning Corpus이며, 2019년 François Chollet이 제안했다. Chollet은 Keras 저자이기도 하며, '지능 = 프로그램 효율성'이라는 가설의 주요 옹호자다.

작업은 이런 식이다. 3~5개의 입력-출력 그리드 쌍이 주어지고, 변환 규칙을 추론한 뒤 테스트 그리드에 적용해야 한다. 예시는 다음과 같다.

  • 입력은 3x3 그리드, 중앙에 빨간 점 하나
  • 출력은 5x5, 빨간 점 주위에 대칭 패턴이 확장됨
  • 테스트 그리드도 3x3 빨간 점이고, 5x5 확장판을 출력해야 함

사람은 한눈에 알지만, LLM은 오랫동안 이 문제에서 고전했다. 그 이유는 명확하다.

  • 필요한 건 언어적 사전지식이 아니라 조합 일반화(compositional generalization)
  • 해법은 짧고 열거 가능한 프로그램이지, 통계적 패턴 매칭이 아니다
  • 테스트에서 만나는 패턴은 거의 확실히 학습 시점에 본 적 없는 것이다

Chollet은 한때 100만 달러를 걸고 '누가 순수 scaling만으로 ARC-AGI를 정복할 수 있겠냐'고 내기를 걸었다. 2024년 말, o3 계열 모델이 간신히 근접했지만, 그 대가는 막대한 합성 데이터와 추론 연산이었다.

1.5시간이 의미하는 것의 스케일

이 숫자를 스케일에 올려놓으면 이렇다.

모델학습 비용 (추정)학습 시간
GPT-4 급수천만~수억 달러수개월
Llama 3 405B약 3천만 달러 + 만 개 GPU 클러스터수주
DeepSeek V3약 500~600만 달러수주
mvakde의 소형 transformer몇 달러 전기료1.5시간

단위가 6~7자리 차이 난다.

이 사건이 '소형 모델이 대형 모델을 박살냈다'로 오독되기 쉽지만, 사실은 그렇지 않다. 더 정확한 서술은 이렇다. 구조화가 매우 높은 좁은 작업에서는, 전용 설계 모델 + 좋은 데이터 + 적절한 귀납적 편향이 범용 대형 모델보다 훨씬 가성비 좋다.

소형 모델이 이길 수 있었던 이유

핵심은 세 가지 설계 선택이다.

1. 프로그램 합성식 귀납적 편향

ARC의 해법은 짧은 심볼릭 프로그램(DSL)으로 표현할 수 있다. mvakde의 모델은 그리드를 직접 출력하지 않고, '중심점 잡기 → 대칭 복제 → 색상 채우기' 같은 단계별 연산을 출력한다. 네트워크 구조 안에 '이건 프로그램이다'라는 가정을 강제로 넣은 셈이다.

LLM에는 이런 편향이 없다. 작업을 토큰 시퀀스로 번역한 뒤 다음 칸을 예측해야 하니, 난이도가 본질적으로 다르다.

2. 데이터 확장의 핵심 트릭

ARC 학습 세트는 수백 문제뿐이라 어떤 모델이든 학습시키기엔 턱없이 부족하다. mvakde는 기하학적 변환(회전, 반사, 색상 매핑, 형태 재구성)을 대규모로 적용해 수십만 문제를 합성했다. 여기서 중요한 디테일이 있다. 확장이 무작위로 된 게 아니라, 해법 구조를 보존하는 확장이다. 도형을 회전시키면 해법도 함께 회전해야 하고, 이는 데이터 내 대칭성과 등가다.

3. 학습 신호

지도 신호는 픽셀 수준(최종 그리드가 맞는지)이 아니라 프로그램 수준(단계가 맞는지)이다. 이런 중간 지시가 end-to-end 감독보다 샘플 효율이 훨씬 높다.

비슷한思路가 AlphaCode, FunSearch 같은 작업에서도 등장했지만, ARC의 작업 공간은 더 작고 더 구조화돼 있어서 소형 모델로도 충분히 커버된다.

그게 의미하는 것

이 사건은 단독으로 봐선 안 된다. 아래 사례들과 함께 놓으면 패턴이 보인다.

  • AlphaProof / AlphaGeometry: DeepMind가 신경망 + 심볼릭 하이브리드 시스템으로 수학 올림피아드 문제를 풀었다. 전용 모델 > 범용 LLM.
  • FunSearch: DeepMind가 수학 발견 작업에서, 소형 모델 + 평가기 루프가 GPT-4가 직접 답을 내는 것보다 안정적임을 보였다.
  • Cursor Tab 모델: 코드 자동완성에 특화된 소형 모델이 그 작업에서 범용 모델보다 더 나은 경험을 제공한다.

트렌드는 분명하다. '규모 만능'은 구조화된 추론 작업에서 한 번도 성립한 적이 없다. 다만 그동안 scaling law의 성공이 그 사실을 가려왔을 뿐이다.

더 현실적인 판단은 이렇다.

  • 범용 LLM은 여전히 가장 값진 '스위스 군도끼'다. 대화, 문서 작성, Agent 구현까지 가능하다.
  • 하지만 수직적이고, 구조가 강하며, 열거 가능한 어떤 작업이든, 전용 학습된 소형 모델 + 소량의 연산이면 충분할 수 있다.
  • 기업이 AI 제품을 만들 때 먼저 작업이 좁고 구조화돼 있는지부터 따져야 한다. 그렇다면 먼저 소형 모델 루트를 시도할 만하다.

편집자의 생각

왜 mvakde의 실험을 굳이 한 편으로 다루는가. 반복적으로 논의돼온 주장에 깔끔한 benchmark 숫자를 붙였기 때문이다. 1.5시간, 몇 달러 전기료, 대부분의 LLM 격파.

과거의 '소형 모델이 특정 작업에서 GPT-4에 근접' 류 보도와는 결이 다르다. 그런 사례의 다수는 benchmark가 유리하게 골라졌거나, 작업 자체가 모호했다. 반면 ARC-AGI 1은公认의 난제이며, Chollet이 직접 설계한 '범용 추론'의 시험대다. mvakde는 우회 없이 정면으로 돌진했고, 점수로 증명했다.

반(反)합의를 하나 던진다. 업계의 '학습 비용' 정의는 한계 심각하게 과소평가돼왔다. 미디어는 'X팀이 Y달러로 Z모델 학습'이라고 보도하지만, 그건 단지 사전 학습 비용일 뿐이다. 모델이 실제로 쓸모 있으려면 전체 라이프사이클 비용이 결정적이다. 데이터 정제, 반복 실험, 평가, 정렬, 추론. 추론 비용까지 합치면 전용 모델의 우위는 더 커진다. 소형 transformer의 추론 전기료는 GPT-4 API 호출 가격의 1/100 수준일 수 있다.

독자에게 남기는 질문. 손에 있는 AI 작업은 '범용 LLM + 강력한 프롬프트'가 더划算한가, '전용 소형 모델 학습'이 더划算한가. 대부분의 팀은 이 셈을 진지하게 해본 적이 없다.

참고: mvakde 블로그 원문

출처: https://mvakde.github.io/blog/44-on-arc-1/