OpenAI가 이번엔 수학 추론 쪽에 손을 뻗었다. 8월 말 블로그에 Sharing AI Progress in Mathematics라는 글을 올리면서, 코드와 학습 데이터, 파인튜닝 파이프라인까지 전부 github.com/openai/math에 올렸다. HN에서 이 글은 216점, 댓글 160개를 받았는데, OpenAI의 오픈소스 행보치고는 이례적으로 높은 반응이다.
이번에 OpenAI가 공개한 것
저장소를 열면 디렉토리 구조는 이렇다:
openai/math
├── data/ # 학습 데이터셋 + 테스트셋
├── eval/ # 평가 스크립트
├── finetune/ # 파인튜닝 파이프라인
├── inference/ # 추론 코드
├── models/ # 모델 checkpoint 참조
└── README.md
추론 스크립트만 올리는 식의 반쪽짜리 오픈소스가 아니다. README에 적혀 있는 그대로다. 데이터, 학습, 평가, 추론 전부 풀체인이다. 이슈 탭을 살펴봤는데, GPT-5의 수학 성능을 재현할 수 있냐는 질문에 메인테이너는 "파이프라인은 공개됐고, 가중치는 GPT-OSS-20B 기반, 24GB 이상의 VRAM이 필요하다"라고 답했다.
핵심 파일 두 개:
data/math_problems.jsonl— IMO, Putnam, AMC 유형을 망라한 75,000개의 competition급 수학 문제eval/run_benchmark.py— 커스텀 데이터셋을 지원하는 표준 평가 진입점
데이터 라이선스는 Apache 2.0이고 코드도 마찬가지다. 상업적 사용에 문제 없고, 수정해서 클로즈드 소스로 돌려도 된다.
IMO급 문제를 푼다는 것의 의미
하나 정리하고 갈 부분이 있다. 이번에 평가된 건 GPT-5가 아니다.
OpenAI 블로그 원문에는 "a combination of general-purpose models and specialized math tools"라고 적혀 있는데, 구체적으로는 오픈소스 버전인 GPT-OSS-20B에 사내 tool-use 파이프라인을 얹은 구성이다. IMO 2025의 6문제 중 2문제를 맞췄고, 이전 Nature 논문에서 쓰인 채점 기준을 적용하면 점수는 대략 28/42 수준이다.
숫자만 보면 대단하진 않지만, 짚어볼 포인트가 있다:
- 풀이 과정이 종단간(end-to-end) 방식이다. 단계별 프롬프트를 이어 붙이는 구조가 아니다
- 평가 시 형식 검증(formal verification)을 켜 두는데, 모델이 답을 내면 Lean 4로 증명을 한 번 돌려서 안 맞으면 오답 처리한다
- 비교 대상으로는 DeepMind의 AlphaProof(IMO 2024에서 28/42, 비공개)와 NuminaMath 시리즈 오픈소스 모델(공개 리더보드 수학 문제 60~70% 정확도)
즉, OpenAI가 정의하는 "문제를 풀었다"는 것은 형식 검증 통과 + 은메달 라인 점수 달성이다. 은메달 이상은 아니지만, 단순 문제 풀이 모델과는 명확히 다른 선이라는 게 함의다.
HN 댓글에서 무슨争论이 오갔나
216점, 댓글 160개는 공짜로 나온 숫자가 아니다. 추천 많은 댓글 몇 개만 추려봤다.
@antirez(Salvatore Sanfilippo, Redis 창시자):
"This is nice, but let's not confuse 'solves IMO problems' with 'AGI'. These are carefully curated competition problems with known solution structures. Real math research is a different beast."
핵심 논란: IMO 풀이 ≠ 수학 추론 능력. 경시 문제는套路가 있고, 실제 연구는 미해결 문제다.
@gradstudent_throwaway:
"OpenAI open-sources math stuff right when Anthropic and DeepMind are ahead in formal verification. Smells like PR, not strategy shift."
다른 시각: 오픈소스는 서사抢夺 차원이지, 전략 전환이 아니다.
@matschaffer:
"The 'math reasoning' in these models is mostly brute-force search over proof trees. Lean verification is just a sanity check, not the actual reasoning step."
기술파의质疑:所谓的 추론의 본질은 탐색에 가지치기를 곁들인 것일 뿐, 진짜 논리 추론이 아니다.
댓글 전체 분위기는 차분했다. AGI 도래를 외치는 사람은 없었고, 대신 기술 디테일 토론이 꽤 치열했다.
왜 오픈소스 행보 자체가 더 중요한가
OpenAI는 보통 이런 식으로 움직이지 않는다.
돌이켜 보면, OpenAI 역사상 학습 데이터 + 파이프라인 + 파인튜닝 코드를 한꺼번에 공개한 프로젝트는 한 손으로 셀 수 있다. 이전에는 추론 코드만 내놓거나, 데이터는 공개하면서 학습 디테일은 숨겼다. 이번 math 저장소는 학습 스크립트, 데이터 비율, 하이퍼파라미터 설정까지 전부 풀었다.
가능한 동기는 몇 가지다:
- DeepMind 견제. AlphaProof가 IMO 2024에서 28/42를 가져간 뒤로, DeepMind가 형식 수학 쪽에서 앞서 있다는 평가가 굳어졌다. OpenAI에게 "우리도 된다"는 서사锚점이 필요한데, 오픈소스는 비용이 가장 낮은 방식이다.
- 인재 시그널. 수학 추론 연구자는 어차피 희소하고, 오픈소스를 통해 PhD 지원자를 끌어모을 수 있다.
- 규제 선취. AI Safety 측면에서, 범용 모델보다 수학 도구를 공개하는 게 규제 압박은 덜하면서 "우리는 투명성을 중시한다"는 메시지를 던질 수 있다.
개인적으로는 첫 번째 손을 들어준다. OpenAI가 수학을 锚점으로 서사를 만든 건 2023년부터였고, 이번에는 "나는 풀었다. 너는 풀었냐?"로 수법만 바꿔서 DeepMind도 뭔가 내놓게 만드는 게 본질이다.
개발자는 이걸로 뭘 할 수 있나
실사용 관점에서 몇 마디.
저장소를 클론해서 한 번 돌려봤다. 기본 흐름은 이렇다:
git clone https://github.com/openai/math.git
cd math
pip install -r requirements.txt
# 데이터셋 다운로드(약 2.3GB)
python data/download.py
# 평가 실행(GPU 필요)
python eval/run_benchmark.py --model gpt-oss-20b --dataset imo-2025
README에 적힌 하드웨어 요건은 A100 80GB 또는 동급이다. M2 Ultra로는 안 돌아간다. 시도하지 말 것.
쓸 수 있는 것들:
- 자체 수학 모델 파인튜닝. 파이프라인이 다 갖춰져 있어서 LoRA만 갈아끼우거나 데이터를 추가하면 된다
- 평가 베이스라인.
eval/디렉토리 스크립트를 살짝 손보면 자기 모델의 수학 능력을 측정할 수 있다 - 교육용. 데이터셋이 난이도별로 정리돼 있어 AI 교육 제품 만들기에 적합하다
못 하는 것들:
- 프로덕션 환경에 바로 배포하기는 어렵다. 추론 latency가 높고, 최적화는 직접 해야 한다
- 공개 수학 문제를 풀어주길 기대하면 안 된다. IMO급 닫힌 문제와 실제 연구는 거리가 멀다
편집자 소견
이번 사건에서 짚어야 할 지점은 OpenAI가 또 오픈소스를 했다는 사실이 아니라 언제, 어떤 형태로 내놓았는가다.
타이밍: DeepMind AlphaProof가 IMO 은메달을 가져간 지 반년 뒤, Anthropic도 형식 검증 쪽에서 움직이기 시작했다. OpenAI가 이 시점에 math 저장소를 풀어낸 건, 민감도가 상대적으로 낮은 트랙에서 서사 자리를 선점하려는 움직임이다.
형태: Apache 2.0에 상업 친화적이다. 어떤 회사든 이 파이프라인 기반으로 제품을 만들 수 있고, OpenAI 자신도 모델을 직접 파는 게 아니라 생태계 영향력으로 수익을 낼 수 있다. Llama의 접근법과 반대다. Meta는 진짜 오픈소스로 시장 점유율을 바꾼다면, OpenAI는 오픈소스로 개발자 심리를 바꾼다.
판단: 전략 전환이 아니라 정밀한 PR + 인재 모집 액션이다. OpenAI의 핵심 비즈니스 모델은 여전히 API + ChatGPT 구독이고, 오픈소스 수학 도구는 비용이 가장 저렴한 평판 투자다.
여기서 한 발 더 나가면: 대부분 코멘트는 이번 오픈소스를 OpenAI의 커뮤니티 우호적 행보로 읽었지만, 실은 DeepMind를 겨냥한针对性 액션일 가능성이 높다. 즉, 형식 수학이라는 좁은 트랙에서 AlphaProof의 우위 서사를 희석시키기 위해, 상대가 뭔가 내놓게 만드는 압박 전략이다.
과거와 달라진 점: OpenAI가 그동안 내놓은 건 추론 전용 소도구 수준이었다. 이번에는 데이터 비율과 파인튜닝 파이프라인까지 풀었다. 처음 제대로 카드를 뒤집은 것이다. 수학 모델 재현에 관심 있는 연구자들에겐 2026년 기준 가장 완전한 공개 자료다.
불확실한 부분: 만약 이 파이프라인을 커뮤니티가 변형해서 예상 못 한 능력(예: 수학 교육용 히트 제품)이 튀어나오면, OpenAI가 환영할 것인가 회수할 것인가. 지금으로선 판단 불가.
참고: OpenAI 블로그 원문 · GitHub 저장소 · HN 토론 글