의견

AI가 수학에서 '길'을 잃었다 — 테리 타오의 직격

경연 수학에선 만점에 가까운 성적을 내지만, 실제 연구에선 엉뚱한 답을 쏟아낸다. 필즈상 수상자가 직접 지적한 LLM의 한계가 'AI for Science'라는 화려한 슬로건을 흔들고 있다.

글자 크기

2026년 9월 11일, 테리 타오(Terry Tao)가 개인 블로그에 《A severe misalignment》라는 글을 올렸다. 같은 날, 《The Economist》도 AI와 수학을 다룬 특집을 실었다.

필즈상 수상자 한 명, 오래된 권위지 한 곳. 같은 날 같은 곳을 향해 손가락질을 했다. LLM의 수학 실력은 광고 속 얘기와 맞지 않는다는 것.

이 화제는 Hacker News에서 터졌다. mathandai.org의 토론 스레드는 403점, 댓글 467개를 받아 메인 페이지에 올랐다. 수학이라는 비교적 학구적인 주제가 이 정도 관심을 끈 건 흔치 않다.

블로그 글과 이코노미스트 기사를 둘 다 읽고 나서, 몇 가지 짚어볼 만한 포인트를 골라봤다.

경연 수학 vs 실제 연구, 그 간극

현황부터 보자.

AIME, IMO 같은 경연에서 LLM은 이미 만점에 가깝게 풀거나 메달을 따는 수준이다. GPT-5, Claude Opus 4.5, Gemini 3 Pro 같은 최상위 모델이 2025-2026년 IMO에서 은메달을 따는 건 뉴스가 안 되고, 금메달을 따야 뉴스가 된다.

문제는 문제를 바꿨을 때다. 예를 들어 이런 '열린 연구 질문'으로:

  • 어떤 추측에 대한 반례를 만들어라
  • 30쪽짜리 증명에서 '동기'가 의심스러운 단계를 짚어라
  • 한 수학 분야 안에서, 앞으로 3년을 투자할 가치가 있는 연구 경로를 골라라

모델은 여기서 무너진다. 단순히 '틀린 답'을 내는 게 아니라, '그럴듯한데 완전히 딴판인 답'을 내는 식으로 무너진다.

타오는 블로그에서 이런 문제를 "research-flavored but not research-grade"라고 불렀다. 연구처럼 보이지만 실제로는 연구 외피를 뒤집어쓴 경연 문제인 셈이다. 모델은 후자를 풀 수 있지만 전자는 풀지 못한다.

타오가 구체적으로 뭐라고 했나

타오는 'AI가 안 된다'는 식으로 덤볬던 게 아니다. 매우 구체적인 약점을 짚었다.

첫째, 수학적 '취향(taste)'에 감각이 없다.

수학자는 문제를 고를 때 강한 판단력을 쓴다. 어떤 문제가 '아름다운지', 어떤 방향이 '살이 붙는지', 어떤 추측이 '자격이 있는지'. 이런 건 논문 속에 숨어 있고, 저자가 이 문제는 골라두고 저 문제는 버린 결정 사이에 배어 있다. LLM이 논문 1,000편을 읽으면 방법론은 요약할 수 있지만, '왜 그로텐디크가 scheme을 골랐는지'는 뽑아내지 못한다.

둘째, 증명의 우아함을 평가하지 못한다.

같은 문제에도 증명은 5가지가 나올 수 있다. 하나는 50쪽을 brute force로 밀어붙이는 거고, 다른 하나는 2쪽에 우아하게 끝내는 거다. 타오의 말을 풀이하면 이렇다. LLM은 '증명이 맞는지'는 알려줄 수 있지만, '증명이 좋은지'는 알려주지 못한다.

셋째, 한 연구 경로에 시간을 쓸 가치가 있는지 판단하지 못한다.

이게 가장 치명적이다. 연구의 핵심 능력은 무엇을 포기할지 판단하는 것이다. 시도해볼 방향의 90%는 막다른 골목이고, 수학자는 경험과 직관, 취향으로 그것들을 걸러낸다. LLM에게는 그런 '포기 능력'이 없다. 모든 경로에 대해 그럴듯한 계획서를 생성해낼 뿐이다.

타오는 이 셋을 합치면, '모델이 IMO 금메달을 딴다'는 것과 '모델이 연구 보조가 된다'는 것 사이에 거의 넘을 수 없는 벽이 생긴다고 봤다.

왜 이게 AI for Science에 더 치명적인가

수학은 AI for Science에서 가장 깨끗한 실험장이다.

이유는 명확하다.

  • 데이터에 노이즈가 없다 — 생물 실험의 배치 효과, 소재 합성의 장비 차이 같은 게 없다
  • 목표 검증이 가능하다 — 증명이 맞으면 맞고, '대충 맞다'는 없다
  • 피드백 신호가 또렷하다 — Lean 컴파일러가 몇 초면 답을 준다

다시 말해, AI가 수학이라는 '가장 깨끗한' 영역에서 열려 있는 문제조차 못 푸는데, 생물학·재료과학·지구과학처럼 데이터가 지저분하고 목표가 모호하며 피드백이 느린 분야에서는 더 못할 거라는 얘기다.

지난 2년 동안 'AI for Science'는 AI 업계에서 가장 섹시한 PPT 주제 중 하나였다. AlphaFold 이후, 각사가 'AI가 연구를 가속한다'를 외쳤다. 그런데 타오가 이번에 짚은 사실은 이거다. benchmark 점수 ≠ 연구 가치. AIME 만점을 따는 모델과, 박사 과정课题(课题)을 한 단계 진전시켜 줄 보조는 다른 종이다.

이 사실이 한 번 더 못 박힌 셈이다.

잘 안 보던 반대 방향: AI가 수학자에게 진짜로 쓸모 있는 곳

타오는 AI가 무용하다고 말한 게 아니다. 정반대로, 본인 블로그에서 자신이 AI를 이렇게 쓰고 있다고 언급했다.

  • Lean 코드 보조 — 형식 검증은 고통스럽고, AI가 초안을 잘 뽑아준다
  • 문헌 검색 — arXiv에 하루 200편 이상 올라오는 수학 논문을 AI가 요약·분류해준다
  • 문법 검사, LaTeX 오류 잡기 — 이런 지루한 일은 AI가 사람보다 잘한다

길이 어긋난 지점은 여기다. 지금 제품과 평가 체계는 AI를 '수학자'로 포장하지만, 실제로는 '더 빠른 계산기 + 문헌 검색기'다.

포지셔닝이 어긋난 게 진짜 문제다.

구체적인 예를 하나 들면, Lean + AI로 형식 검증을 하면 LLM이 정말 좋은帮手가 돼준다 — 형식 언어는 문법이 엄격하고, 컴파일러 피드백이 있고, 목표가 명확하다. 이건 AI의 스윗 스팟이다. 그런데 같은 모델에게 Erdős의 논문 '동기'를 '읽어보라고' 시키면, 문법은 완벽한데 완전히 딴길로 새는 요약문을 줄 가능성이 높다.

AI는 수학자가 아니라, 수학자의 IDE다. 이 포지셔닝이 시장에서는 일부러 흐려져 왔다. IDE로는 VC 투자금을 못 받지만, 'AI 수학가'로는 받으니까.

편집자 생각

이 사건이 중요한 지점은 '타오가 AI가 안 된다고 말했다'가 아니다. 구체적이고 검증 가능한 영역(수학)을 들어, 널리 받아들여진 서사('AI = 연구 보조')를 꿰뚫었다는 데 있다.

내 판단으로는, 이번 논의의 영향이 수학계를 넘어설 거다. 이유는 세 가지다.

첫째, 수학은标杆이다. AI가 가장 깨끗한 영역에서도 '취향'과 '포기 능력'을 못 한다면, AI for Science 전체 서사를 다시 써야 한다. 이건 NIH, DARPA, 각국 연구비 배분 로직에 직접 영향을 미친다. 그쪽은 지금 'AI가 연구를 가속한다'는 방향으로 예산을 진지하게 검토하고 있다.

둘째, 평가 체계가 되돌림을 맞는다. AIME, IMO처럼 '정답이 있는' benchmark와 '연구 능력' 사이의 간극이 다른 분야 사람들에게도 의식되기 시작할 거다. SWE-bench, HumanEval 같은 코딩 benchmark도 본질적으로 AIME와 같다. '할 수 있나'를 재는 것이지, '해야 하나'를 재는 게 아니다. Devin 같은 제품도 같은 질문에 직면할 거다.

셋째, 제품 포지셔닝이 강제로 리셋된다. 타오의 'AI는 더 빠른 계산기 + 문헌 검색기'라는 말은 계속 인용될 거다. 앞으로 18개월 동안, 모든 'AI Scientist', 'AI Researcher'류 제품의 마케팅은 같은 질문에 답해야 한다. 모델이 '어떤 경로를 포기할지' 판단할 수 있느냐?

이번이 과거의 사례와 뭐가 다른가? 지난 2~3년 동안 'AI가 X 분야에서 초인간'이라는 뉴스는 몇 주마다 한 번씩 나왔다(AlphaFold, IMO 금메달, ICPC 우승). 그런데 타오는 분야 내부에서, 여전히 연구를 하고 있는 정상 수학자가, AI 회사 경쟁사가 아니라 직접 문제를 지적했다. 이 비평의 무게는 'Anthropic CEO가 신중해야 한다'고 나서는 것과 차원이 다르다.

불확실한 지점: 타오는 'AI 연구 능력을 어떻게 측정할지'에 대한 실행 가능한 benchmark를 제시하지 않았다. '연구 능력은 경연 점수와 다르다'고만 했지, '그러면 뭐냐'에 대한 답은 비워뒀다. 이 빈자리를 누가 채우느냐에 따라 다음 라운드 AI for Science 자금이 어디로 흐를지가 결정될 거다.


참고 출처:

출처: https://mathandai.org/