지난주 New Scientist가 한 건을 터뜨렸다. 따져볼 가치가 충분하다.
OpenAI가 공개한 프로젝트는 LLM으로 Navier-Stokes 방정식의 매끄러운 해 존재성 증명을 보조하는 것이었다. 클레이 수학연구소의 밀레니엄 7대 문제 중 하나라 무게감이 남다르다. 전체 구조는 두 단계로 나뉜다: 1단계에서 LLM이 수학 추론을 수행하고, 2단계에서 그 수학을 Lean 형식화 코드로 번역한다. 결국 무너진 건 추론 단계가 아니라 번역 단계였다.
이 사건이 HN 메인에 올라왔을 때 댓글 반응은 대부분 "LLM이 또 환각을 일으켰군"이었다. 그렇게 단순한 얘기가 아니다.
사건 재구성: 증명은 어떻게 두 단계로 나뉘는가
먼저 OpenAI 프로젝트의 구조부터 정리한다. 이후 모든 논의가 이 구조 위에서 돌아간다.
[입력: 수학 명제 P]
↓
[1단계: 수학 추론]
→ LLM이 비형식적 증명 초안 출력 (자연어 + 수학 기호)
↓
[2단계: math-to-code 번역]
→ 위 증명을 Lean 코드로 번역
→ Lean 컴파일러가 typecheck 수행, 기계 검증된 증명 획득
이론적으로는 좋은 설계다. 1단계에서 LLM이 잘하는 "자유로운 추론 + 패턴 인식"을 쓰고, 2단계에서 Lean 같은 의존 타입 언어를 최종 관문으로 세운다. typecheck를 통과한 것만 유효하다.
문제는 2단계에서 터졌다.
1단계에서 나온 수학 초안은 분야 전문가 검토 결과 "합리적"으로 판정됐다 — 논리 사슬이 대충 맞물린다. 오류는 이걸 Lean 코드로 옮기는 과정에서 슬쩍 끼어들었다. 다시 말해, LLM은 수학 추론을 할 때 머리는 거의 정확했지만, 손으로 옮길 때 일부 의미가 몰래 바뀌었다.
이런 종류의 오류가 직접적인 추론 실패보다 더 질기다. Lean typecheck는 그냥 통과한다 — 문법이 맞고 타입이 맞으면 Lean이 그대로 통과시킨다. "이 코드로 표현한 명제와 증명하려는 명제가 수학적으로 다르다"고 알려주지 않는다.
오류는 어떤 모양인가: 추론이 아니라 번역이 비뚤어진다
New Scientist 보도에서 몇 가지 전형적 문제가 짚혔다. LLM이 형식화 작업에서 가장 자주 저지르는 실수를 정리한다.
1. 기호 의미의 표류
수학에서 같은 기호도 문맥에 따라 미묘한 차이가 있다. 예를 들어 ∀ε>0, ∃δ>0: ... 같은 한정자 사슬은 수학자가 쓰면 명확하지만, LLM이 번역할 때 한정자 순서를 뒤집거나 존재 한정자가 묶는 변수 범위를 틀릴 수 있다.
Lean에서 대응되는 코드는 이런 식이다:
-- 수학자가 쓰려던 것:
-- ∀ ε > 0, ∃ δ > 0, ...
-- LLM이 실제로 쓴 것:
∃ δ > 0, ∀ ε > 0, ... -- 한정자 순서가 뒤집힘
Lean typecheck는 통과한다. 수학적 의미는 완전히 달라졌다.
2. 한정자 유실
가장 질긴 오류다 — LLM이 추론 단계에서는某个 전칭 한정자를 언급했는데, 번역할 때 "이건 자명하겠지" 하면서 빼버린다. 결과적으로 Lean 안의 명제가 원래 명제보다 약해진다.
3. 연속에서 이산으로의 근사가 조용히 사라짐
Navier-Stokes는 편미분방정식이라 핵심이 무한 차원 함수 공간에서의 추정이다. LLM이 추론할 때는 "소볼레프 임베딩에 의해 ..." 라고 말하는데, 듣기에는 그럴듯하다. 그런데 소볼레프 임베딩에는 구체적인 차원 조건, 경계 조건 요구사항이 붙는다. LLM이 번역할 때 이런 전제 조건을 명시적으로 적어주지 않으면, Lean이 검증한 명제는 원래 명제가 아니다.
4. 타입 차원의 의미 교체
좀 더 기술적인 사례: Lean에서 ℝ 위에 정의된 함수 공간을 LLM이 어떤 부분 타입으로 쓰거나, Continuous를 ContinuousOn으로 적는 경우다. 한 글자 차이지만 수학적 의미는 다르다.
이런 오류들의 공통점은 이거다: LLM이 제출한 코드를 사람이 검토할 때, 각 한정자와 타입 제약을 세심히 들여다보지 않으면 무의식적으로 "이거 맞는 것 같은데" 하고 넘어간다. 형식화 작업에서 가장 위험한 지점이 바로 여기다.
왜 이번 사건이 특별히 주목할 만한가: L4 자동 추론의 경계
OpenAI 내부에 자사 모델의 추론 능력에 대한 등급이 있다 (L1에서 L5까지, 대략 작업 난이도와 신뢰성 요구 수준에 대응). 이 등급은 그들의 안전 / 능력 평가 문서에 등장한다. Navier-Stokes 과제는 목표 난이도가 L4 구간에 해당한다 — 장기적이고 형식화되며 엄격한 검증이 필요한 수학 추론.
L4는 미묘한 위치다. L5(AGI급)보다는 낮지만, L3(단기 작업, 단일 영역)보다는 한참 위다. 일단 L4를 넘었다고 선언하면, 모델이 장기적이고 지속적 논리 제약을 요하는 일을 할 수 있다는 뜻이 된다. 형식화 증명이 L4의 전형이다.
이번 사건의 신호는 명확하다: L4의 문턱에 LLM은 아직 도달하지 못했다.
게다가 "조금 모자란" 수준이 아니다. 수학 추론 자체는 돌아갔으니, 모델이 분명 상당한 수학 능력을 갖췄다는 뜻이다. 그런데 "그럴듯한 증명 초안을 쓸 수 있다"에서 "증명을 완전하고 정확하게 형식화 코드로 번역할 수 있다"로 넘어가는 데는 의미의 단절이 가로놓여 있다. 이 단절은 모델 스케일을 키우거나 데이터 학습을 몇 라운드 더 한다고 저절로 메워지지 않는다 — 본질적으로 모델이 각 수학 객체, 각 기호, 각 한정자에 대해 통계적으로 "그럴듯한" 수준을 넘어 정밀한 이해를 갖춰야 하기 때문이다.
형식화 커뮤니티가 가장 경계하는 이유가 여기에 있다. 그들은 "그럴듯해 보이는" 실패를 수도 없이 봐왔다. Lean, Coq, Isabelle 같은 시스템의 설계 철학은 "아무도 믿지 말고, 오직 typechecker만 믿어라"다. 다만 typechecker는 "작성한 코드와 표현한 의도가 일치한다"는 것만 보장할 수 있다 — 표현한 의도가 본래 의도였다는 점은 보장하지 못한다.
Lean/Coq 커뮤니티와 AI4Math에 미치는 충격
이 사건이 형식화 커뮤니티에 남기는 충격은 "OpenAI가 틀렸다"가 아니다. 해부가 가능한 구체적 사례를 제공했다는 데 있다.
지난 몇 년간 AI4Math 커뮤니티의 주류 서사는 이랬다:
- LLM이 증명 초안을 쓴다
- 인간 수학자가 리뷰한다
- Lean 컴파일러가 typecheck한다
- 삼중 안전망, 끝.
이번 사건이 드러낸 건 이거다: math-to-code 번역 과제에서 초안 리뷰 단계가 인간 검토에 사실상 기대기 어렵다.
왜? Lean 코드는 사람이 읽으려고 만든 게 아니라 컴파일러가 읽으려고 만든 거다. 숙련된 Lean 개발자라면 ∃ δ, ∀ ε와 ∀ ε, ∃ δ의 차이를 알아챌 수 있겠지만, 증명이 수만 줄에 이르면 이런 디테일 단계 오류가 발견될 확률은 급격히 떨어진다.
다시 말해, 인간 + LLM + Lean 조합이 최소한 번역 단계에서는 인간 단독보다 그다지 강하지 않다.
Lean 커뮤니티의 이후 반응은 거의 확실히 이 몇 가지 방향으로 갈 것이다:
- "LLM이 자동 생성한 Lean 코드"에 대해 더 엄격한 provenance 표시를 도입 — 사람이 쓴 것과 기계가 쓴 것을 구분.
- typecheck 위에 "의미 계층 검증"을 수행하는 보조 도구 개발. 예컨대 증명의 실제 수학적 의미와 주장된 명제가 일치하는지 확인.
- AI4Math 논문의 게재 기준이 바뀐다 — 앞으로 리뷰어는 증명 초안뿐 아니라 Lean 코드 제출을 요구할 수 있다.
두 번째 항목이 특히 주목할 만하다. Semantic diff 류 도구가 LLM 번역 시나리오에서 연구 프로토타입에서 표준 옵션으로 자리를 잡을 가능성이 크다.
편집자의 생각
이 사건의 진짜 신호는 "AI가 또 틀렸다"가 아니다. LLM이 부분 단계에서는 문제가 없어 보여도, 단계를 가로지를 때 의미가 몰래 표류한다는 점이다. 이런 표류는 직접 오류보다 훨씬 위험하다 — 오류는 잡을 수 있지만, 표류는 코드가 typecheck도 통과하고 자연어로 읽어도 매끄럽고 한정자도 자리에 있어 보이는 순간, "여기가 틀렸다"는 명백한 신호가 어디에도 없다. 마지막에 어떤 수학자나 구체적인 반례가 터뜨릴 때까지.
지난 몇 년간 AI4Math의 낙관적 서사와 달리, 이번 사건은 균열을 만들었다: LLM은 수학 추론의 국소 영역에서确实 강하다 (1단계가 무너지지 않은 게 증거다). 하지만 국소에서 전체로, 추론에서 형식화로 넘어가는 거리는 다수가 생각한 것보다 멀 수 있다. "인간 + LLM + 형식화 시스템"이 삼중 안전망으로 홍보됐지만, 이제 보니 번역 단계에서 인간은 사실상 안전망 역할을 못 했다 — 코드는 애초에 인간이 읽도록 만들어진 게 아니니까.
한 가지 반합의 예측을 남긴다: 앞으로 12~18개월 안에 Lean / Coq 커뮤니티에서 LLM 생성 코드 전용 "의미 검증 도구"가 등장한다. 컴파일러 위의 linter 같은 형태다. 이건 모두가 원해서가 아니라, 어쩔 수 없이 표준 동작이 된다. 형식화 커뮤니티는 "인간은 안 믿고 typechecker만 믿는다"에서 "인간도 안 믿고, typechecker도 안 믿고, LLM도 안 믿는다, 우리는 의미 계층 diff만 믿는다"로 진화할 것이다.
불확실한 지점: 이 사건이 OpenAI 내부 모델 능력에 실제로 미친 영향은 외부에서 판단하기 어렵다. New Scientist 보도는 공개 자료에 기반한다. OpenAI가 내부에서 이미 이런 문제를 발견했고 어디까지 수정한 건지에 대한 정보는 없다. 만약 발견했지만 공개하지 않았다면 오히려 정직한 신호다 — 그들 자신도 L4 문턱을 아직 넘지 못했다는 걸 인지하고 있다는 뜻이니까.
참고:
- New Scientist: OpenAI mistranslated mathematics into code for its Navier-Stokes proof
- HN 토론: item?id=50026734