AI가 수학 연구에 참여할 때 평가 기준과 책임 구조가 어떻게 바뀌어야 하는지陶哲轩이 논의했다. AI Agent는 실제 수학 작업에서 어떤 역할을 맡을 수 있는지도 함께 살펴본다.
陶哲轩이 ‘에고리스 mathematics’를 꺼내 담은 이유
陶哲轩은 글 Egoless Mathematics in the AI Era에서 AI 보조 수학 연구가 평가 방식에 어떤 변화를 가져올 수 있는지 논했다.
이 글은 2026년 11월 2일에 공개됐으며, 저자는 수학자 Terence Tao다.
이번에 소개된 것은 새 모델도, 새로운 수학 benchmark도 아니다.
그의 관심사는 AI를 활용함으로써 개인의 이력, 권위, 평판이 수학 연구와 평가에 미치는 영향을 줄이는 방법이다.
글은 Hacker News 메인 페이지에 올라 61점과 49개의 댓글을 받았다. 댓글에서 가장 두드러진 질문은 ‘AI가 정리를 증명할 수 있는가’가 아니었다.
- 누가 증명을 검증하는가?
- 오류가 발생하면 누가 책임지는가?
- 저자의 명성이 없을 때 수학적 품질을 어떻게 판단하는가?
- AI Agent는 실제로 어떤 역할을 맡아야 하는가?
원문: Egoless Mathematics in the AI Era
토론__: Hacker News 댓글
陶哲轩이 ‘에고리스 mathematics’를 꺼내 담은 이유
전통적인 수학 평가에서 저자의 이름은 장식이 아니다.
한 사람의 경력, 소속 학교, 지도교수, 논문 실적, 과거에 특정 유형의 문제를 해결했는지 여부까지 저자의 평판은 독자가 어떤 결론을 신뢰할지 판단하는 데 영향을 준다. 권위 있는 연구자가 제시한 증명은 기본적으로 더 많은 주의를 받고, 이름이 알려지지 않은 연구자가 같은 증명을 내놓으면 먼저 자신의 말을 들을 자격을 증명해야 한다.
전혀 나쁜 면만 있는 방식은 아니다. 수학 공동체는 아직 성숙하지 않은 아이디어가 대량으로 提出되는 속에서 걸러내야 한다. 경력 역시 오랜 시간을 축적한 신뢰 신호다.
하지만 부작용도 있다. 평가 대상이 ‘이 증명이 성립하는가’에서 ‘이 증명을 능력이 있는 사람이 제시했는가’로 미끄러질 수 있다.
陶哲轩이 말하는 egoless mathematics는 수학자에게서 자아를 지우라는 뜻이 아니다. 논문을 익명으로 투고하면 된다는 문제도 아니다. 그 핵심은 평가 구조다. 가능한 한 결론 자체와 검증 가능한 확인 과정이 신뢰를 지탱하도록 해야 한다.
AI는 여기에 실험 Grounds를 제공한다.
AI가 문헌 검색, 반례 탐색, 증명 검사, 형식화 검증에 참여한다면 일부 판단을 재현 가능한 과정에 맡길 수 있다. 먼저 저자가 누구인지 살펴볼 필요가 없는 것이다.
이 글은 Claude, GPT-5 또는 특정 새 모델을 소개하는 글이 아니다. AI가 수학 작업 흐름에 들어왔을 때 기존 평가 체계를 어떻게 조정해야 하는지를 다룬다.
Agent가 맡는 역할은 순수한 계산이 아니다
대중적인 AI 수학 논의는 많은 경우 문제를 한 문장으로 줄인다. 모델에게 문제를 주고 풀 수 있는지 보는 것이다.
이는 capability를 측정하는 benchmark에는 적합하지만, 실제 연구 기술을 설명하기에는 부족하다.
실제 수학 작업에는 다음과 같은 대단하지 않은 과정이 포함된다.
- 정의가 서로 일관되는지 확인
- 관련 정리와 기존 증명 탐색
- 경계 조건 나열
- 반례 탐색
- 어떤 보조정리가 슬쩍 추가 가정을 사용하는지 검사
- 자연어로 작성된 증명을 검증 가능한 형태로 변환
- 실패한 뒤에도 과정을 남겨 방향이 잘못됐는지 국소 계산 오류인지 판단
AI Agent의 가치는 ‘정답 생성’에만 있지 않다. 더 유용한 역할은 지치지 않는 감사원이 되는 것이다.
다음 Python 코드는 후보 증명이 Lean 검사를 통과하는 흐름을 보여준다.
# pip install lean-client
from lean_client import LeanClient
client = LeanClient()
proof = r'''
import Mathlib.Data.Real.Basic
example (x : ℝ) (h : x = 0) : x + 1 = 1 := by
simp [h]
'''
result = client.check(proof, timeout=30)
print(result)
이 코드 자체가 陶哲轩의 주장을 증명하는 것은 아니다. 다만 신뢰할 수 있는 작업 흐름을 보여준다. 결론은 먼저 검증기를 거친 뒤 사람에 의한 검토로 넘어간다.
LeanClient의 실제 인터페이스는 라이브러리 버전에 따라 달라질 수 있다. 더 안전한 방법은 모델이 생성한 임시 클라이언트 코드를 믿는 대신, 증명을 프로젝트에 이미 구축된 Lean CI에 전달하는 것이다.
도구가 어떻게 변하든 검증 순서는 다음처럼 유지해야 한다.
- AI가 후보 접근법을 검색하고 정리한다.
- 서로 다른 Agent가 반례 탐색을 시도한다.
- Lean, Coq, Isabelle 등 시스템이 형식화 가능한 부분을 검사한다.
- 전문가가 형식화할 수 없는 모델링과 가정을 검토한다.
- 모든 변경과 그 의존 관계를 기록한다.
핵심은 ‘무인'이 아니다. 사람, AI Agent, 증명 보조 도구가 함께 하나의 검증 체인을 구성한다.
수학 평가는 ‘저자의 명성’에서 ‘증명의 신뢰성’으로 이동한다
사람, AI, 여러 Agent가 함께 증명을 완성했다면 저자 표기는 어떻게 바뀌어야 할까?
마지막 저자만 보면 정보가 부족하다. 더 타당한 기록 단위는 ‘증명 기여’일 수 있다.
{
"claim_id": "proposition-17",
"dependencies": ["lemma-4", "lemma-9"],
"agents": ["search-agent", "counterexample-agent"],
"formal_check": "lean-ci-passed",
"human_review": ["reviewer-a"],
"open_questions": [
"是否需要额外假设 connectedness?"
]
}
이 방식은 모든 사람이 전체 prompt를 공유하자는 요구가 아니다. 독자가 다음 정보를 알 수 있도록 만드는 것이 목적이다.
- 어느 단계를 모델이 제안했는가
- 어느 단계를 도구가 검증했는가
- 어느 단계에 사람의 검토만 적용됐는가
- 어떤 결론이 아직 검증되지 않은 가정에 의존하는가
- 모델이나 검색 데이터를 바꿔도 결론이 유지되는가
수학적 신뢰는 한 사람의 평판에서 추적 가능한 증거의 집합으로 옮겨간다.
이는 현행의 ‘저자 책임제’와 모순되지 않는다. 수학 공동체에는 여전히 책임질 사람이 필요하다. 다만 책임은 최종 저자명에게 일괄적으로 얹는 대신 각 과정에 구체적으로 연결할 수 있다.
AI Agent 제품 팀에는 새로운 수학 leaderboard를 만드는 것보다 중요한 과제가 있다. 유용함을 입증하려면 Agent가 검증 범위, 발견한 결함 수, ‘형식적으로 통과함’과 ‘수학적으로 성립함’을 구분하는 능력을 보여야 한다.
반 consensus 위험: 권위 분산이 새로운 권위를 낳을 수 있다
‘에고리스’는 fairness와 공통된 인상만으로 들릴 수 있다. 하지만 저자의 명성을 걷어낸다고 권력이 자동으로 사라지는 것은 아니다.
권력은 옮겨 갈 뿐이다.
- 모델 제공자가 기반 모델의 capability와 접근 비용을 결정한다
- 학습 데이터가 어떤 수학 전통이 더 쉽게 학습되는지 결정한다
- 검토 규칙이 무엇을 증명할 수 있고 무엇을 받아들일지 결정한다
- 클라우드 플랫폼이 검증 도구의 실행 여부를 좌우한다
- 데이터 센터가 대규모 탐색 비용을 감당할 수 있는지를 좌우한다
소수 기관이 모델, 데이터, 연산 자원, 검토 기준을 동시에 통제한다면 결국 익명 시스템이 소수의 결정을 대신 내리는 구조가 될 수 있다.
더 까다로운 문제는 모델이 ‘그럴듯하게 신뢰할 수 있는’ 논증을 만들어 낸다는 점이다. 표현이 매끄럽다는 것은 추론이 성립한다는 뜻이 아니다. 실제 논문을 인용했다고 해서 그 논문이 현재 결론을 뒷받침하는 것은 아니다. 형식화 검사를 통과했더라도 코드가 잘못된 명제를 충실히 표현했을 뿐일 수 있으며, 명제 자체가 옳다는 뜻은 아니다.
따라서 egoless mathematics는 익명 심사만으로 충분하지 않다. 검증 조건, 모델 버전, 데이터 출처, 실패 기록도 공개해야 한다. 사람을 지워내면서 사람의 통제 구조까지 없애지 않으려면 공개 가능한 검증 절차가 필요하다.
Hacker News 토론이 드러낸 것
글은 Hacker News 메인 페이지에 올라 61점과 49개의 댓글을 받았다. 폭발적인 반응이라고 하기는 어렵지만, 수학적 사상을 다루는 글이었다는 점에서 개발자들이 모델 파라미터뿐 아니라 시스템 설계에 대해 이야기할 필요가 있다는 신호다.
댓글에 등장한 engineering 질문은 구체적이었다.
- 여러 Agent가 같은 반례를 독립적으로 찾도록 하려면 어떻게 해야 같은 오류를 공유하지 않는가?
- 증명 상태를 저장해 rollback과 재현을 지원하려면 어떻게 해야 하는가?
- 검토자는 모델이 생성한 모든 단계를 반드시 읽어야 하는가?
- 형식화 검증이 자연어 모델링을 다루지 못할 때 신뢰도를 어떻게 계산해야 하는가?
- 비공개 추론 로그와 공개 가능한 검증 기록을 어떻게 분리해야 하는가?
이 질문들의 공통점은 ‘모델이 답을 냈다’는 상태를 종점으로 보지 않는다는 것이다.
개발자들은 증거 체인을 중요하게 본다. 누가 검사를 실행했는가. 어떤 버전을 사용했는가. 실패를 재현할 수 있는가. 책임을 특정할 수 있는가.
이것이 陶哲轩의 글을 AI Agent 관계자가 읽을 만한 이유이기도 하다. 목표를 ‘더 강한 문제 해결 머신’에서 ‘신뢰할 수 있는 연구 및 검증 시스템’으로 옮겼기 때문이다.
편집자 관점
이 이슈가 중요한 이유는 AI가 이미 주요 추측을 독립적으로 해결할 수 있기 때문이다. AI가 수학 연구의 신뢰 배분 방식을 바꿀 가능성이 있기 때문이다. 과거에는 평판이 증명의 품질을 판단하는 중요한 신호였다. AI가介入하면 독자는 확인할 수 있는 책임 체인이 더 필요하다.
수학 Agent의 핵심 제품은 ‘문제 풀이 채팅창’에 머물지 않고 감사 및 재현 도구가 될 것으로 보인다. 반례를 계속 탐색하고, 보조정리의 의존 관계를 추적하고, 검증 버전을 기록하며, 사람의 검토와 기계의 검사를 구분해 표시해야 한다.
이번 변화는 과거의 자동 정리 증명과는 다르다. 과거 시스템은 보통 이미 코드로 표현된 명제를 입력받았다. 이제 Agent는 증명의 제안, 검사, 수정에 참여할 수 있으며 평가 대상은 전체 작업 흐름으로 확장된다. 그럼에도 불확실성은 남는다. 모델, 데이터, 연산 자원, 검토 기준을 여전히 소수 플랫폼이 통제한다면 권위 분산은 식별하기 어려운 플랫폼 권력을 새로 만들 가능성도 있다.