Anthropic은 Claude가 블랙홀 물리학의 두 공개 문제에 대한 해법을 제시했다고 공식 연구 블로그에 글을 올렸다. Hacker News의 해당 논의에는 177 points와 47개 댓글이 달렸다. 다만 벤더가 쓴 글은 동료评审이 아니다. 진전의 수준을 판단하려면 검증 체인이 어디까지 진행됐는지를 봐야 한다.
Claude가 두 개의 블랙홀 공개 문제를 풀었다: AI 과학 연구는 어디까지 왔나
Anthropic은 공식 연구栏目에 “Claude solves two open problems in the physics of black holes”라는 제목의 글을 게시했다.
이번에는 모델 벤치마크 업데이트도 아니고 새 API 파라미터도 아니다. 이 글은 AI for Science 사례 연구로 분류된다. Claude가 기초과학 연구에 참여해 두 개의 공개 문제에 대한 해법을 내놓은 것이다.
논의는 Hacker News 메인 페이지를 올라갔다. 페이지에는 177 points, 47개 댓글이 표시됐다.
화제성은 확실하다. 증거 등급은 별개로 봐야 한다. 글을 올린 곳이 Anthropic 본인이기 때문에 이는 벤더 연구 자료이며, 저널 논문도 아니고 제3자 기관의 동료评审 결과도 아니다.
그래서 핵심 질문은 “Claude가 정말 과학 연구를 할 수 있는가”가 아니다. 더 현실적인 질문은, 그것이 만들어 낸 결과가 검증 체인의 어느 단계까지 도달했느냐는 것이다.
원문 자료:
- Anthropic 연구 글: https://www.anthropic.com/research/claude-black-hole-physics
- Hacker News 논의: https://news.ycombinator.com/item?id=50563148
Anthropic이 직접 올린 자료, 제3자评审은 아니다
먼저 출처를 확인하자.
글은 anthropic.com/research 공식 연구栏目에 올라갔고, 게시자는 모델 벤더인 Anthropic이다. Anthropic은 동시에 세 가지 역할을 겸하고 있다.
- Claude가 두 개의 블랙홀 물리학 공개 문제를 풀었다고 주장한다.
- Claude의 연구 과정과 산출물을 보여준다.
- 그 결과가 왜 성립하는지 설명한다.
이것이 곧 결과에 문제가 있다는 뜻은 아니다. Google DeepMind의 AlphaFold 논문도 연구팀이 직접 올렸고, 이후 외부 검증과 데이터베이스 확인을 거쳤다.
하지만 증거 선언과 증거 출처는 분리해야 한다.
‘벤더가 게��한 연구 글’은 Anthropic이 무엇을 했고, 공개할 만큼의 세부를 어디까지 공개했는지를 알려줄 뿐이다. 그것이 자동으로 “이 문제가 학계에서 해결 확인됐다”는 뜻이 되지는 않는다.
동료评审은 보통 이런 항목까지 확인한다.
- 도출 과정에서 빠진 가정이 있는가.
- 수치 결과가 독립적인 코드로 재현되었는가.
- 새로운 결론이 기존 문헌과 충돌하는가.
- 저자가 저에게 유리한 기준선이나 프롬프트 조건을 사용했는가.
- 평가 기준이 실험 전에 미리 정해졌는가.
공식 글에 이 중 일부가 포함될 수는 있다. 다만 읽을 때는 명확한 증거를 찾아야 한다. Anthropic이 완전한 도출을 적었다고 해서 그 도출이 제3자에 의해 검증받았다는 의미는 아니다. 벤치마크를 제시했다고 해서 그 벤치마크가 실제 연구 절차를 대표한다는 의미도 아니다.
HN 숫자도 따로 들여다볼 필요가 있다.
177 points, 47개 댓글. 댓글 수가 points보다 눈에 띄게 적다. 대개는 ‘한번打开해 볼 가치는 있다’고 인정한 독자들이 많지만 토론 스레드까지 깊이 파고든 사람은 많지 않다는 뜻이다. 기술적 이정표로 받아들이는 이도 있고, 저자가 누구인지, 어떤 도구를 썼는지, 결론을 재현할 수 있는지를 따지는 이도 있다.
따라서 이 숫자는 사건에 주목이 모아졌다는 근거일 수는 있어도, 결론이 인정받았다는 근거가 되지는 못한다.
‘공개 문제 해결’에는 여러 층위가 있다
‘공개 문제를 풀었다’는 하나의 이분법적 상태가 아니다.
증거를 네 단계로 나누자.
1단계: 후보 해법 제시
모델이 그럴듯한 새 경로를 찾아낸 경우다.
예를 들어 새로운 좌표 변환을 선택해 방정식 세트를 유도하고, 가능성 있는 해석적 해를 제시하는 것이다. 이 단계 자체는 가치가 있다. 다만 ‘공개 문제’란 보통 기존 방법이 특정 조건에서 실패하거나, 여러 Disciplines의 도구가 동시에 필요한 문제를 가리킨다.
후보 해법은 우선 연구 가설이다.
2단계: 자기 정합성 점검
후보 해법은 가장 기본적인 내부 점검을 통과해야 한다.
- 차원의 일관성이 맞는가.
- 극한 상황에서 알려진 결과로 돌아가는가.
- 부호와 가정이 앞뒤로 일관되는가.
- 도출을 SymPy, Mathematica 또는 CAS로 다시 계산할 수 있는가.
- 수치 결과가 오차 범위 안에 있는가.
이 단계는 ‘답이 그럴듯해 보인다’보다 강한 것이지만, 점검 자체가 같은 사고 경로에서 나왔을 수 있다. 모델이 스스로를 증명하는 것은 독립적인 검증이 아니다.
3단계: 독립 재현
제3자가 논문과 프롬프트 설정, 중간 산출물을 받은 뒤 원 저자의 결론을 보지 않고 다시 돌리는 경우다.
재현은 같은 소수점을 얻는 것만을 뜻하지 않는다. 더 엄격하게는 다른 소프트웨어, 다른 난수 시드, 다른 수치 방법을 써야 한다. 결과가 특정 도구 체인에서만 성립한다면 여전히 문제가 남아 있다.
4단계: 분야 검증 진입
연구자가 문제 정의가 정확한지 확인하고, 해법이 원래의 열린 지점을 실제로 풀었는지 살피며, 새로운 이론적 결과로 이어지는지 판단하는 단계다.
이 단계에 도달해야 비로소 학계적 의미의 ‘공개 문제 해결’에 어느 정도 가깝다.
Anthropic의 글을 다 읽고 나서 결론 요약만 볼 수는 없다. 항목별로 확인해야 한다.
- 두 문제가 각각 무엇이고, 원래 어디에서 막혀 있었는가.
- Claude가 어느 단계를 대체했고, 어느 단계를 그대로 남겼는가.
- 도출과 수치 계산은 어떤 도구로 수행됐는가.
- 전체 프롬프트, 추적 기록, 코드가 공개됐는가.
- 기존 해석적 결과와 교차 검증했는가.
- 독립적인 팀이 원래 문제에서 같은 결과를 다시 얻을 수 있는가.
이 정보가 부족하면 논의는很容易하게 ‘벤더를 믿는다’거나 ‘벤더를 부정한다’는 입장 표류가 된다.
AI for Science의 진짜 병목은 연산량이 아니다
기반 모델은 텍스트로 형식화된 지식을 다루는 데 능하다.
논문을 주면 요약할 수 있다. 공식을 주면 다시 쓸 수 있다. 에러를 주면 의심스러운 코드를 짚어낼 수 있다. 블랙홀 물리학은 바로 이 능력의 경계를 보여주는 사례다.
하지만 과학 연구는 문제에서 답으로 가는 것만으로 끝나지 않는다. 더 어려운环节들이 남아 있다.
올바른 문제 고르기
Claude는 연구 공백을 나열할 수는 있지만, 어떤 공백이 연구할 가치가 있는지를 반드시 아는 것은 아니다.
공개 문제는 때로 지나치게 넓게 서술되어 있다. 실제로 손대려면 기존 이론, 사용 가능한 데이터, 검증 도구와 정렬된 하위 문제가 필요하다. 뛰어난 연구자는 모델이 제시한 열 가지 방향을 그대로 받아들이지 않는다. 그중 어느 하나에 세 달을 쏟을 가치가 있는지 판단하는 사람이다.
올바른 좌표계 고르기
같은 물리 문제를 다른 좌표로 기술하면 방정식이 이례적으로 복잡해지고, 심지어 구조가 가려진다.
연구자는 오랜 기간 쌓아온 물리적 직관으로 변수, 경계 조건, 근사 방식을 고른다. 모델은 선택지를 제안할 수 있지만, 특정 좌표계가 왜 더 잘 작동하는지를 이해하고 있는지는 다르다.
결과가不对劲 않음을 알아채기
가장 위험한 것은 모델이 명백히 틀린 답을 내놓는 경우가 아니라, 계산 과정이 완전하고 형식이 화려하지만 실제 의미는 틀린 결과를 내놓는 경우다.
이를 잡아내려면 시스템이 반례를 제시할 수 있어야 한다.
- 극한 상황이 알려진 이론과 일치하는가.
- 독립적인 다른 방법으로 바꾸면 다른 답이 나오는가.
- 결론이 관측 가능하거나 시뮬레이션 가능한 효과를 만들어내는가.
- 파라미터가 특정 값 한 쌍에서만 성립하는가.
이런 점검은 문제 구조에 의존한다. 언어 확률만으로는 부족하다.
그러므로 AI for Science의 병목은 ‘더 큰 모델을 하나 더 붙이는 것’이 아니다. 더 현실적인 질문은 이렇다.
- 모델 출력을 실행 가능한 증명으로 어떻게 바꿀 것인가.
- 검증기를 어떻게 자동으로 선택할 것인가.
- 가정과 중간 상태를 어떻게 기록할 것인가.
- 서로 다른 접근 경로가 어떻게 서로를 공격하게 만들 것인가.
- 실패 샘플을 어떻게 평가 데이터셋으로 축적할 것인가.
이 사례에서 Claude는 연구助理에 더 가깝다. 해법을 제안하고 도출을 정리하며, 이상 징후 발견을 보조할 수 있다. 연구 책임자로 자처할 수 있는지는 아직 한 사례만으로 판단할 수 없다.
국내 AI 연구팀이 그대로 따라 할 수 있는 세 가지 행동
이 사건에서 가장 따라할 가치가 있는 것은 두 개의 구체적인 답이 아니라, 모델이 연구 절차에 들어간 뒤의 공학적 설계 방식이다.
1. 모델을 심볼릭 도출 검증 폐쇄 루프에 연결하기
채팅 창에서 끝내지 않는다.
모델이 만든 모든 핵심 등식은 심볼릭 계산 환경에 들어가야 하고, 프로그램이 축약 가능성, 경계 조건, 수치 일관성을 점검해야 한다.
아래는 SymPy로 등가변환이 성립하는지 검사하는 실행 가능한 최소 예시다.
from sympy import symbols, simplify, tan, sec, sin, cos
x = symbols("x", real=True)
left = tan(x) * cos(x)
right = sin(x)
difference = simplify(left - right)
assert difference == 0
print("identity_check:", difference)
이것은 항등식 하나만 검증할 뿐, 블랙홀 이론을 증명하지는 않는다. 하지만 폐쇄 루프의 기본 구조는 보여준다. 모델이 제안하고, 프로그램이 검증하며, 실패하면 모델에게 수정 요청을 돌려보낸다.
운영 환경에서는 세 가지를 더 추가해야 한다.
- 난수 시드와 소프트웨어 버전을 고정할 것.
- 각 단계의 입력, 출력, 소요 시간을 캐시할 것.
- 검증 실패를 특정 단계에 귀속시키고, 모델에게 전체를 다시 쓰게 하지 말 것.
2. 중간 추론 기록을 남겨 감사 가능하게 만들기
‘최종 답’만으로는 부족하다. 과학 연구에는 답이 어디에서 왔는지가 필요하다.
최소한 다음 항목들을 저장할 것을 권한다.
- 원래 문제와 제약 조건
- 사용한 논문과 인용
- 모델이 제안한 후보 경로
- 포기한 안과 그 이유
- 심볼릭 도출과 수치 출력
- 사람이 수정한 부분
- 각 결론에 대응하는 증거
기록의 목적은 모델의 사적 사고 과정을 출력하라고 재촉하는 것이 아니다. 검증 가능한 중간 산출물, 즉 공식, 코드, 테스트, 가정, 출처를 감사하기 위한 것이다.
고위험 연구라면 기록을 상태 기계로 변환해야 한다.
Problem -> Candidate -> Formalize -> Verify
| |
| +-> Failed -> Revise
+-> Literature Check -> Independent Test -> Human Review
이렇게 해야 실패가 어느 층에서 발생했는지 알 수 있다.
3. 모델은 ‘제2저자’ 위치에만 두고 반례 목록을 유지하기
현재 단계에서 모델을 직접 ‘제1저자’ 자리에 놓는 것은 위험이 너무 크다.
더 안정적인 방법은 후보 생성, 문헌 교차 점검, 재현 실험을 맡기는 것이다. 사람 저자가 문제 정의, 핵심 가정, 최종 판단권을 유지한다.
산출물마다 반례 목록을 함께 붙인다.
- 已验证:量纲一致
- 已验证:极限情况下退化到已知结果
- 待验证:独立数值方法
- 待验证:跨坐标系一致性
- 已知反例:参数边界附近连续性异常
- 人工决策:暂不扩大结论范围
반례를 부록에만 숨겨서는 안 된다. 팀은 이 목록으로 다음 실험을 결정해야 한다.
편집자 관점
이 사건이 중요한 이유는 Claude가 블랙홀 물리학 공개 문제 두 개의 후보 해법을 제시했다는 데 그치지 않는다. 기반 모델이 심볼릭 도출, 도구 호출, 장기 검증이 필요한 기초 연구 절차에 진입하기 시작했다는 이유다. 영향 받는 것은 특정 문제가 아니라 연구 분업이다. 모델은 후보 해법과 탐색 공간을 넓힐 수 있고, 사람은 여전히 문제를 정의하고 검증기를 고르며 결론에 대한 책임을 진다.
제 판단은 보수적이다. Claude는 ‘감사 가능한 연구助理’에는 더 잘 맞고, 당분간 독립적인 연구 책임자로는 부적합하다. 제3자가 다른 코드와 수치 방법으로 재현하고, 분야 전문가가 전제와 경계를 검토한 뒤에야 AI for Science는 ‘멋진 답을 내놓는다’는 단계를 넘어 ‘과학적 결론을 감당한다’는 문턱을 넘은 셈이다.
이번 사례는 2023년 AlphaFold가 화면을 뒤덮었을 때와 다르다. AlphaFold는 이후 구조 예측 데이터베이스, PDB 항목, 실제 실험 같은 외부 증거 사슬을 갖게 됐다. 이번에는 주로 Anthropic의 연구 글에 의존하며 외부 검수가 훨씬 적다. 177 points에 비해 47개 댓글이라는 점도, 전파의 화제성이 기술 심사를 앞서 갔음을 보여준다.
확실하지 않은 것은, 공식 글만으로 두 결과가 학계가 인정하는 ‘해결’ 기준에 도달했는지 판단할 수 없다는 점이다. 다음에는 제3자 재현, 전문가의 행 단위 심사, 그리고 결과가 블랙홀 물리 논문에 실려 나온 뒤의 인용과 논쟁을 지켜봐야 한다.
출처
https://www.anthropic.com/research/claude-black-hole-physics
Hacker News 논의: https://news.ycombinator.com/item?id=50563148