Dwarkesh 최신 에피소드에서 서로 완전히 다른 시각을 가진 두 연구자가 한 테이블에 앉았다. METR 전研究员 John Beren과 연구자 Charlie, 주제는 재귀적 자기개변경(recursive self-improvement, RSi)이다.
Hacker News에서 64점, 댓글 53개. 이례적으로 큰 숫자는 아니지만, 댓글의 질은 점수 이상이었다. Beren은 METR出身인데, METR는 최첨단 모델의 능력 평가와 "현실 작업 소요 시간" 벤치마크를 전문으로 하는 기관이다. 그래서 "AI가 실제로 어디까지 할 수 있는가"에 대한 1차 데이터를 갖고 있다. Charlie 쪽 낙관은 출처가 다르다.
양쪽이 싸우는 대상 자체가 다르다. 이건 이 토론 전체에서 가장 자주 오독되는 지점이다.
이번 대담에서 실제로 싸우는 것이 뭔가
핵심 쟁점은 세 가지다:
- AI가 최소한의 인간 엔지니어 개입만으로 스스로를 계속 강화할 수 있는가?
- 그렇다면 그 곡선은 부드러운가, 아니면 어느 순간 갑자기 점프하는가?
- "AI가 차세대 AI를 직접 만든다"는 종착점에 우리가 몇 년 정도 남았는가?
Beren과 Charlie의 분기점은 주로 2번과 3번에 있다. Beren은 평가 벤치마크를 근거로, 현행 시스템이 실제 장기(long-horizon) 작업에서 보이는 실패 패턴이 놀라울 정도로 안정적이라고 본다. 같은 유형의 실수를 반복하고,所谓한 "자기개변경"은 단일 지점 최적화에 불과하지 시스템 차원의 도약은 아니라는 입장이다. Charlie는 연산량 곡선과 최근 모델들의 코딩·연구 보조 작업에서의 향상을 외삽하면서, 자동화 연구 엔지니어링(Automated Research Engineering, AE)이 이미 임계점에 근접했다고 보고 있다.
Beren 쪽 비관론의 근거
Beren은 METR에서 "현실 작업" 앞에서의 에이전트 처참한 실패를 너무 많이 봤다. METR의 HCAST(실제 소프트웨어 엔지니어링 작업) 벤치마크에서, 최첨단 모델이 1~2시간짜리 작업의 절반도 채 완수하지 못한다. 실패 패턴은 단순 미스가 아니라 구조적이다.
- 컨텍스트 창이 길어지면 일을 잊고 같은 곳을 맴돈다
- 도구 호출은 그럴듯해 보여도 실제 실행의 의미가 자주 빗나간다
- 복잡한 작업에서 한 단계가 틀리면 이후가 전부 무너지고, 스스로를 교정하지 못한다
평가자의 시선에서 보면 이는 모델의 "자기 교정" 능력이 규모와 함께 비례해 자라지 않았다는 뜻이다. GPT-4 → GPT-5 같은 도약에서 능력은 분명히 늘었지만, 그 성장 곡선은 "오류율 감소"보다 "커버리지 확대"에 가깝다.
Beren이 품고 있는 함의: 재귀적 자기개변경에는 최소한 닫힌 루프에서 안정적인 교정 메커니즘이 필요하다. 지금 모델에는 그 닫힌 루프가 없다. 차라리 감독이 꼭 필요한 매우 유능한 인턴에 가깝다.
Charlie의 반론
Charlie 쪽 낙관의 근거는 결이 다르다.
- 연산량 곡선은 여전히 지수적으로 오르고 있고, 추론(inference) 쪽 비용 하락 속도가 학습(training) 쪽보다 빠르다
- SWE-bench Verified, Terminal-Bench 같은 코딩 벤치마크에서 최근 모델의 향상이 뚜렷하다
- "자동화 연구 엔지니어링"이 이미 문헌 리뷰, ML 코드 수정, 소규모 실험 실행을 해낸다
Charlie의 핵심 주장은 이렇다. RSi에는 AGI급 능력이 필요 없고, 모델이 "코드 작성 → 실험 실행 → 결과 확인 → 코드 수정" 루프를 안정적으로 돌릴 수 있으면 된다. 좁은 영역(ML 논문 재현, 특정 유형의 알고리즘 최적화)에서는 이 루프가 이미 어느 정도 돌아가고 있다.
그의 어조로 옮기면 이렇다. "당신이 기준을 너무 높게 잡고 있다. RSi는 모델이 실존주의를 사유할 필요까지는 없고, 보상 신호(reward signal)가 분명한 환경에서 반복만 잘하면 된다."
둘 다 외면한 중간지대
양쪽이 가장 격하게 싸우는 곳은 사실 정의다. Beren이 머릿속에 그리는 것은 "인간 엔지니어 도움 없이 AI가 스스로를 강화하는 것"이고, Charlie가 떠올리는 것은 "특정 영역에서 AI가 이미 엔드 투 엔드로 자기 개선 루프를 돌리는 것". 이 둘은 같은 질문이 아니다.
이미 돌아가고 있는 중간지대 사례 몇 가지:
- AlphaEvolve(DeepMind): 알고리즘 발견 같은 좁은 과제에서 모델 + 진화 탐색 조합이 인간 설계보다 나은 결과를 이미 뽑아낸다. 이것을 RSi로 볼 것인가? 그렇게 본다면 이미 일어난 일이다.
- AutoML 파이프라인: AutoGluon, FLAML 같은 도구는 어찌 보면 "기계가 스스로 모델을 고르고 하이퍼파라미터를 튜닝"하는 구조다. LLM은 필요 없지만 RSi의 원형으로 볼 수 있다.
- 코드 에이전트가 자기 테스트를 작성: Devin, Cursor 같은 도구는 일부 워크플로에서 "코드 작성 → 테스트 실행 → 실패 확인 → 코드 수정"까지 가능하지만, 모든 단계 뒤에 인간 감독이 붙어 있다.
나의 판단: RSi는 0/1 스위치가 아니라 그라데이션이다. 우리는 이미 좁은 시나리오에서 부분적 RSi를 구현했다. 다만 "재귀적 자기개변경"이라 부르는 사람이 없을 뿐이다. 부르는 순간 AGI 임박 선언이 되니까.
HN 댓글에서 건져 올릴 만한 것들
댓글 영역의 분기점은 팟캐스트보다 좁지만 몇 가지 시선은 기록해 둘 가치가 있다.
- 하나의 고득점 댓글: RLHF/RL의 학습 환경 자체가 RSi의 원형일 수 있다고 지적했다. 보상 모델은 인간이 정의하지만, 정책 최적화는 기계가 직접 수행한다. "인간이 reward signal을 준다"를 외부 입력으로 친다면 RLHF는 이미 반자동화된 연구 엔지니어링이다.
- 다른 댓글은 정보이론 관점에서 접근했다. 재귀적 자기개변경의 병목은 지능이 아니라 정보 채널이다. 모델이 자기 행동 데이터(trace, log, reward)로부터 읽어낼 수 있는 양이 유한하기 때문에, 개선 속도는 그 채널에 의해 천장 정해진다.
- 또 다른 코멘트는 RSi와 "AI가 AI 연구를 가속한다"는 별개의 이야기라고 짚었다. 전자는 모델이 자기 가중치를 직접 수정하는 것이고, 후자는 모델이 인간 연구자를 더 빠르게 더 좋은 모델을 만들도록 돕는 것이다. 후자는 이미 일어나고 있다(많은 ML 논문의 실험 섹션이 AI 보조로 작성된다). 전자는 아직 그림자도 없다.
팟캐스트 원문: https://www.dwarkesh.com/p/john-beren-charlie
편집자 소고
이 토론이 2026년 현장 종사자에게 진짜로 유용한 지점은 따로 있다. RSi의 타임라인은 예측 문제가 아니라 엔지니어링 문제다.
질문해야 할 것은 "AI가 재귀적으로 자기개변경을 할 것인가"가 아니라 "어느 계층에서, 누가 트리거해서 일어나는가"다. 분해하면 다음과 같다.
- 계층: 가중치 계층(자기 파라미터를 직접 수정), 코드 계층(자기를 구현한 코드를 수정), 환경 계층(자기를 학습시키는 reward를 수정) — 각 계층의 병목은 완전히 다르다.
- 트리거 주체: 인간 연구자인가, AI 에이전트인가, 닫힌 루프 파이프라인인가? Beren과 Charlie는 서로 다른 트리거를 기본값으로 깔고 들어가기 때문에 영원히 만나지 못한다.
- 평가 기준: "개선"을 어떻게 측정할 것인가? SWE-bench인가, 내부 벤치마크인가, 실제 사용자 연구인가? 지표가 다르면 결론도 완전히 반대로 갈 수 있다.
다소 반(反)합의적인 판단: RSi에 관한 대부분의 논쟁은 사실 정의를 놓고 싸우는 것이지 사실을 놓고 싸우는 것이 아니다. 앞으로 "X는 AI가 3년 안에 자기개변경 가능하다고 하고, Y는 10년 안에 불가능하다고 한다"는 류의 글을 보면, 먼저 어느 계층에 대해 이야기하는지부터 물어볼 일이다.
불확실한 지점: AlphaEvolve 같은 중간지대를 "진짜" 재귀적 자기개변경으로 볼 것인가에 대해 인정된 정의가 없다. DeepMind가 다음 배포에서 AlphaEvolve를 "first practical recursive self-improvement"라고 부르는 순간, 여론판은 즉시 재편될 것이다. 이 사건은 예측할 수 없다.