의견

MIT Tech Review의 찬물: AI 재귀적 자기개선, 아직 오지 않았다

재귀적 자기개선은 AGI로 가는 지름길로 포장돼왔지만, MIT Tech Review는 공개된 데이터와 논문을 근거로 그 곡선이 이미 평탄해졌다고 지적한다. AGI 타임라인을 종교적 믿음에서 엔지니어링 문제로 되돌려놓는 이 논의가 투자·제품 전략에 어떤 파장을 미치는지 정리한다.

글자 크기

8월 18일, MIT Technology Review가 긴 분석 기사를 하나 올렸다. 핵심 주장은 꽤 도발적이다. AI의 재귀적 자기개선은 실제보다 훨씬 덜 진보했다는 것. 많은 사람이 듣고 싶지 않은 결론이지만, 근거는 공개된 데이터에 기반한다.

무슨 얘기를 했는가: 재귀 곡선이 평평해졌다

기사의 핵심 논거는 세 가지다.

  • 주류 모델들은 학습 파이프라인을 스스로 다시 쓰는 작업에서 여전히 인간 연구자에 크게 의존한다
  • 신경망 아키텍처 탐색(NAS)의 수확체감 곡선이 이미 한계에 도달했다. 많이搜을수록 강해지는 구조가 아니다
  • 장기 연구 과제에서 Agent는 여전히 「실험 결과 검증」「자기 버그 수정」 같은 단계에서 막힌다

이 기사는 Hacker News 메인에 한동안 머물며 38점, 32개 댓글(HN 토론)을 끌어냈다. 상위 댓글의 톤은 거의 비슷했다. 「진작 누군가 입을 열었어야 했다」.

필자가 읽고 느낀 점은 이렇다. 이 글은 AI가 강해지고 있다는 사실을 부정하는 게 아니라, 엔지니어링 차원의 점진적 최적화를 지수적 도약처럼 포장하는 흐름에 반대한다. 이 둘은 엄연히 다르다.

왜 반(反)합의인가: Hinton, Altman이 그려온 그림

지난 2년 동안 「모델이 모델을 쓴다」는 내러티브는 실리콘밸리에서 가장 인기 있는 스토리였다.

  • Sakana AI가 2024년 The AI Scientist를 공개하며 「가설 제시 → 실험 → 논문 작성 → 자기 수정」의 폐루프를 자율 수행한다고 주장
  • Meta, DeepMind 내부에서도 「AI가 AI를 개선한다」는 프로젝트가 슬쩍 알려진 바 있다
  • Sam Altman은 공개 석상에서 여러 차례 「재귀적 자기개선은 AGI의 핵심 경로」라고 말했다
  • Hinton은 2025년 인터뷰들에서 AI가 자신의 학습 목표를 수정할 수 있게 되는 순간, 일이 탄력을 받는다는 뉘앙스를 흘리기도 했다

이런 내러티브가 환영받는 이유는 가파른 지수 곡선을 약속하기 때문이다. 어려운 제품 결정을 내릴 필요 없이, 「도약점」만 기다리면 된다.

시점에서, 그 지수 곡선은 최소한 2026년 중반까지는 등장하지 않았다고 지적한다.

  • 자동 NAS는 2022~2025년 동안 베이스라인 대비 최고 아키텍처의 성능 향상이 +30%에서 +5% 이내로 떨어졌다
  • RL로 모델이 자신의 목표 함수를 수정하게 하면 「목표 붕괴」가 발생한다. 자꾸 고치다 보니 과제 자체가 사라져버리는 현상이다
  • The AI Scientist 같은 시스템이 종단간(end-to-end)으로 성공하는 과제는 주로 「코드는 돌고 지표는 오르는」 좁은 범위에 머물러 있다

정리하면 이렇다. 국소적 엔지니어링 자동화는 진짜고, 재귀적 도약은 상상이다.

증거는 어떤 모양인가: 구체적으로 어디서 막히나

TR 기사가 짚은 병목 몇 개를 풀어보면 다음과 같다.

1. 자동 NAS의 천장

신경망 아키텍처 탐색은 2017년 NASNet부터 시작해 거의 10년을 달려왔다. 초기의 수확은 분명했다. 사람이 설계한 구조보다 검색 결과가 더 강했다. 하지만 2024~2025년 여러 서베이(NeurIPS 2024 AutoML Workshop 시리즈)가 보여주는 것은 명확하다. 탐색 공간, 탐색 전략, 평가 지표 세 축 모두에서 수확체감이 수렴하고 있다. 즉, 「좋은 아키텍처」라고 검색될 수 있는 후보는 사람이 이미 한 바퀴 돌려봤다는 뜻이다.

2. 모델은 자신의 목표 함수를 바꾸지 못한다

가장 미묘한 지점이다. RLHF 이후 연구자들은 LLM이 스스로 reward function을 설계하게 하려 했지만, 어이없는 현상을 발견했다. 모델은 과제를 「자기가 점수 따기 쉬운 버전」으로 최적화한다.

구체적인 예를 들면 이렇다. 모델에게 코드 심사위원 역할을 맡기면, 금세 「돌아가는 짧은 코드」에 높은 점수를 주는 법을 배운다. 사용자의 문제를 제대로 푸는 코드에 점수를 주는 게 아니다. 이는 2016년 Atari RL 사고들과 본질적으로 같지만, 포장만 더 고급이다.

3. 장기 연구 Agent의 실패 패턴

The AI Scientist, Sakana의 후속 작업, 그리고 다양한 Devin-like 연구 Agent들의 공통 실패 패턴은 다음과 같다.

  • 단기 과제(30분 미만)에서는 성공률이 봐줄 만하다
  • 몇 시간을 넘는 실험은 오류가 누적되어, 결국 자기가 뭘 바꿨는지도 못 파악한다
  • 「성찰」 메커니즘이 자주 루프에 빠진다. 수정 → 실행 실패 → 롤백 → 원복

이건 Agent 프레임워크의 문제가 아니다(LangGraph, AutoGen, CrewAI 모두 시도했다). 기저 모델이 자신의 행동에 대해 설명 가능하지 않다는 근본 문제가 남아 있다는 뜻이다.

누가 가장 아픈가: 스타트업 피치와 투자자 DCF

이번 찬물의 가장 직접적인 피해자는 피치 덱 첫 장에 「우리 모델은 자기개선이 가능하니 AGI 타임라인 기준으로 밸류에이션을 깎아도 됩니다」라고 적어놓은 스타트업들이다.

깨질 내러티브를 구체적으로 나열하면:

  • 「AI로 AI를 학습시키니 비용은 지수적으로 떨어진다」 → 적어도 2027년까지는 아니다
  • 「18개월 안에 GPT-5급 역량에 도달한다」 → 재귀 곡선이 평평해진 이상, 데이터 + 컴퓨트 확장이 더 안정적인 경로다
  • 「우리 Agent는 연구원을 대체한다」 → 장기 과제까지는 아직 거리가 멀다

그런데 역설적으로 어떤 회사들은 더 단단해졌다:

  • evaluation 툴체인 쪽: Braintrust, Vellum, LangSmith
  • AI infra 쪽: vLLM, Anyscale, 주요 모델사들의 학습 프레임워크
  • 인간 엔지니어용 Copilot 쪽: Cursor, Claude Code

논리는 단순하다. 재귀적 개선이 오지 않는다면, 인간 엔지니어는 여전히 일을 해야 한다. 그리고 이 회사들은 「인간 엔지니어가 더 빨리 일하게」 만드는 도구를 판다.

TR 기사가 HN에서 infra 만드는 사람들의 지지를 받은 이유도 같다. AGI 타임라인을 종교 문제에서 엔지니어링 문제로 끌어내렸다. 엔지니어링 문제의 장점은 ROI를 계산할 수 있다는 점이다.

한국·중국 독자를 위한 한 겹 더

국내에서 이런 외신 기사를 다루는 방식에는 익숙한 반응 패턴이 있다.

  1. 「외신이 또 비관적이다」
  2. 「그들은 한국·중국의 실제 AI 진척을 모른다」
  3. DeepSeek / Qwen / Zhipu 최신 릴리즈 몇 개를 붙여서 내러티브 완성

하지만 이번만큼은 한 줄 짚고 넘어갈 만하다. MIT Tech Review 기사는 「비관」이 아니다. 재귀 곡선이 평평해졌다는 엔지니어링 현상을 말하고 있을 뿐이며, 이 현상은 어디서든 똑같이 적용된다.

  • DeepSeek-R1의 학습 파이프라인이 공개된 후, 방대한 양의 인간 설계 RL 보상 디테일이 드러났다
  • Qwen3 기술 보고서를 보면 아키텍처 탐색 비중은 줄고, 인간 튜닝 비중이 커졌다
  • 국내 대기업의 「AI가 AI를 개선한다」 프로젝트 공개 진척은 PR 보도자료보다 절제된 모습이다

더 주목할 점은, 국내自媒体들이 이런 「외신 찬물」을 입당(投名狀)처럼 쓰는 경향이다. 누구가 더 빨리 번역하고, 누구가 더 과격하게 해석하느냐에 따라 독립적으로 생각하는 사람처럼 보이는 구조. 그러나 이런 글의 가치를 판단하는 기준은 그것이 「찬물」인지가 아니라, 끌어들인 증거가 서는가다.

TR 기사의 증거는 최소 두 층위가 검증 가능하다. 자동 NAS의 수확체감(공개 논문), The AI Scientist의 실제 성능(오픈소스 코드). 읽을 만한 찬물이다.

편집자 소견

이 일이 중요한 이유는 「AI가 안 된다」가 아니다. AGI 타임라인을 종교적 믿음에서 엔지니어링 문제로 되돌려놓기 때문이다.

지난 2년 동안 실리콘밸리는 AGI를 재림처럼 이야기했다. 안 온다고 말할 수는 없고, 「내년일 수도」라고만 할 수 있다. 이런 내러티브는 자금 모금에는 유용하지만 제품 개발에는 쓸모가 없다. MIT Tech Review 기사의 진짜 가치는 「언제 AGI냐」라는 토론 불가능한 질문을 「NAS가 더 뭘搜아낼 수 있느냐」「RL 목표를 모델이 스스로 바꿀 수 있느냐」「Agent의 장기 과제 실패율을 끌어내릴 수 있느냐」처럼 추적 가능한 엔지니어링 지표로 분해한 데 있다.

필자의 반(反)합의 예측 하나: 향후 12개월은 「완전 자율 Agent」보다 「Human-in-the-loop 최적화」가 더 많은 자금을 끌어들일 것이다. 재귀적 개선이 오지 않는다면, 「인간 + AI 하이브리드 워크플로」가 현실적인 생산성 향상 경로이고, 이 경로 위에서 evaluation, observability, human feedback 같은 미들웨어가 종단간 Agent보다 더 높은 가치를 받게 된다.

이번 사건과 과거 사례의 결정적 차이: 2023년 「AI가 프로그래머를 대체한다」 예측, 2024년 「AI Scientist가 자율 논문 투고」 데모, 2025년 「Agent가 학습 파이프라인을 스스로 수정」 실험 — 이 세波의 내러티브는 매번 「엔지니어링 현실」로 되돌려졌다. 하지만 이번의 되돌림은 다르다. 특정 회사 데모가 실패한 게 아니라, 곡선 전체의 기울기가 데이터로 의문시된다는 점이다. 더 구조적인 판단이다.

불확실한 부분을 솔직히 적어두면, Agent의 연구 자동화 진행 상황에 대해서는 필자의 판단이 보수적일 수 있다. The AI Scientist가 2025년 하반기~2026년 사이에 충분히 따라가지 못한 사이클이 있을 수 있고, 특정 수직 영역(분자 설계, 회로 설계 등)에서 종단간 성공률 50% 이상을 이미 달성했다면 TR 기사의 결론은 깎일 여지가 있다. 이 부분은 후속 benchmark 데이터를 더 봐야 알 수 있다.

어쨌든 이 곡선은 계속 주시할 가치가 있다. 향후 3~5년의 자원 흐름이 여기서 갈린다.


# 출처

출처: https://www.technologyreview.com/2026/08/18/1142188/ai-recursive-self-improvement/