프레임워크

Sakana AI, 모델끼리 경쟁시키는 '집단 지능' 논문 — 솔로플레이 탈출구

거의 10년 동안 반복적 자기 개선(Recursive Self-Improvement)은 단일 모델이 스스로를 갱신하는 데 머물러 한계에 부딪혔다. Sakana AI가 8월 초 공개한 새 논문은 여러 모델이 제안·평가를 주고받으며 함께 진화하는 집단 지능 방식으로 그 한계를 우회한다.

글자 크기

거의 10년 동안 AI 업계에서 회자되어 온 개념이 있다. 반복적 자기 개선(Recursive Self-Improvement)이다. 모델이 스스로를 개선하고, 개선된 버전으로 다시 자신을 수정하는 식으로 이론상 무한히 상승한다는 꿈이다.

하지만 실제로 손대본 사람들이라면 이 길의 치명적인 약점을 잘 안다. 단일 모델은 갈수록 치우치고, 갈수록 시야가 좁아진다는 것이다.

8월 초, 도쿄의 '자연에서 영감을 받은 AI' 회사 Sakana AI가 Recursive self-improvement through collective intelligence라는 제목의 논문을 공개했다. 한 모델이 혼자 진화하는 대신, 여러 모델이 서로 경쟁하고, 서로 검증하며, 함께 개선해나가자는 방향을 제시한 것이다. Hacker News 메인에서 25점, 토론 2개(news.ycombinator.com)를 기록했는데, 화제성은 높지 않지만 시선은 기울일 만하다.

기존 접근법이 왜 막혔나

지난 몇 년간 반복적 자기 개선 시도는 대부분 이런 식이었다. 단일 LLM이 새 버전을 생성하고, 스스로 평가하고, 괜찮으면 교체한다. 그다음 루프. 그다음 루프.

이 길에는 구조적 병목이 두 가지 있다.

1. 단일 실패점. 한 모델이 선수이면서 동시에 심판이다. 그 모델의 능력 상한이 곧 좋고 나쁨을 분별하는 상한이다. 자기 눈에 안 들어오는 것은 당연히 고칠 수 없다. 처음에 잘못된 방향으로 가면 100번을 반복해도 잘못된 방향이다.

2. 능력 천장. 평가자가 아무리 정확해도, 새 안건을 생성하는 순간 자기 능력을 쓰고 있다. 자기자신과 싸워봐야 천장은 자기 자신이다. AlphaGo가 자기 자신과만 바둑을 둬서는 새로운 것을 배우지 못하는 것과 같은 이치다.

Anthropic, OpenAI 같은 대형 연구소에서 이 영역을 공개적으로 다룬 경우는 드물다. Anthropic의 Constitutional AI가 약간 걸쳐 있지만, 본질적으로는 단일 모델에 규칙을 더한 것에 불과하다. 진짜 '자기 개선 루프'를 시도한 곳은 소규모 연구사거나 toy 데모 수준이었다.

Sakana의 해법: 집단 지능 + 게임 이론

MASS(Multi-Agent Self-Improvement System, 논문에서 정의한 패러다임 약자)의 설계 핵심은 세 가지다.

  • 다중 모델 협업: 1개 LLM이 1개 LLM을 고치는 것이 아니라, N개 LLM이 서로 제안하고, 서로 비판하고, 서로 점수를 매긴다.
  • 상호 검증: 모든 후보 안건은 다른 모델들이 평가에 참여해 단일 평가의 편향을 피한다.
  • 게임 구조 기반 반복: 제안이 채택되면 그 제안자가 결과에 책임을 지고, 틀리면 그 제안자가 페널티를 받는다. 이 피드백이 다음 라운드에 직접 들어간다.

'collective'이 공학적으로 구현되는 방식은 이렇다. 매 개선 사이클마다 시스템이 여러 LLM 인스턴스를 띄워 같은 과제에 대한 개선 안건을 받는다. 그리고 별도의 모델 그룹이 점수를 매기고, 또 다른 모델 그룹이 통합·검증한다. 단순한 majority vote가 아니라 가중치와 역할이 분리된 구조다. 제안자, 평가자, 통합자가 각자 자기 일을 한다.

이걸 보면서 오래된 농담이 떠올랐다. 혼자 만든 제품의 품질은 개발자 본인의 인지 수준을 넘을 수 없다. 팀이 만드는 제품은 어떤 개인도 넘을 수 있다. Sakana의 논문은 본질적으로 이 철학—'팀 엔지니어링' 방식—을 AI 자기 진화에 그대로 들여놓은 것이다.

실험 구성과 결과

논문에서 사용한 과제는 toy 수준이 아니다. 관련 repo를 뒤져봤는데(논문 페이지에 링크가 있다), 최소한 다음 방향을 다뤘다.

  • 코드 과제: HumanEval류 벤치마크로 다중 모델 협업 개선안의 성능을 검증. 단일 모델 베이스라인 대비 향상을 보고.
  • 모델 병합 / 가중치 진화: 전통적인 model soup 단순 평균이 아니라 집단 게임 방식으로 여러 미세조정 모델의 가중치를 병합.
  • 다중 라운드 반복: 매 라운드마다 모델 그룹이 직전 라운드 산출물을 재평가하고, 통과하면 채택, 탈락하면 롤백.

구체적인 수치에 관해서는 한마디 해야 한다. HN 글에서 논의가 적었고, 정확한 수치는 PDF를 봐야 한다. 여기서 벤치마크 수치를 대신 지어내지는 않겠다.

다만 확실한 것은 하나 있다. 단일 폐쇄형 모델을 자기참조적으로 반복시키는 구조가 아니라, 다수의 오픈소스와 폐쇄형 모델을 섞어서 돌렸다는 점이다. 이것 자체가 논문이 보내는 공학적 신호다. 'collective'이려면 진짜 collective이 존재해야 한다.

왜 아무도 진지하게这条路를 안 걸었나

기술적으로 보면 이 길이 새롭지는 않다. 과거에 아무도 안 한 이유는 현실적이다.

1. 연산 비용. N개 모델을 협업시키는 한 번의 사이클은 단일 모델 사이클의 N배 토큰을 소모한다. GPT-4가 비쌌던 시절에는 이런 실험을 감당할 수가 없었다.

2. 조율 비용. 다중 모델의 입력·출력 포맷, 컨텍스트 길이, 툴 호출 규약을 다 맞춰야 한다. 몇 년 전만 해도 각사 API가 제각각이어서 통합 자체가体力活이었다.

3. 보상 신호 설계. 누가 누구에게 점수를 주고, 한 번 틀렸을 때 제안자·평가자 중 누구를 처벌할지, 이런 게임 규칙을 제대로 설계하기 어렵다. 잘못 만들면 그냥 '모델 여러 개가 떠들다가 제일 목소리 큰 놈 말대로 되는' 구조로 퇴화한다.

Sakana가 지금 이걸 할 수 있는 이유는 무엇인가. 두 가지 전제 조건이 갖춰졌기 때문이다.

  • 첫째, 다중 모델 API가 충분히 싸졌다(DeepSeek, Qwen 시리즈의 소형 모델도 호출 가능).
  • 둘째, Agent 프레임워크가 성숙했다(LangGraph, CrewAI, AutoGen 덕에 다중 모델 협업이 비교적 쉽게 구현됨).

말하자면 Sakana가 남들보다 똑똑해서가 아니라, 인프라가 이 시점에 도달했기 때문에 'collective'이라는 게 '이론상 가능'에서 '공학적으로 돌아간다'로 바뀐 것이다.

편집자 소견

이 논문에서 진짜 따져볼 지점은 기술 디테일이 아니라 표현하는 연구 미식의 전환이다.

지난 5년 동안 주류 AI 연구의 지향점은 '더 크게, 더 길게, 더 깊게'였다. 파라미터와 데이터를 쌓고, Scaling Law를 믿는 방향이다. Sakana의 논문은 정반대다. 한 모델을 끝까지 밀어붙이기보다, 단일 모델에 상한이 있음을 인정하고 조직적 방식으로 우회하자는 입장이다. 소프트웨어 공학의 진화 경로와 똑같다. 수십 년 전에는 '더 똑똑한 프로그래머가 더 좋은 코드를 쓴다'고 생각했지만, 나중에 알게 된 사실은 좋은 코드는 리뷰와 협업에서 나온다는 것이지 더 똑똑한 개인을 쌓아 올린다고 나오지 않는다는 점이다.

단기적으로 이 길에 조심스러운 낙관을 가지고 있다. 멀티 에이전트 오케스트레이션은 인상적인 연구 데모가 될 수도 있고, 잡음 가득한 마케팅용 종이 공학이 될 수도 있다. 진짜 잣대는 이거다. 이 패러다임이 정교하게 선별된 벤치마크에서 A/B 점수 몇 퍼센트를 깎는 수준을 넘어, 복잡한 실제 시스템을 안정적이고 재현 가능하게 개선할 수 있는가.

더 장기적으로 보기에 더 흥미로운 건 Agent 프레임워크 설계로의 역방향 피드백이다. '제안—평가—통합'이라는 역할 분담은 LangGraph, CrewAI 같은 프레임워크에 직접 흘러들어갈 패턴이다. Sakana의 실험이 어떤 협업 구조의 유효성을 정말로 입증한다면, 1년 안에 주류 Agent 프레임워크에서 해당 템플릿을 목격할 가능성이 높다.

가장 큰 불확실성은 여기다. 지금 이 논문을 진지하게 다루는 곳은 Sakana 하나뿐이다. 단일 돌파가 합의가 되려면 독립적인 재현이 따라와야 한다. 반년 안에 다른 연구소가 다른 모델 조합으로 비슷한 이득을 재현해낸다면 그때야 비로소 이 길이 자리를 잡은 것으로 볼 수 있다.


출처:

출처: https://pub.sakana.ai/mass/