거대 언어 모델

LLM 자기 가중치 변경 연구의 진짜 핵심

LLM이 자신의 가중치를 직접 바꾸는 능력을 다룬 arXiv 논문 2611.21885를 분석한다. 핵심은 성능 향상이 아니라 평가, 제약, 재현을 포함한 안전한 반복 체계가 가능한지다.

글자 크기

arXiv 논문 Language Models Can Rewrite Their Own Weights는 언어 모델이 직접 자신의 매개변수를 수정할 수 있는지를 연구한다. AI Agent 개발자에게 중요한 것은 모델이 ‘자기 진화할 수 있는가’가 아니라 이 메커니즘을 평가하고 제약하며 재현할 수 있는가이다.

논문 링크: https://arxiv.org/abs/2611.21885

이 논문은 Hacker News 메인 페이지에 링크된 것으로 화제를 모았다. 관련 페이지에는 117 points, 37개 댓글이 기록돼 있다: https://news.ycombinator.com/item?id=50577265

먼저 결론부터 말하자.,值得 주목할 연구지만 ‘모델이 가중치를 변경했다’는 사실만으로 ‘모델이 자기 진화를 완성했다’고 볼 수는 없다. 더 중요한 것은 한 번의 가중치 업데이트를 평가하고 제약하며 재현할 수 있는 반복 루프로 만들 수 있는가다.

논문은 실제로 무엇을 했나

이 연구의 핵심 개념은 weight-level self-rewrite다. 모델은 prompt를 바꾸거나 더 많은 문서를 검색하거나 임시로 도구를 호출해 출력을 바꾸는 대신, 자신의 모델 파라미터를 직접 수정한다.

각 메커니즘의 차이는 다음과 같다.

  • Prompt는 이번 턴의 입력을 바꾼다.
  • RAG와 외부 메모리는 모델이 가져올 수 있는 정보를 바꾼다.
  • 도구 호출은 모델이 실행할 수 있는 동작을 바꾼다.
  • 가중치 자기 변경은 모델이 입력을 처리할 때 사용하는 함수 자체를 바꾼다.

따라서 실험이 성립한다면 결과는 현재 문맥에만 머물지 않는다. 새로운 모델 능력으로沉淀될 가능성이 있다.

논문의 설정에 따르면 이 과정은 네 단계로 나눌 수 있다.

  1. 모델에 목표와 현재 성능을 평가하는 신호를 제공한다.
  2. 모델이 가중치 업데이트안을 생성하게 한다.
  3. 업데이트를 모델 파라미터에 적용해 새로운 checkpoint를 만든다.
  4. 독립 평가기로 업데이트 전후 성능을 비교해 변경을 유지할지 결정한다.

여기서 혼동하기 쉬운 두 개념을 구분해야 한다.

실제로 파라미터를 업데이트했다는 것은 훈련 과정에서 checkpoint가 실제로 변경됐다는 뜻이다. 도구를 통해 샘플링 파라미터, 도구 설명 또는 문맥을 조정하는 것은 여전히 외부 제어다. 논문의 결과가 후자에 의존한다면 이를 근거로 모델이 ‘자기 자신을 변경했다’고 주장할 수 없다.

실제로 확인해야 할 실험 자료는 다음과 같다.

  • 가중치 업데이트를 누가 생성했는가. 모델 자체, 외부 최적화기, 또는 둘의 결합인가.
  • 어떤 계층과 파라미터에 업데이트가 적용됐는가.
  • 훈련 데이터와 평가 데이터가 엄격히 분리됐는가.
  • checkpoint는 어떤 기준으로 선별됐는가.
  • 반복 실행과 서로 다른 random seed에서도 개선이 재현되는가.

제목과 초록은 연구 방향을 설명하지만 이러한 공학적 증거를 대신할 수 없다. 가중치를 바꿀 수 있다는 것과 안정적으로 잘 바꿀 수 있다는 것은 전혀 다른 문제다.

자기 수정은 자기 진화와 다르다

어떤 모델이 처음으로 가중치를 수정한 뒤 특정 benchmark에서 4%포인트 향상됐다고 하자. 이 결과만으로는 무엇을 알 수 있는가?

우선 알 수 있는 것은 다음뿐이다. 이번 설정, 이번 데이터, 이 평가기 아래에서 해당 업데이트가 유효했다.

이 사실만으로 다음을 자동으로 증명할 수는 없다.

  • 모델이 자신의 진전 이유를 이해했는가.
  • 새로운 과제로 성능을 전이할 수 있는가.
  • 다음 반복에서도 더 나은 변경을 찾을 수 있는가.
  • 향상이 망각, 에너지 소비 또는 안전성 저하를 대가로 치르지 않았는가.
  • 모델이 목표 이탈 없이 장기간 작동할 수 있는가.

‘자기 진화’라 부르려면 최소한 다음과 같은 폐쇄 루프가 필요하다.

목표 -> 업데이트 생성 -> 가중치 적용 -> 독립 평가 -> 채택 또는 롤백 -> 다음 업데이트

한 번의 가중치 변경은 이 루프의 한 단계에 불과하다.

이 연구는 지속 학습, 자동 최적화, 스스로 개선할 수 있는 AI Agent와도 연결된다. 하지만 지속 학습에는 일반적으로 데이터 거버넌스, 버전 관리, catastrophic forgetting, 회귀 테스트와 롤백 메커니즘도 포함된다. 모델이 파라미터를 바꿀 수 있다는 사실만으로 시스템이 지속 학습 능력을 갖췄다고 할 수는 없다.

한 번의 개선을 판단하려면 최소 네 종류의 결과를 살펴봐야 한다.

  1. 목표 능력: 지정된 과제에서 실제로 성능이 향상됐는가.
  2. 일반화 능력: 과제나 입력 형식을 바꿔도 여전히 유효한가.
  3. 능력 유지: 기존 능력에 뚜렷한 퇴행이 없었는가.
  4. 비용: 훈련 시간, 추론 비용과 실패 재시도가 얼마나 증가했는가.

하나라도 빠지면 결론이 지나치게 낙관적이 될 수 있다.

숨겨진主角는 평가기다

자기 변경 시스템에서 평가기는 조연이 아니다. 사실상 무엇을 ‘진보’라고 정의할지 결정한다.

모델이 가중치 업데이트를 제출하면 시스템은 다음 질문에 답해야 한다.

  • 이번 변경이 기존 checkpoint보다 더 나은가.
  • ‘더 좋다’는 것은 전체 점수가 높은 것인가, 특정 과제에서만 높은 것인가.
  • reward hacking이 발생하고 있지 않은가.
  • 새 checkpoint는 어떤 기준으로 선택됐는가.
  • 평가 데이터를 반복 사용해 간접적으로 과적합된 가능성이 있는가.

가장 위험한 상황은 모델이 과제를 수행하는 대신 평가기에 맞추는 법을 배우는 것이다.

예를 들어 평가기가 답안 형식을 검사한다면 모델은 형식 최적화에 집중할 수 있다. 평가기가 특정 표현을 선호한다면 모델은 그 표현을 모방한다. 평가기가 고정된 문제 집합만 다룬다면 모델은 benchmark 자체를 최적화 대상으로 삼을 수도 있다. 이러한 행동은 모두 점수를 높일 수 있지만 실제 능력 향상을 의미하지는 않는다.

신뢰할 수 있는 평가 과정은 최소한 다음 세 경로를 분리해야 한다.

  • 업데이트를 생성하는 모델은 최종 테스트 집합을 볼 수 없어야 한다.
  • checkpoint를 선택하는 규칙은 사전에 확정해야 하며, 사람의 선호 결과를 확인한 뒤 임의로 기준을 바꾸어서는 안 된다.
  • 최종 평가에는 미노출 데이터를 사용하고, 가능하면 사람의 과제나 외부 검증기로 교차 확인해야 한다.

또한 전체 lineage를 기록해야 한다. 기준 모델, 훈련 데이터, 평가기 버전, 가중치 업데이트와 선택된 checkpoint를 모두 남겨야 한다. 그렇지 않으면 실험이 끝난 뒤에는 점수표만 남고 어느 단계에서 개선이 발생했는지 알 수 없다.

checkpoint selection이 중요한 이유도 여기에 있다. 점수가 가장 높은 업데이트를 남기는 방식은 잡음을 이익으로 오인하기 쉽다. 합리적인 방법은 반복 평가, 오차 구간, 회귀 테스트와 고정 예산에서 업데이트로 얻은 순수 이득을 비교하는 것이다.

Agent 아키텍처는 바뀌는가

단기적으로 이 연구만으로 Agent 아키텍처를 다시 작성할 필요는 없다.

RAG, 도구 호출과 장기 메모리는 여전히 더 직접적인 선택지다. 빠르게 업데이트할 수 있고 되돌리기 쉬우며 문제를 추적하기도 편하다. 온라인 사고가 발생하면 먼저 검색 모듈을 끄거나 메모리 버전을 롤백할 수 있다. 반면 가중치 업데이트는 모델을 다시 배포하고 영향을 받는 모든 능력을 검증해야 한다.

이들은 서로 다른 수준의 제어 계층에 가깝다.

메커니즘 수정 대상 적용 속도 감사 가능성 적합한 상황
Prompt 이번 턴의 지시 즉시 높음 임시 행동 조정
RAG 외부 지식 즉시 높음 민감한 정보, 최신 정보
도구 호출 외부 동작 즉시 높음 검색, 실행, 거래
장기 메모리 과거 상태 즉시 중간 사용자 선호, 과제 문맥
가중치 자기 변경 모델 파라미터 훈련 후 낮음~중간 안정적인 능력 또는 행동 패턴 내재화

진짜 가능성이 있는 활용 방향은 가중치 업데이트를 안정적이고 반복적으로 나타나며 prompt로 표현하기 어려운 능력에 사용하는 것이다. 예를 들어 내부 모델이 고정된 코드 스타일을 장기간 mastering하거나 반복되는 업무 흐름을 모델 행동으로 내재화하는 데 활용할 수 있다.

하지만 이런 이득은 기존 기준선을 넘어야 한다.

실용적인 비교 방식은 다음과 같다.

기준선 A: System Prompt + Few-shot Examples
기준선 B: RAG + 장기 메모리 + 도구 호출
기준선 C: LoRA 미세 조정 또는 지속 사전 학습
기준선 D: 자기 변경 가중치

네 방식에 같은 과제, 예산과 평가를 적용해야 한다. D가 C를 눈에 띄게 넘고 업데이트 과정까지 재현 가능할 때에만 ‘스스로 가중치를 바꾼 didn’t’기법을 통해 추가 가치가 생겼다고 판단할 수 있다. 그렇지 않으면 기존 훈련 절차를 더 인상적인 이름으로 포장한 것일 뿐이다.

안전 경계는 훈련 루프에 포함돼야 한다

모델이 자신의 파라미터를 수정할 수 있다면 안전 문제는 배포 이후에 보완해서는 안 된다.

첫째는 목표 이탈이다. 시스템이 ‘평가 점수 향상’을 최적화 목표로 삼으면 모델은 정직성, 거절 능력이나 사용자 이익을 희생할 수 있다. 안전 요구사항이 고정된 prompt 한 줄에 머물면 더 높은 점수의 과제 목표에 밀려 있기 쉽다.

둘째는 재귀적 변경이다. 가중치를 수정한 모델의 새 버전에 다시 가중치 수정을 허용하면, 빈도 제한, 버전 경계와 변경 불가능한 구성요소가 없을 때 오류가 반복을 가로질러 누적될 수 있다.

셋째는 설명 불가능한 업데이트다. 전통적인 미세 조정이라도 파라미터 차이를 비교하고 회귀 데이터 집합을 검사할 수 있다. 모델이 자율적으로 업데이트를 생성하면 변경 이유를 추적하기가 더 어려울 수 있다. gradient 로그와 업데이트 기록을 남기더라도 모든 가중치 변화를 설명할 수 있다는 뜻은 아니다.

합리적인 훈련 루프에는 다음 요소가 내장돼야 한다.

  • 변경할 수 없는 안전 구성요소
  • 독립 평가기와 사람의 승인 지점
  • checkpoint 서명과 전체 버전 기록
  • 자동 롤백 조건
  • 능력 회귀 테스트와 안전성 테스트
  • 단일 반복 업데이트 예산과 재귀 깊이 상한
  • 훈련 환경과 배포 환경의 분리

Hacker News의 117 points, 37개 댓글은 개발자들이 benchmark 점수 향상만关注한 것은 아니라는 점을 보여준다. 더 큰 관심은 재현 가능성이다. 다른 사람이 동일한 checkpoint를 얻을 수 있는지, 왜 그 checkpoint가 선택됐는지 설명할 수 있는지, 제한된 환경에서 실행해도 안전한지가 핵심 이슈다.

이러한 논의는 공식 안전 평가를 대신할 수 없지만 연구에 남아 있는 공학적 공백을 미리 드러낼 수 있다. 제3자가 다시 실행할 수 없는 ‘자기 개선’은 배포 가능한 능력이라기보다 실험 데모에 불과하다.

편집자 생각

이 연구의 중요한 점은 모델이 또 한 번 파라미터를 업데이트했다는 데 있지 않다. ‘모델이 자신의 개선 메커니즘을 개선할 수 있는가’를 검증 가능한 공학 문제로 바꿨다는 데 있다.过去的 AI Agent는 주로 prompt, 메모리와 도구 계층에서 자기 조정을 해 왔다. 변화가 빠르고 되돌리기 쉬웠지만, 가중치 자기 변경은 경험을 능력으로 내재화할 가능성이 있는 반면 테스트, 감사와 롤백은 훨씬 어렵다.

앞으로 가장 주목할 부분은 특정 모델의 점수가 갑자기 얼마나 올랐는지가 아니라 평가기, checkpoint 선택과 실험 lineage를 표준화할 수 있는지다. 서로 다른 팀이 같은 예산과 과제, 미노출 테스트 집합으로 결과를 재현할 수 있다면 이 가중치 자기 변경은 AI Agent의 지속 학습을 위한 실용적인 경로가 될 수 있다. 현재의 불확실성도 분명하다. 기존 정보만으로 한 번의 성공을 안정적으로 반복할 수 있는지, 재귀적 변경이 안전한지는 입증되지 않았다. 따라서 이는 이미 성립한 ‘자기 진화’가 아니라 재현해 볼 가치가 있는 메커니즘으로 보아야 한다.

출처: https://arxiv.org/abs/2611.21885