프레임워크

Sleep 프레임워크: LLM 지속 학습의 기억 손실 줄이는 법

Google Research의 Sleep framework는 새 데이터 학습과 기존 지식 보존을 하나의 과정에 결합해 LLM의 catastrophic forgetting을 줄이려는 접근이다. 장기 실행 Agent에 적용할 때의 핵심은 실시간 처리와 오프라인 메모리 정리를 분리하는 것이다.

글자 크기

대규모 모델은 새로운 과제를 배운 뒤 이전 능력이 떨어질 수 있다. Google Research의 Sleep framework는 새로운 데이터를 배우면서도 기존 지식을 보존하는 지속 학습 방식을 연구한다. 장기 실행 Agent에도 이 개념을 적용해 메모리 정리를 지연시키는 구조를 설계할 수 있다.

LLM 지속 학습에는 현실적인 문제가 있다. 새 과제를 학습한 결과 기존 과제에서의 성능이 눈에 띄게 저하될 수 있다는 점이다.

Google Research는 최근 Sleep framework를 공개했다. 이 프레임워크는 대규모 언어 모델이 지속 학습을 수행하는 동안 지식을 보존하는 방법을 다룬다. 인간이 잠을 자면서 기억을 강화하는 메커니즘에서 영감을 얻었다. 모델은 새로운 데이터를 계속 입력받는 동시에 이미 습득한 지식을 보존하는 방향으로 강화된다.

Sleep는 단순히 훈련 횟수만 늘리는 방식이 아니다. 지속 학습의 핵심 장애물인 catastrophic forgetting을 해결하려는 시도다.

관련 연구 논문은 arXiv 프리프로인트 2606.03979로 공개됐다. 이 논문이 Hacker News 메인 페이지에 올라갔을 때는 89 points를 받았고, 페이지에는 6개의 댓글이 달렸다.

핵심은 Sleep의 가치가 파라미터 업데이트 방식에만 있는 게 아니라, Agent의 ‘실시간 실행’과 ‘오프라인 정리’를 분리한다는 점에 있을 수 있다는 것이다.

원자료:

Sleep는 같은 데이터를 다시 학습하는 방식이 아니다

일반적인 fine-tuning은 대체로 직관적인 절차를 따른다. 학습 데이터를 늘리고 epoch을 몇 번 더 돌리는 것이다.

하지만 지속 학습에서는 이런 방식이 모델을 새로운 데이터 분포 쪽으로 끌어가기 쉽다. 새 과제 데이터의 비중이 커질수록 기존 지식을 덮어쓰는 효과가 강해진다. 학습 loss는 계속 낮아져도 기존 과제 성능은 함께 악화될 수 있다.

Sleep framework는 다른 접근을 취한다.

인간의 수면 중 일어나는 기억 강화 메커니즘을 빌리렸다. 모델이 새로운 데이터를 계속 입력받을 때 새 정보만 최적화하지 않고 기존 지식의 보존도 함께 강화한다.

핵심적인 차이는 두 가지다.

  1. 새 데이터 학습과 기존 지식 보존이 하나의 훈련 과정에 포함된다.
  2. 기존 지식의 유지가 부가적인 제약이 아니라 업데이트 목표의 일부가 된다.

따라서 Sleep는 ‘기존 모델 + 새 데이터 + 더 많은 훈련 횟수’를 단순히 합친 방식이 아니다. 새 경험을 흡수하면서 다른 지식 표현이 덮어써지기 쉬운 부분을 다시 활성화하는 병렬 기억 강화 메커니즘에 가깝다.

다만 블로그 요약에는 모든 구현 세부사항이 나와 있지 않다. 기억 강화를 replay, 파라미터 제약, loss 가중치 또는 조합 전략으로 구현하는지는 논문과 코드를 확인해야 한다. 엔지니어링 팀에는 이 점이 중요하다. 아이디어가 명확하다는 것과 곧바로 운영 시스템에 적용할 수 있다는 것은 별개의 문제다.

진짜 상대는 catastrophic forgetting이다

지속 학습의 성능은 새 과제 점수만으로 판단할 수 없다.

더 완전한 평가를 위해서는 다음 항목을 함께 기록해야 한다.

  • 새 과제를 배운 후 새 과제 성능이 어떤가
  • 기존 과제 성능이 얼마나 하락했는가
  • 학습 순서를 바꿨을 때 결과가 안정적인가
  • 학습 데이터가 계속 누적돼도 모델에 사용 가능한 용량이 남아 있는가

마지막 항목이 특히 중요하다. 모델 파라미터에는 한계가 있다. 새로운 경험을 발견할 때마다 파라미터에 직접 기록하고 정리 메커니즘이 없다면 언젠가는 지식이 덮어써진다.

RAG와 장기 컨텍스트에 기대가 높아지는 이유도 여기에 있다. 상태를 외부 저장소에 두면 이론적으로 파라미터 수준의 forgetting을 줄일 수 있기 때문이다. 하지만 외부 메모리는 공짜가 아니다.

Agent는 도구 호출 기록, 사용자 피드백, 작업 결과와 실패 로그를 계속 쌓는다. 이를 컨텍스트에 전부 넣으면 context window, 비용, retrieval noise 문제가 발생한다. 요약만 남기면 중요한 세부가 사라질 수 있다. 모든 경험을 실시간으로 기록해도 지식이 안정적으로 보존된다는 보장은 없다.

Sleep는 다른 관점을 제공한다. forgetting은 모델 용량만의 문제가 아니라 기억을 강화하는 시점이 잘못되었을 때도 발생한다.

시스템이 실행 틈에 경험을 능동적으로 정리할 수 있다면, 모델을 업데이트할 때 매번 걸러지지 않은 새 데이터의 연속에 직접 노출될 필요가 없다.

어떤 replay buffer를 사용했는지만 비교하는 것보다 장기 운영 시스템의 본질에 더 가깝다. Agent의 중요 지표는 특정 benchmark에서 최종 점수가 몇 점 올랐는지가 아니라, 몇 주 동안 실행한 뒤에도 몇 주 전에 형성한 유효한 작업 방식을 기억하고 있는가이기 때문이다.

Agent 메모리에도 ‘수면기’가 필요하다

장기 실행 Agent는 세 단계로 나눌 수 있다.

실시간 실행

Agent는 작업을 받고, 도구를 호출하고, RAG 결과를 읽은 뒤 행동을 생성한다.

이 단계에서는 낮은 latency가 중요하다. 모든 의사결정마다 모델을 다시 훈련하는 것은 현실적이지 않다. 더 합리적인 방법은 새로운 경험을 로그, event stream 또는 episodic memory에 기록하는 것이다.

오프라인 정리

시스템은 여유 시간을 활용해 경험의 중복 제거, 병합, 요약과 충돌 탐지를 수행한다.

예를 들어 같은 사용자가 서로 다른 날짜에 서로 모순되는 두 가지 선호도를 제시했다. Agent는 두 기록을 똑같이 유효한 것으로 취급하지 않아야 한다. 정리 단계에서는 이들을 timestamp, source, confidence가 포함된 하나의 상태로 통합할 수 있다.

기억 강화

정리된 결과는 다시 모델 파라미터, retrieval index 또는 장기 메모리 계층으로 들어간다. 필요하면 기존 샘플을 다시 참조해 새 업데이트가 이전 능력을 훼손하지 않았는지 확인한다.

이는 Agent 버전의 ‘수면 주기’와 유사하다.

아래는 개념을 보여주는 예시 코드다. Sleep framework의 공식 구현은 아니며, 실시간 실행과 오프라인 기억 강화 사이의 엔지니어링 경계를 표현한다.

from dataclasses import dataclass
from datetime import datetime, timezone
import json
from pathlib import Path

@dataclass
class Experience:
    task: str
    outcome: str
    created_at: str

class MemoryStore:
    def __init__(self, path: str = "memories.jsonl"):
        self.path = Path(path)

    def append(self, item: Experience) -> None:
        with self.path.open("a", encoding="utf-8") as f:
            f.write(json.dumps(item.__dict__, ensure_ascii=False) + "\n")

    def read(self) -> list[Experience]:
        if not self.path.exists():
            return []
        rows = []
        with self.path.open(encoding="utf-8") as f:
            for line in f:
                if line.strip():
                    rows.append(Experience(**json.loads(line)))
        return rows

def consolidate(items: list[Experience]) -> list[Experience]:
    latest_by_task = {}
    for item in sorted(items, key=lambda x: x.created_at):
        latest_by_task[item.task] = item
    return list(latest_by_task.values())

if __name__ == "__main__":
    store = MemoryStore()
    store.append(Experience(
        task="生成周报",
        outcome="使用 Python 汇总 CSV",
        created_at=datetime.now(timezone.utc).isoformat(),
    ))
    durable = consolidate(store.read())
    print(json.dumps([x.__dict__ for x in durable], ensure_ascii=False, indent=2))

이 예제는 한 가지 작업만 수행한다. 같은 작업에 대해 가장 최근 상태를 유지한다. 운영 환경에서는 실패 경험, 충돌하는 사실, 출처 신뢰도, 중요한 이벤트가 요약에 덮이지 않도록 하는 문제도 처리해야 한다.

Sleep의 연구 의미가 여기에 있다. 지속 학습은 종종 ‘데이터를 계속 먹이는 것’으로 이해되기 쉽다. Agent 메모리 엔지니어링은 여기에 일시 정지, 정리와 강화의 리듬까지 설계해야 한다는 점을 보여준다.

‘수면기’가 ‘백그라운드 훈련’보다 정확한 표현인 이유도 여기에 있다. 백그라운드 훈련은 계산 동작만 설명한다. 수면기는 시스템이 새 과제를 좇는 일을 잠시 멈추고 어떤 지식을 보존, 병합하거나 가중치를 낮출지 검토한다는 점을 강조한다.

논문과 제품 사이에는 세 단계의 검증이 남았다

arXiv 번호 2606.03979로 논문이 공개된 만큼 연구는 검증과 재현이 가능한 단계에 들어갔다. 그러나 논문 공개만으로 운영 환경에 적합하다는 뜻은 아니다.

최소한 세 단계의 검증이 더 필요하다.

1. 과제 변경

어떤 방법이 특정 유형의 질의응답이나 특정 생성 과제에서만 효과가 있다면, 일반적인 지속 학습 문제를 해결한 것인지 특정 데이터 분포에 대한 최적화 기법인지를 구분하기 어렵다.

분류, 질의응답, 코드 생성, 도구 호출 등 서로 다른 과제를 포함하고 작업 순서에 따른 차이도 확인해야 한다. 순서가 달라지면 안정성 차이가 뚜렷하게 나타나는 경우가 많다.

2. 모델 규모 변경

작은 모델의 ‘기존 지식’은 주로 소수의 파라미터와 샘플 기억에 존재할 수 있다. 큰 모델은 컨텍스트의 in-context learning에 의존해 과제를 수행할 수도 있다.

Sleep가 이 차이를 넘어설 수 있는지는 블로그 요약만으로 판단할 수 없다. 1B, 7B, 70B 등 서로 다른 규모와 instruction tuning 적용 여부도 함께 살펴봐야 한다.

3. 장기 과제 실행

짧은 benchmark는 보통 몇 차례 과제 전환만 수행한다. 실제 Agent는 몇 주 동안 연속으로 실행되며 수천 번의 상호작용을 축적할 수 있다.

장기 검증에서는 최소한 다음 항목을 기록해야 한다.

  • 기존 과제의 평균 성능
  • 평균 점수뿐 아니라 가장 저조한 과제의 성능
  • 저장, retrieval과 훈련 비용
  • 메모리 충돌을 복구하는 데 걸리는 시간
  • 지속 학습으로 인해 안전 정책이 우회될 가능성

마지막 항목은 종종 간과된다. 모델이 신뢰할 수 없는 텍스트, 도구 출력과 사용자 콘텐츠를 계속 흡수한다면 파라미터 업데이트가 공격 범위를 넓힐 수도 있다. 기억 강화는 ‘더 많이 기억하는 것’만 추구할 게 아니라 어떤 내용이 애초에 장기 메모리에 들어오면 안 되는지도 고려해야 한다.

Hacker News 페이지가 89 points와 6개의 댓글을 얻었다는 점은 개발자 관심도가 상당히 높다는 뜻이다. 하지만 커뮤니티의 인기도는 재현 결과를 대신할 수 없다.

편집자 관점

Sleep의 중요성은 지속 학습에 새롭고 듣기 좋은 이름을 붙인 데 있지 않다. ‘기억 강화’를 다시 시스템 설계로 되돌려 놓았다는 데 있다. 새 지식을 배우는 것과 기존 지식을 보존하는 것은 본래 서로 충돌하는 두 목표가 아니어야 한다.

장기 실행 Agent에 주는 시사성이 특히 기대된다. Agent의 메모리 업데이트는 실시간일수록 좋다고 볼 필요가 없다. 파라미터를 자주 덮어쓰면 forgetting, 오염과 rollback 비용을 계속 감당해야 한다. 먼저 온라인에서 축적하고, 오프라인에서 정리한 뒤, 마지막으로 분할해 기억을 강화하는 방식이 관리 가능한 시스템에 더 가깝다.

이번 연구가 과거 지속 학습 연구와 다른 점은 개별 모델에서 완전한 메모리 주기로 시야가 넓어졌다는 것이다. ‘모델이 새 과제를 배울 수 있는가’뿐 아니라 ‘시스템이 장기运行时에도 기존 능력을 유지할 수 있는가’를 묻는다.

다만现阶段의 연구 결과를 곧바로 운영 환경의 해법으로 볼 수는 없다. 과제, 모델 규모와 실행 기간에 따른 안정성은 여전히 재현이 필요하며, 메모리 오염과 안전 경계도 ‘기억 강화’ 메커니즘만으로 자동으로 사라지지 않는다. Sleep는 검증할 가치가 있는 기술 방향에 더 가깝지, 바로 배포할 수 있는 ‘기억 불멸의 기술’은 아니다.

출처: https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/