Memorilla는 LLM이 장기 기억을 매번 요청에 이어 붙이지 않고 내부의 검색 가능한 의미 표현에서 찾아 활용하도록 설계됐다. AI Agent의 핵심은 더 많은 정보를 저장하는 데 있지 않고, 필요한 기억을 안정적으로 기록하고 수정하며 삭제할 수 있느냐에 있다. 현재 공개된 자료는 이 핵심 지표를 밝히지 않으므로, 여기서는 기술 방향과 검증 과제만 분석한다.
Memorilla의 내부 기억 메커니즘, 더 똑똑해진 Agent가 될까
Memorilla의 접근 방식은 비교적 선명하다. 장기 기억을 모든 요청에 삽입하는 대신, 모델이 내부의 검색 가능한 의미 표현에서 기억을 호출하도록 만드는 것이다.
이 연구의 제목은 “Latent Semantic Memory for LLMs”이며 논문 번호는 2610.21375이다. 원문은 arXiv에서 확인할 수 있다.
이 연구는 AI Agent와 직접 관련된다. Agent는 연속적인 작업을 수행해야 하므로, 매 턴마다 처음부터 컨텍스트를 재구성할 수는 없다. 사용자 이름, 작업 환경 설정, 과거 결정, 완료된 단계 등은 계속 저장하고 검색하며 갱신해야 한다.
Memorilla는 이 절차를 모델 내부로 옮기려 한다.
외부 검색에서 내부 기억으로
전통적인 RAG는 먼저 질문을 벡터로 인코딩한 뒤, 벡터 데이터베이스에서 관련 텍스트 청크를 찾고, 최종적으로 검색 결과를 prompt에 넣는다.
질문 → 벡터화 → 벡터 데이터베이스 검색 → 텍스트 조각 → 컨텍스트에 삽입 → LLM 생성
RAG의 장점은 분명하다.
- 메모리를 추가하거나 삭제할 수 있다.
- 데이터가 외부 시스템에 남는다.
- 검색 결과의 출처를 추적할 수 있다.
- 모델을 교체해도 메모리 저장소를 재사용할 수 있다.
하지만 고정 비용도 존재한다. 호출마다 별도의 검색이 필요하고, 검색된 내용은 context window를 차지한다. 문서 분할, embedding 품질, rerank 설정에 따라서도 결과가 달라진다.
Memorilla가 바꾸는 것은 메모리가 저장되는 위치다. 논문 초록은 LLM을 위한 잠재 의미 기억 메커니즘을 제안한다. 모델이 외부 컨텍스트나 전통적인 검색 증강 생성에만 의존하지 않고 내부의 검색 가능한 의미 표현을 활용하는 방식이다.
여기서 말하는 ‘잠재 공간’은 일반 텍스트가 아니며 전통적인 embedding 공간과 곧바로 동일시해서도 안 된다.
전통적인 RAG의 embedding은 보통 별도의 encoder가 생성한다. 텍스트가 벡터로 변환되고, 이 벡터는 유사한 문서를 찾는 데 사용된다. Memorilla가 지향하는 것은 모델 자체의 잠재 의미 공간이다. 검색 가능한 표현이 모델 내부 연산과 더 직접적으로 연결되는 방식이다.
이 변화는 Agent의 컨텍스트 구성 방식에도 영향을 준다.
기존에는 애플리케이션 계층이 메모리를 조회하고, prompt를 조립하고, 모델을 호출했다. 이제는 적어도 논문이 상상하는 수준에서 모델이 메모리 표현, 기록, 호출에 참여할 수 있다.
기억을 어떻게 저장하고 호출하는가
논문 제목, 초록, 연구 방향을 기준으로 보면 핵심은 세 가지로 나뉜다.
1. 기억 기록
모델이 보관할 가치가 있는 정보를 만나면 그 내용을 내부 의미 상태에 인코딩해야 한다.
이는 데이터베이스에 레코드를 하나 저장하는 것과는 다르다. 일반적인 벡터 데이터베이스는 외부 텍스트와 embedding을 보관하지만, 내부 기억은 모델 파라미터 또는 모델이 관리하는 잠재 표현에 영향을 줄 수 있다.
구현이 파라미터 갱신에 의존한다면 여러 난관이 따른다.
- 새 정보를 기록했을 때 기존 능력이 덮어써지는 문제는 없는가.
- 같은 사실이 서로 충돌할 때 어느 버전을 유지해야 하는가.
- 일회성 행동과 장기적인 환경 설정은 어떻게 구분하는가.
- 기억을 삭제한 뒤 실제로 제거할 수 있는가.
지식 증류도 모델의 동작을 바꾸지만, 보통 장기 기억 검색을 위해 설계되지는 않는다. 증류의 일반적인 목적은 대형 모델이나 교사 모델의 분포를 더 작은 모델로 옮긴 뒤 특정 작업을 대상으로 추가 학습하는 것이다.
Memorilla가 다루려는 것은 런타임 기억 문제다. 단순히 파라미터를 압축하는 것이 아니라, 이후 추론 과정에서 이미 기록된 내용을 모델이 다시 찾아낼 수 있게 하는 것이 목표다.
2. 잠재 공간 검색
외부 RAG는 텍스트를 명시적으로 가져온다. 내부 기억 검색은 ‘모델이 이미 형성한 의미 상태에서 관련 부분을 찾는 것’에 더 가깝다.
다음 과정으로 이해할 수 있다.
현재 요청 → 검색 신호 생성 → 내부 의미 기억 탐색 → 관련 정보 복원 → 추론 계속
이 과정이 성립한다면 Agent는 매번 전체 대화 기록을 prompt에 다시 넣을 필요가 없다. 모델이 현재 질문에 따라 소수의 관련 기억만 선택할 수 있다.
다만 현재 공개된 자료에는 Memorilla의 구체적인 검색 알고리즘, 기록 전략, 모델 규모, 학습 방식이 나와 있지 않다. 따라서 논문 제목을 공개되고 재현 가능한 구현이 이미 완성됐다는 뜻으로 받아들여서는 안 된다.
RAG와의 차이를 단순히 ‘내부가 외부보다advanced하다’로 이해해서는 안 된다. 두 방식은 서로 다른 수준의 정보를 저장한다.
- RAG는 명시적인 서류 캐비닛에 가깝다. 내용을 읽을 수 있고, 감사할 수 있으며, 갱신할 수 있다.
- Memorilla는 모델이 형성한 내부 연상에 가깝다. 더 간결할 수 있지만, 설명과 삭제, 권한 통제는 더 어려워진다.
3. 기억 갱신과 망각
장기 기억에서 가장 어려운 것은 첫 기록이 아니라 이후 발생하는 충돌이다.
사용자가 8월에는 Agent에게 A 데이터베이스를 사용하도록 알려졌고, 9월에는 B 데이터베이스로 변경했다고 하자. 시스템은 9월 정보가 8월 정보를 대체한다는 점을 알아야 하며, 두 기록을 모두 검색해서는 안 된다.
다음 정보도 서로 구분해야 한다.
- 안정적인 사실: 회사 주소.
- 사용자 환경 설정: 답변을 한국어로 작성.
- 임시 상태: 이번 작업 완료.
- 만료된 정보: 어제까지는 접근 가능했던 특정 API.
전통적인 RAG는 타임스탬프, 버전 번호, 메타데이터 필터로 이러한 문제를 관리할 수 있다. 내부 의미 기억에 명확한 기록, 덮어쓰기, 삭제 메커니즘이 없다면,所谓 ‘더 많이 기억하기’가 실제로는 충돌만 늘리는 결과로 이어질 수 있다.
Agent의 컨텍스트 비용은 어떻게 달라질까
AI Agent에서 내부 기억의 가장 매력적인 이점은 컨텍스트 조립 비용을 줄일 가능성이다.
장시간 실행되는 Agent의 대화는 수만 턴에 이를 수도 있다. 모든 기록을 보관하는 것은 현실적으로 불가능하다. RAG는 먼저 검색한 뒤 잘라내지만, 여전히 다음과 같은 제약이 있다.
- 검색과 rerank가 추론 지연을 늘린다.
- 벡터 데이터베이스와 원문이 저장 공간을 차지한다.
- 검색 결과 자체가 context window를 차지한다.
- 관련 없는 기억이 추론을 방해할 수 있다.
- 텍스트를 매번 다시 읽으면 연산이 반복된다.
내부 기억이 잠재 표현을 직접 활용한다면 명시적인 텍스트 왕복을 줄일 수 있다. 모델에 필요한 것은 전체 채팅 기록이 아니라 현재 작업과 관련된 소수의 정보다.
다음 세 가지 작업에서 특히 큰 가치가 있을 수 있다.
긴 대화. 모델이 같은 배경 정보를 반복해서 받아들이지 않아도 된다.
장기 작업. Agent가 세션을 넘어 목표, 제약 조건, 단계별 상태를 유지할 수 있다.
반복적인 지식 주입. 동일한 업무 규칙을 매 턴의 prompt에 반복할 필요가 없다.
하지만 비용이凭空 사라지는 것은 아니다. prompt token에서 학습, 저장, 추론 단계로 비용이 이동할 가능성이 있다.
향후 최소한 다음 항목을 측정해야 한다.
- 기억을 한 번 기록하는 데 필요한 연산량.
- 기억을 한 번 검색할 때 증가하는 지연 시간.
- 잠재 표현이 차지하는 저장 공간.
- 기억 용량을 늘렸을 때 검색 정확도가 어떻게 변하는지.
- 잘못 기록된 기억을 탐지하고 되돌릴 수 있는지.
현재 공개된 자료에는 Memorilla의 구체적인 benchmark 결과, 모델 규모, 검색 지연 시간, 비교 실험이 없다. 따라서 비용 변화에 대한 가능성은 논의할 수 있지만, 이미 RAG보다 우수하다고 단정할 수는 없다.
또 하나의 현실적인 문제는 감사 가능성이다.
내부 기억 하나가 답변에 영향을 주었다면 개발자는 다음 질문에 답할 수 있어야 한다.
이 기억은 언제 기록되었는가?
어떤 대화에서 왔는가?
왜 이번 검색에서 선택되었는가?
삭제하거나 수정할 수 있는가?
고객 지원, 의료, 기업 업무에서는 이런 기능이 부가 기능이 아니다. 기억이 모델 내부로 들어갈수록 설명 가능성과 데이터 거버넌스의 중요성은 더 커진다.
28점이 검증된 결론을 의미하지는 않는다
이 연구는 Hacker News 메인 페이지에 올라가 28점과 댓글 1개를 얻었다.
이는 일부 개발자가 모델 내부 기억이라는 접근 방식에关注하기 시작했다는 뜻이지, 성능이 입증됐다는 의미는 아니다.
28점은 제한된 커뮤니티에서 나타난 즉각적인 관심도를 보여준다. 댓글 1개는 공개 논의가 매우 적다는 뜻이다. 수백 개의 논의와 여러 재현 실험이 있는 프로젝트와 비교하면 이 수치만으로 ‘검증된 솔루션’이라는 결론을 지지할 수 없다.
논문 번호 2610.21375와 Hacker News 페이지의 데이터는 원천 확인에 도움이 되지만, 읽을 때 여전히 세 종류의 증거를 구분해야 한다.
- 논문 초록이 어떤 메커니즘을 제안했는가.
- 실험이 명시적인 작업에서 재현 가능한 결과를 냈는가.
- 다른 팀이 다른 모델과 작업으로 일관된 결론을 얻을 수 있는가.
현재 제공된 정보는 첫 번째 범주와 매우 제한적인 외부 관심 신호만 포함한다.
향후 다음 데이터를 중점적으로 확인해야 한다.
- 동일한 예산에서의 top-k RAG 비교.
- 긴 대화와 지속 작업에서의 사실 유지율.
- 잘못된 기억, 충돌하는 기억, 망각에 대한 테스트.
- 기록과 검색에 필요한 token, 지연 시간, 저장 비용.
- 코드, 가중치, 전체 실험 설정의 공개 여부.
이 데이터가 공개되지 않는 한 논의는 ‘주목할 만한 방향’이라는 수준에 머물러야 하며, 결론을 미리 확정해서는 안 된다.
편집자 생각
Memorilla가 주목할 만한 이유는 모델이 ‘더 많이 기억하게 된다’는 점에 그치지 않고, 기억이 외부 시스템에서 모델 내부로 이동하기 시작했다는 데 있다. 전통적인 RAG는 읽을 수 있는 텍스트를 검색해 developers가 출처를 확인하고 버전을 덮어쓰며 직접 삭제할 수 있다. Memorilla는 잠재 의미 표현을 사용하려고 하므로 Agent의 컨텍스트는 더 간결해질 수 있지만, 오류의 원인을 찾기는 어려워진다. 제 판단으로는 다음 경쟁 단계에서는 답변 정확도뿐 아니라 사실, 환경 설정, 임시 상태, 만료된 정보를 구분할 수 있는 기억 거버넌스가 중요해질 것이다. 기억 용량이 커질수록 거버넌스의 빈틈이 위험해진다.
이번 사례는 기존 모델 기억 연구와 달랐다. 논의의 초점이 ‘외부 지식 저장소’에서 ‘모델이 자신의 기억 상태를 유지할 수 있는가’로 이동했다. 하지만 현재는 논문 초록과 Hacker News의 28점, 댓글 1개만 공개되어 있을 뿐, benchmark, 모델 규모, 지연 시간, 전체 비교 실험은 없다. 내부 기억이 RAG보다 우월한지는 재현 가능한 데이터가 공개될 때까지 판단을 미뤄야 한다.