Agent 메모리 시스템은 암기 시험만 본다, 변화 추적은 아무도 안 본다
Agent 메모리 능력 평가라는 작업은 시작한 지 거의 2년이 됐다. LoCoMo, MSC, MemGPT 같은 주요 benchmark 설계를 살펴보면, 대부분이 QA 쌍, 정보 추출, 대화 검색이다. "기억할 수 있는가"를 곧 "메모리 시스템이 좋은가"와 동일시한다.
어떤 사실이 세 번 수정됐다면, 메모리에는 어느 버전이 남아있어야 할까? 현재 benchmark는 이 질문을 한 적이 없다. 현실에서는 이런 일이 매일 벌어진다. 사용자가 먼저 deadline을 금요일로 바꾸고, 다시 다음 주 수요일로 바꾼다. 그러면 Agent가 다음에 대답할 때는 다음 주 수요일을 말해야지, 금요일이니 처음에 말한 월요일도 아니다.
최근 arXiv에 올라온 StateMemBench 논문이 정확히 이 지점을 파고든다. 234개의 멀티 세션 시나리오를 구성했고, 핵심 측정 대상은 하나, 상태 추적(state tracking)이다.
현재 Agent 메모리 benchmark는 무엇을 하고 있나
주요 benchmark를 정리하면 다음과 같다.
- LoCoMo: 수십 라운드에 걸친 긴 대화에서, 초반에 언급된 세부 사항을 묻는 long-context QA
- MSC (Multi-Session Chat): 세션 간 검색, Agent가 이전 세션의 관련 정보를 찾을 수 있는지 측정
- MemGPT / MemoryBank 평가: 정보 추출 + 검색 정확률
문제는 어디에 있나? 이 benchmark들에는 사실은 정적(static)이라는 암묵적 가정이 깔려 있다. QA 쌍은 변하지 않고, "사용자가 X라고 말했다"는 X 그대로, 절대 뒤집히지 않는다.
현실에서 Agent는 계속 변하는 세계를 다뤄야 한다. 사용자가 마음을 바꾸고, 상위 API가 새 데이터를 반환하고, 사용자 선호가 시간에 따라 흐른다. Agent가 3주 전에 사용자가 말한 "저는 Gmail 써요"를 지금까지 그대로 기억하고 있다가, 오늘 사용자가 "Proton으로 바꿨어"라고 한다면, 3주 전 "Gmail"은 dirty data다.
recall해서 꺼내오는 순간 이미 오답이다.
StateMemBench의 핵심 질문: 상태가 변할 때 메모리는 어떻게 하나
StateMemBench의 출발점은 매우 직관적이다. 긴 상호작용 속에서 Agent가 끊임없이 진화하는 사실, 제약, 결정을 추적하는 능력을 테스트한다. 논문 원문 표현은 "track the evolving state of the world".
시나리오는 이렇게 설계됐다.
- 여러 세션에 걸쳐 진행
- 동일한 사실이 서로 다른 세션에서 여러 번 수정됨
- 최종 질문은 반드시 현재 상태를 반영해야지, 이미 대체된 옛 버전을 반영하면 안 됨
논문에 나온 구체적 예시다 (의역).
Session 1: 사용자가 프로젝트 deadline이 6월 1일이라고 말함
Session 2: 6월 5일(금요일)로 변경
Session 3: 6월 11일(다음 주 수요일)로 변경
Session 4: "deadline이 언제예요?" 라고 질문
정답: 6월 11일
간단해 보이냐? 하지만 현재 RAG 시스템은 아마도 여기서 바로 무너진다. 세 정보가 모두 retrieve되고, LLM은 세 버전을 받아본다. 어떤 게 최신이냐? timestamp가 없으면 결국 prompt에 "최신 것을 고르세요" 같은 문장을 넣는 데서 끝난다.
이 방식은 애초에 신뢰할 수 없다. LLM은 긴 context에서 "어느 것이 최신인지" 판단을 자주 틀린다. 특히 세 버전이 모두 그럴듯하게 들릴 때 더 심리를 안한다.
234개 시나리오 안에 뭐가 들어있나
StateMemBench는 234개의 멀티 세션 시나리오를 포함한다 (논문 초록 원문: "a benchmark of 234 multi-session scenarios"). 두 가지 핵심 차원이 있다.
1. 멀티 세션 (multi-session)
단일 대화 한 번으로 끝나는 게 아니라 여러 세션을 가른다. 각 세션 사이에는 간격이 있을 수 있고, 실제 사용 패턴을 흉내낸다. 사용자가 월요일에 한 번, 수요일에 한 번, 다음 주 월요일에 다시 한 번.
이건 메모리 시스템이 프로세스를 넘어, 시간을 넘어 영속화돼야 한다는 뜻이다. Mem0, Letta 같은 프레임워크가 이 레이어를 작업 중이지만, 기존 평가에서는 "세션 간 상태 드리프트"를 진지하게 다루지 않았다.
2. 다중 턴 수정 (multi-turn revision)
동일한 사실이 서로 다른 세션에서 반복해서 수정된다. 이게 가장 어려운 부분이며, 메모리 시스템에 다음을 요구한다.
- 쓰기 시점: 새 정보가 기존 정보와 모순임을 감지
- 읽기 시점: 최신 버전을 선택, 이전 버전을 버림
이 두 가지를 vector retrieval이 잘하지 못한다. vector retrieval은 유사도 매칭이지, 시계열 관리가 아니다. "deadline"이라고 물어보면 deadline 관련 항목 세 개가 다 반환되고, 유사도 순서로 정렬되지만, 누가 더 최신인지는 who knows다.
왜 이 문제는 지금까지 방치됐나
공학적 게으름 때문이다.
recall 류 평가는 점수 매기기가 쉽다. "사용자 이름이 뭐냐"는 질문에 답이 맞으면 맞고, 틀리면 틀려서, 자동화 스크립트로批量 평가가 가능하다. state tracking 류 평가는 timestamp, 버전 비교, 충돌 감지가 필요해서, 라벨링 비용이 한 차원 더 비싸다.
게다가 대부분의 Agent 프레임워크 memory layer는 본질적으로 그냥 RAG다. 텍스트를 chunk로 자르고 → embedding하고 → vector store에 저장하고 → 조회할 때 top-k를 가져온다. 이 아키텍처는 태어난 첫날부터 버전 관리를 고려하지 않았다. benchmark 고치는 것보다 아키텍처 고치는 게 훨씬 어렵기 때문에, 모두가 recall부터 손댔다.
그런데 recall을 잘한다고 진짜로 유용한 건 아니다. "3주 전 구버전"을 영원히 recall하는 Agent는 "까먹은" 것보다 더 위험하다. 사용자는 Agent가 기억한다고 믿지만, 사실은 틀린 걸 기억하는 셈이다.
진짜 어려운 문제는 저장이 아니라 버전 관리다
관점을 바꿔보자. 기억 ≠ 저장, 기억 = 시계열 데이터베이스.
비유가 아니라 실제로 그렇다. Agent의 memory layer가 갖춰야 할 능력은 데이터베이스와 똑같다.
- MVCC (다중 버전 동시성 제어): 같은 사실에 대해 여러 버전을 유지하고, timestamp 기준으로 최신을 읽음
- Event sourcing: "현재 상태"를 저장하지 않고, "발생한 모든 이벤트"를 저장해서 필요할 때 재구성
- CRDT (충돌 없는 복제 데이터 타입): 여러 세션에서 동시 쓰기가 일어나도 자동으로 충돌 해결
- Git commit history: 모든 기억 변경이 하나의 commit이고, 임의 버전을 checkout 가능
왜 prompt에 "어느 게 새로운지" LLM이 알아서 판단하라고 단순히 맡길 수 없나? 이유는 다음과 같다.
- 긴 context에서 LLM의 시계열 판단은 신뢰할 수 없다. 특히 여러 버전의 정보 밀도가 비슷할 때 더 심리를 안한다.
- Prompt는 soft constraint지 hard guarantee가 아니다. 모델을 바꾸거나, prompt를 바꾸거나, context window가 잘리면 결과가 달라진다.
- 비용이 높다. 매번 retrieve할 때마다 전체 히스토리를 context에 넣고 LLM이 고르게 하면 token이 타버린다.
제대로 된 접근은 버전 관리를 저장 레이어로 끌어올리는 것이다. 예를 들면 다음과 같다.
# 개념 예시, 실제 코드는 아님
class VersionedMemory:
def write(self, key, value):
"""쓰기 시 자동으로 timestamp를 찍고, 이전 버전은 유지"""
ts = datetime.now()
self.store.append(MemoryEntry(key, value, ts))
def read(self, key):
"""읽기 시 가장 유사한 버전이 아니라 최신 버전을 반환"""
candidates = self.store.query(key)
return max(candidates, key=lambda e: e.timestamp)
def read_at(self, key, t):
"""특정 시점의 상태를 읽음. 감사 및 롤백에 유용"""
candidates = self.store.query(key)
return max((e for e in candidates if e.timestamp <= t),
key=lambda e: e.timestamp, default=None)
이런 설계에서는 상태 추적이 저장 레이어의 기본 능력이 되고, LLM이 prompt에서 "어느 버전이 최신인지 추론"하는 데 의존하지 않게 된다.
다음 단계: 상태 추적을 일등 시민으로
앞으로 Agent 프레임워크가 memory layer를 설계할 때, retrieval만 쌓지 말고 state tracking을 직접 고려하길 바란다.
참고할 만한 엔지니어링 관행은 다음과 같다.
- Git의 commit history: 모든 기억 변경이 하나의 commit이고, diff, checkout, blame 가능
- 데이터베이스의 MVCC: 읽기와 쓰기가 충돌하지 않고, snapshot 단위로 읽음
- Event sourcing: 최종 상태를 저장하지 않고 이벤트 스트림을 저장하며, 상태는 이벤트를 통해 projection됨
LangGraph, CrewAI, AutoGen 같은 프레임워크의 현재 memory 추상화는 아직 "messages + vector store" 수준에 머물러 있다. 충분한가? 데모 만들기엔 충분하다. "사용자가 일곱 번 마음을 바꿨다"는 실제 프로덕션 시나리오에는 부족하다.
StateMemBench의 234개 시나리오는 종착점이 아니라 출발점이다. 이 benchmark가 프레임워크로 하여금 memory layer에 시간 차원 인덱스를 한 층 얹게 만들 수 있다면, 이 논문의 가치는 benchmark 그 자체를 넘어선다.
참고: StateMemBench, arXiv 논문 (https://arxiv.org/abs/2608.19652)