프레임워크

Agent 메모리 시스템은 암기 시험만 본다, 변화 추적은 아무도 안 본다

StateMemBench는 234개의 멀티 세션 시나리오로 기존 Agent 메모리 벤치마크의 한계를 드러냈다. 현재 벤치마크들은 단순한 recall(재현) 능력만 측정할 뿐, 실제로 더 어려운 상태 추적(state tracking) 능력은 평가하지 않고 있다는 점을 지적한다.

글자 크기

Agent 메모리 시스템은 암기 시험만 본다, 변화 추적은 아무도 안 본다

Agent 메모리 능력 평가라는 작업은 시작한 지 거의 2년이 됐다. LoCoMo, MSC, MemGPT 같은 주요 benchmark 설계를 살펴보면, 대부분이 QA 쌍, 정보 추출, 대화 검색이다. "기억할 수 있는가"를 곧 "메모리 시스템이 좋은가"와 동일시한다.

어떤 사실이 세 번 수정됐다면, 메모리에는 어느 버전이 남아있어야 할까? 현재 benchmark는 이 질문을 한 적이 없다. 현실에서는 이런 일이 매일 벌어진다. 사용자가 먼저 deadline을 금요일로 바꾸고, 다시 다음 주 수요일로 바꾼다. 그러면 Agent가 다음에 대답할 때는 다음 주 수요일을 말해야지, 금요일이니 처음에 말한 월요일도 아니다.

최근 arXiv에 올라온 StateMemBench 논문이 정확히 이 지점을 파고든다. 234개의 멀티 세션 시나리오를 구성했고, 핵심 측정 대상은 하나, 상태 추적(state tracking)이다.


현재 Agent 메모리 benchmark는 무엇을 하고 있나

주요 benchmark를 정리하면 다음과 같다.

  • LoCoMo: 수십 라운드에 걸친 긴 대화에서, 초반에 언급된 세부 사항을 묻는 long-context QA
  • MSC (Multi-Session Chat): 세션 간 검색, Agent가 이전 세션의 관련 정보를 찾을 수 있는지 측정
  • MemGPT / MemoryBank 평가: 정보 추출 + 검색 정확률

문제는 어디에 있나? 이 benchmark들에는 사실은 정적(static)이라는 암묵적 가정이 깔려 있다. QA 쌍은 변하지 않고, "사용자가 X라고 말했다"는 X 그대로, 절대 뒤집히지 않는다.

현실에서 Agent는 계속 변하는 세계를 다뤄야 한다. 사용자가 마음을 바꾸고, 상위 API가 새 데이터를 반환하고, 사용자 선호가 시간에 따라 흐른다. Agent가 3주 전에 사용자가 말한 "저는 Gmail 써요"를 지금까지 그대로 기억하고 있다가, 오늘 사용자가 "Proton으로 바꿨어"라고 한다면, 3주 전 "Gmail"은 dirty data다.

recall해서 꺼내오는 순간 이미 오답이다.


StateMemBench의 핵심 질문: 상태가 변할 때 메모리는 어떻게 하나

StateMemBench의 출발점은 매우 직관적이다. 긴 상호작용 속에서 Agent가 끊임없이 진화하는 사실, 제약, 결정을 추적하는 능력을 테스트한다. 논문 원문 표현은 "track the evolving state of the world".

시나리오는 이렇게 설계됐다.

  1. 여러 세션에 걸쳐 진행
  2. 동일한 사실이 서로 다른 세션에서 여러 번 수정됨
  3. 최종 질문은 반드시 현재 상태를 반영해야지, 이미 대체된 옛 버전을 반영하면 안 됨

논문에 나온 구체적 예시다 (의역).

Session 1: 사용자가 프로젝트 deadline이 6월 1일이라고 말함
Session 2: 6월 5일(금요일)로 변경
Session 3: 6월 11일(다음 주 수요일)로 변경
Session 4: "deadline이 언제예요?" 라고 질문
정답: 6월 11일

간단해 보이냐? 하지만 현재 RAG 시스템은 아마도 여기서 바로 무너진다. 세 정보가 모두 retrieve되고, LLM은 세 버전을 받아본다. 어떤 게 최신이냐? timestamp가 없으면 결국 prompt에 "최신 것을 고르세요" 같은 문장을 넣는 데서 끝난다.

이 방식은 애초에 신뢰할 수 없다. LLM은 긴 context에서 "어느 것이 최신인지" 판단을 자주 틀린다. 특히 세 버전이 모두 그럴듯하게 들릴 때 더 심리를 안한다.


234개 시나리오 안에 뭐가 들어있나

StateMemBench는 234개의 멀티 세션 시나리오를 포함한다 (논문 초록 원문: "a benchmark of 234 multi-session scenarios"). 두 가지 핵심 차원이 있다.

1. 멀티 세션 (multi-session)

단일 대화 한 번으로 끝나는 게 아니라 여러 세션을 가른다. 각 세션 사이에는 간격이 있을 수 있고, 실제 사용 패턴을 흉내낸다. 사용자가 월요일에 한 번, 수요일에 한 번, 다음 주 월요일에 다시 한 번.

이건 메모리 시스템이 프로세스를 넘어, 시간을 넘어 영속화돼야 한다는 뜻이다. Mem0, Letta 같은 프레임워크가 이 레이어를 작업 중이지만, 기존 평가에서는 "세션 간 상태 드리프트"를 진지하게 다루지 않았다.

2. 다중 턴 수정 (multi-turn revision)

동일한 사실이 서로 다른 세션에서 반복해서 수정된다. 이게 가장 어려운 부분이며, 메모리 시스템에 다음을 요구한다.

  • 쓰기 시점: 새 정보가 기존 정보와 모순임을 감지
  • 읽기 시점: 최신 버전을 선택, 이전 버전을 버림

이 두 가지를 vector retrieval이 잘하지 못한다. vector retrieval은 유사도 매칭이지, 시계열 관리가 아니다. "deadline"이라고 물어보면 deadline 관련 항목 세 개가 다 반환되고, 유사도 순서로 정렬되지만, 누가 더 최신인지는 who knows다.


왜 이 문제는 지금까지 방치됐나

공학적 게으름 때문이다.

recall 류 평가는 점수 매기기가 쉽다. "사용자 이름이 뭐냐"는 질문에 답이 맞으면 맞고, 틀리면 틀려서, 자동화 스크립트로批量 평가가 가능하다. state tracking 류 평가는 timestamp, 버전 비교, 충돌 감지가 필요해서, 라벨링 비용이 한 차원 더 비싸다.

게다가 대부분의 Agent 프레임워크 memory layer는 본질적으로 그냥 RAG다. 텍스트를 chunk로 자르고 → embedding하고 → vector store에 저장하고 → 조회할 때 top-k를 가져온다. 이 아키텍처는 태어난 첫날부터 버전 관리를 고려하지 않았다. benchmark 고치는 것보다 아키텍처 고치는 게 훨씬 어렵기 때문에, 모두가 recall부터 손댔다.

그런데 recall을 잘한다고 진짜로 유용한 건 아니다. "3주 전 구버전"을 영원히 recall하는 Agent는 "까먹은" 것보다 더 위험하다. 사용자는 Agent가 기억한다고 믿지만, 사실은 틀린 걸 기억하는 셈이다.


진짜 어려운 문제는 저장이 아니라 버전 관리다

관점을 바꿔보자. 기억 ≠ 저장, 기억 = 시계열 데이터베이스.

비유가 아니라 실제로 그렇다. Agent의 memory layer가 갖춰야 할 능력은 데이터베이스와 똑같다.

  • MVCC (다중 버전 동시성 제어): 같은 사실에 대해 여러 버전을 유지하고, timestamp 기준으로 최신을 읽음
  • Event sourcing: "현재 상태"를 저장하지 않고, "발생한 모든 이벤트"를 저장해서 필요할 때 재구성
  • CRDT (충돌 없는 복제 데이터 타입): 여러 세션에서 동시 쓰기가 일어나도 자동으로 충돌 해결
  • Git commit history: 모든 기억 변경이 하나의 commit이고, 임의 버전을 checkout 가능

왜 prompt에 "어느 게 새로운지" LLM이 알아서 판단하라고 단순히 맡길 수 없나? 이유는 다음과 같다.

  1. 긴 context에서 LLM의 시계열 판단은 신뢰할 수 없다. 특히 여러 버전의 정보 밀도가 비슷할 때 더 심리를 안한다.
  2. Prompt는 soft constraint지 hard guarantee가 아니다. 모델을 바꾸거나, prompt를 바꾸거나, context window가 잘리면 결과가 달라진다.
  3. 비용이 높다. 매번 retrieve할 때마다 전체 히스토리를 context에 넣고 LLM이 고르게 하면 token이 타버린다.

제대로 된 접근은 버전 관리를 저장 레이어로 끌어올리는 것이다. 예를 들면 다음과 같다.

# 개념 예시, 실제 코드는 아님
class VersionedMemory:
    def write(self, key, value):
        """쓰기 시 자동으로 timestamp를 찍고, 이전 버전은 유지"""
        ts = datetime.now()
        self.store.append(MemoryEntry(key, value, ts))

    def read(self, key):
        """읽기 시 가장 유사한 버전이 아니라 최신 버전을 반환"""
        candidates = self.store.query(key)
        return max(candidates, key=lambda e: e.timestamp)

    def read_at(self, key, t):
        """특정 시점의 상태를 읽음. 감사 및 롤백에 유용"""
        candidates = self.store.query(key)
        return max((e for e in candidates if e.timestamp <= t),
                   key=lambda e: e.timestamp, default=None)

이런 설계에서는 상태 추적이 저장 레이어의 기본 능력이 되고, LLM이 prompt에서 "어느 버전이 최신인지 추론"하는 데 의존하지 않게 된다.


다음 단계: 상태 추적을 일등 시민으로

앞으로 Agent 프레임워크가 memory layer를 설계할 때, retrieval만 쌓지 말고 state tracking을 직접 고려하길 바란다.

참고할 만한 엔지니어링 관행은 다음과 같다.

  • Git의 commit history: 모든 기억 변경이 하나의 commit이고, diff, checkout, blame 가능
  • 데이터베이스의 MVCC: 읽기와 쓰기가 충돌하지 않고, snapshot 단위로 읽음
  • Event sourcing: 최종 상태를 저장하지 않고 이벤트 스트림을 저장하며, 상태는 이벤트를 통해 projection됨

LangGraph, CrewAI, AutoGen 같은 프레임워크의 현재 memory 추상화는 아직 "messages + vector store" 수준에 머물러 있다. 충분한가? 데모 만들기엔 충분하다. "사용자가 일곱 번 마음을 바꿨다"는 실제 프로덕션 시나리오에는 부족하다.

StateMemBench의 234개 시나리오는 종착점이 아니라 출발점이다. 이 benchmark가 프레임워크로 하여금 memory layer에 시간 차원 인덱스를 한 층 얹게 만들 수 있다면, 이 논문의 가치는 benchmark 그 자체를 넘어선다.


참고: StateMemBench, arXiv 논문 (https://arxiv.org/abs/2608.19652)

출처: https://arxiv.org/abs/2608.19652