Agent Memory는 무엇일까: 채팅 기록을 기억으로 착각하지 말 것
Anthropic은 Agent Memory를 구성하는 메커니즘을 해부했다. 컨텍스트 윈도우는 임시 저장 공간일 뿐이다. 진짜 어려운 부분은 기록, 갱신, 검색, 삭제다.
Agent Memory란 무엇인가: 채팅 기록을 기억으로 착각하지 말 것
Anthropic은 최근 연구 논문 The Components of Agent Memory를/demo/The Components of Agent Memory를 통해 Agent가 과거 정보를 지속적으로 축적하고 다시 활용하는 방법을 다뤘다. 이 논문이 Hacker News 메인에 올라갔을 때 97점과 55개의 댓글을 받았다. 토론 페이지는 여기서 확인할 수 있다: https://news.ycombinator.com/item?id=50402212
이 수치는 개발자들이 Agent Memory에 큰 관심을 두고 있음을 보여준다. 하지만 토론에서 가장 쉽게 혼동되는 지점은 채팅 기록과 메모리가 같다는 생각이다.
컨텍스트 윈도우를 수십만 token까지 늘려도 Agent가 장기 기억을 갖게 되는 것은 아니다. 그저 더 많은 과거 텍스트를 prompt에 다시 넣는 것일 뿐이다.
HN 메인에 오른 Agent Memory 논문
Anthropic의 The Components of Agent Memory는 Agent에 벡터 데이터베이스를 붙이는 방법을 다룬 튜토리얼이 아니다. Agent가 실제로 사용할 수 있는 기억을 형성하려면 어떤 구성 요소가 필요한지, 그리고 이 요소들이 완전한 생명주기를 어떻게 이루는지에 초점을 둔다.
이 논문은 과거 정보를 지속적으로 축적하고 다시 활용할 수 있는 Agent용 메모리 시스템을 구축하는 방법을 다룬다. 기존 자료들은 핵심 단계를 네 가지로 정리한다.
- 저장: 유지해야 할 정보를 컨텍스트 윈도우 밖에 저장한다.
- 구성: 정보를 어떤 구조로 저장할지 결정한다.
- 검색: 필요할 때 관련 항목을 찾는다.
- 갱신: 새로 추가되거나 변경되었거나 이미 유효하지 않은 정보를 처리한다.
Agent Memory를 단순히 ‘더 긴 채팅 기록’으로 이해해서는 안 되는 이유가 여기에 있다. 채팅 기록은 append-only 이벤트 스트림이다. 반면 메모리 시스템은 무엇을 저장할지, 어떻게 연결할지, 언제 다시 읽을지, 오래된 내용을 삭제할지 등을 판단해야 한다.
Anthropic 원문: https://www.anthropic.com/research/components-of-agent-memory
채팅 기록은 Agent Memory가 아니다
가장 작은 반례부터 살펴보자.
Agent가 처음 작업을 수행할 때 사용자가 다음과 같이 말했다고 하자.
내 배포 스크립트는
infra/디렉터리에 있으며,make deploy를 사용한다.
2주 뒤 사용자가 물었다.
이 프로젝트는 어떻게 배포해?
시스템이 채팅 기록만 저장한다면 두 번째 작업에서는 첫 번째 대화를 전혀 보지 못할 수 있다. Agent는 디렉터리, 명령어, 프로젝트 구조를 다시 추측하게 된다.
전체 기록을 컨텍스트에 그대로 넣는 방법도 문제를 해결하지 못한다.
첫째, 기록이 길어질수록 잡음이 늘어난다. 사용자가 말했던 임시 경로, 폐기된方案, 임시 추측까지 함께 검색된다.
둘째, 중요한 사실은 보통 다시 작성해야 한다. 예를 들어 배포 명령이 make deploy에서 make release로 바뀌었다. 원본 채팅에는 두 답변이 모두 남아 있지만 현재 유효한 상태는 하나뿐이다.
셋째, 검색에는 비용이 든다. 컨텍스트가 가득 찰수록 현재 작업, 도구 출력, 코드 변경에 사용할 수 있는 공간은 줄어든다.
따라서 컨텍스트 윈도우는 임시 저장 공간에 가깝다. 현재 요청에 필요한 자료를 모델에 제공할 뿐, 작업 간 장기 상태를 관리하지는 않는다.
진짜 메모리는 최소한 네 가지 질문에 답해야 한다.
- 어떤 정보를 장기 저장소에 기록할 수 있는가?
- 메모리를 어떤 구조로 구성하는가?
- 현재 작업에서는 어떤 내용을 검색해야 하는가?
- 새로운 사실이 들어왔을 때 기존 메모리는 어떻게 처리하는가?
기록, 검색, 갱신 중 하나라도 빠지면 그저 ‘과거 정보 캐시’일 뿐이며, 완전한 Agent Memory가 아니다.
메모리의 구성 요소와 생명주기
Agent Memory는 제품명들의 집합이 아니라 하나의 생명주기로 나누어 보는 편이 유용하다.
1. 기록: 이벤트에서 상태 추출하기
Agent가 작업을 마친 뒤 시스템이 전체 transcript를 무조건 저장해서는 안 된다. 어떤 내용이 장기 가치가 있는지 먼저 판단해야 한다.
일반적으로 다음 내용은 저장할 가치가 있다.
- 사용자 선호, 예를 들어 ‘답변은 중국어로 할 것’
- 프로젝트가 사용하는 언어와 프레임워크 같은 안정적인 사실
- ‘인증 방식은 Auth0을 사용한다’ 같은 의사결정 기록
- ‘배포 전에 먼저 테스트를 실행한다’ 같은 워크플로 규칙
반면 다음 정보는 장기적으로 저장하기에 적합하지 않다.
- 일회성 도구 오류
- 현재 shell에 존재하는 임시 경로
- Agent가 아직 검증하지 않은 추측
- 이미 완료된 작업에 포함된 대량의 중간 과정
기록 과정에는 출처 정보와 신뢰 상태가 필요하다. 그렇지 않으면 시스템은 모델의 환상을 ‘사용자 사실’로 굳힐 뿐이다.
2. 구성: 메모리에 구조 부여하기
원문은 사람이 읽기 좋지만, 기계가 활용하기까지는 보장할 수 없다.
실용적인 방법 중 하나는 두 유형의 데이터를 함께 보관하는 것이다.
- 사람이 읽을 수 있는 메모리
- 프로그램이 처리할 수 있는 구조화 필드
예를 들면 다음과 같다.
{
"key": "project.deploy_command",
"value": "make release",
"scope": "project:web-api",
"source": "user",
"confidence": 1.0,
"updated_at": "2026-08-24T10:30:00Z"
}
key는 중복 제거와 덮어쓰기를 담당하고, scope는 격리를 제어하며, source는 근거를 기록한다. updated_at은新旧를 판단하는 데 사용된다.
이 방식은 열 개의 메모리를 하나의 벡터에 몰아넣는 것보다 감사하기 쉽다. 벡터는 의미상 유사한 항목을 찾는 데 적합하지만, 일관성 판단을 단독으로 맡기는 데는 적절하지 않다.
3. 검색: 정확한 검색에서 시작해 확장하기
검색은 ‘벡터 검색 top-k’만 있는 방식이 되어서는 안 된다.
신뢰할 수 있는 소규모 시스템은 일반적으로 다음 방식을 조합한다.
- 정확 일치:
key, 프로젝트 ID, 사용자 ID를 기준으로 읽는다. - 키워드 검색: 명령어, 오류 코드, 고유명사를 찾는다.
- 벡터 검색: 자연어 표현의 변형이나 의미상 근접성을 처리한다.
- 시간 필터: 이미 만료된 후보를 제외한다.
- 권한 필터: 현재 Agent가 접근할 수 있는 메모리만 조회한다.
검색 결과는 다시 정렬해야 한다. 예를 들어 정확히 일치한 현재 설정은 의미상 유사하지만 이미 만료된 토의보다 앞에 와야 한다.
4. 갱신과 망각: 오래된 사실을 퇴场시키기
갱신은 단순한 추가가 아니다.
새 메모리가 기존 메모리와 충돌할 때 최소한 다음 경우를 처리해야 한다.
- 덮어쓰기: 사용자가 기존 선호를 명시적으로 변경했다.
- 병합: 두 정보가 같은 사실을 설명한다.
- 무효화: 시간 조건이 더 이상 유효하지 않다.
- 이력 보존: 현재 값은 바뀌었지만 이전 값을 감사해야 한다.
- 삭제: 해당 내용을 더 이상 보관하면 안 된다.
시스템이 append만 수행할수록 메모리가 늘어날수록 충돌도 늘어난다. Agent는 매번 두세 개 버전을 검색한 뒤 스스로 하나를 선택하게 된다. 이는 모델에 관리 비용을 떠넘기면서도 어떤 보장도 제공하지 않는다.
엔지니어링 구현: 먼저 최소한의闭环 만들기
처음부터 복잡한 멀티 Agent 메모리 그래프를 구축할 필요는 없다.
우선 구조화 저장, 하이브리드 검색, 타임스탬프, 덮어쓰기 갱신으로 구성된 실행 가능한闭环를 구현하는 편이 좋다. 여기에 고정된 평가 세트를 추가해 메모리가 Agent를 돕는지 아니면 잡음을 만드는지 확인한다.
다음 예제는 SQLite를 사용하며 벡터 데이터베이스는 필요하지 않다. ‘기록, key로 읽기, 키워드 검색’으로 이루어진 최소 경로를 검증할 수 있다.
import sqlite3
from datetime import datetime, timezone
DB_PATH = "agent_memory.db"
def init_db():
with sqlite3.connect(DB_PATH) as conn:
conn.execute(
"""
CREATE TABLE IF NOT EXISTS memories (
id INTEGER PRIMARY KEY AUTOINCREMENT,
key TEXT NOT NULL,
value TEXT NOT NULL,
scope TEXT NOT NULL,
source TEXT NOT NULL,
confidence REAL NOT NULL DEFAULT 1.0,
updated_at TEXT NOT NULL,
UNIQUE(key, scope)
)
"""
)
conn.execute(
"""
CREATE VIRTUAL TABLE IF NOT EXISTS memory_search
USING fts5(key, value, scope, content='memories', content_rowid='id')
"""
)
conn.execute(
"""
CREATE TRIGGER IF NOT EXISTS memories_ai AFTER INSERT ON memories BEGIN
INSERT INTO memory_search(rowid, key, value, scope)
VALUES (new.id, new.key, new.value, new.scope);
END
"""
)
conn.execute(
"""
CREATE TRIGGER IF NOT EXISTS memories_ad AFTER DELETE ON memories BEGIN
INSERT INTO memory_search(memory_search, rowid, key, value, scope)
VALUES ('delete', old.id, old.key, old.value, old.scope);
END
"""
)
conn.execute(
"""
CREATE TRIGGER IF NOT EXISTS memories_au AFTER UPDATE ON memories BEGIN
INSERT INTO memory_search(memory_search, rowid, key, value, scope)
VALUES ('delete', old.id, old.key, old.value, old.scope);
INSERT INTO memory_search(rowid, key, value, scope)
VALUES (new.id, new.key, new.value, new.scope);
END
"""
)
def remember(key, value, scope="global", source="user", confidence=1.0):
now = datetime.now(timezone.utc).isoformat()
with sqlite3.connect(DB_PATH) as conn:
conn.execute(
"""
INSERT INTO memories(key, value, scope, source, confidence, updated_at)
VALUES (?, ?, ?, ?, ?, ?)
ON CONFLICT(key, scope) DO UPDATE SET
value = excluded.value,
source = excluded.source,
confidence = excluded.confidence,
updated_at = excluded.updated_at
""",
(key, value, scope, source, confidence, now),
)
def get_exact(key, scope="global"):
with sqlite3.connect(DB_PATH) as conn:
row = conn.execute(
"SELECT key, value, scope, source, confidence, updated_at "
"FROM memories WHERE key = ? AND scope = ?",
(key, scope),
).fetchone()
return dict(zip(
["key", "value", "scope", "source", "confidence", "updated_at"], row
)) if row else None
def search(query, scope="global", limit=5):
with sqlite3.connect(DB_PATH) as conn:
rows = conn.execute(
"""
SELECT m.key, m.value, m.scope, m.source, m.confidence, m.updated_at
FROM memory_search AS s
JOIN memories AS m ON m.id = s.rowid
WHERE memory_search MATCH ? AND m.scope = ?
ORDER BY m.updated_at DESC
LIMIT ?
""",
(query, scope, limit),
).fetchall()
return [dict(zip(
["key", "value", "scope", "source", "confidence", "updated_at"], row
)) for row in rows]
init_db()
remember(
"project.deploy_command",
"make release",
scope="project:web-api",
)
remember(
"response.language",
"中文",
scope="user:42",
)
print(get_exact("project.deploy_command", "project:web-api"))
print(search("deploy", scope="project:web-api"))
여기서는 의도적으로 embedding API를 호출하지 않는다. 이유는 단순하다. 먼저 데이터 모델과 생명주기를 검증한 뒤 의미 기반 검색이 필요한지 판단하면 된다.
키워드 검색이 같은 의미를 표현한 문구를 반복적으로 놓칠 때, 또는 사용자가 다양한 방식으로 질문을 할 때만 벡터 검색을 추가한다. 벡터 데이터베이스는 메모리 시스템의 출발점이 아니다.
복잡한 아키텍처도 단계적으로 추가한다.
- 단일 테이블 구조화 메모리: 중복 제거, 덮어쓰기, 삭제 검증
- SQLite + FTS5: 키워드 검색 검증
- 하이브리드 검색: embedding과 reranker 추가
- 독립 메모리 서비스: 멀티테넌트나 Agent 간 공유 요구가 생긴 뒤 구축
진짜 병목은 메모리 관리다
엔지니어링에서 가장 어려운 부분은 검색 알고리즘이 아니라 ‘어떤 것을 기억할 자격이 있는가’를 결정하는 일이다.
여기에는 네 가지 일반적인 문제가 있다.
만료된 정보
‘현재 브랜치는 main이다’는 오늘은 유효하지만 내일 만료될 수 있다. 범위와 시간을 기록하지 않으면 Agent는 오래된 상태를 사실로 받아들인다.
충돌하는 사실
프로젝트 README는 PostgreSQL을 사용한다고 하지만 배포 스크립트에는 MySQL이 표시될 수 있다. 시스템은 둘 중 하나를 임의로 선택해서는 안 된다. 충돌을 기록해 사용자에게 확인을 요청하거나, 신뢰할 수 있는 출처에 따라 우선순위를 정해야 한다.
잘못된 기록
Agent가 모호한 표현에서 추론한 내용을 곧바로 장기 사실로 바꾸면 안 된다. 기록 전에 사용자의 명시적 진술, 도구로 검증한 결과, 모델의 추론을 구분해야 한다.
권한 경계
‘사용자가 무슨 말을 했는가’를 기억하는 것과 ‘사용자가 볼 수 없는 내용을 기억하는 것’은 다르다. 메모리 저장소에는 사용자, 프로젝트, 테넌트, Agent 권한이 함께 반영되어야 한다. 검색 전 필터링이 prompt에만 의존해서는 안 된다.
간과하기 쉬운 지표로召回 정확도가 있다.
top-k 적중률만 측정해서는 충분하지 않다. 최소한 다음 항목을 나누어 측정해야 한다.
- Precision: 검색된 메모리 중 실제로 관련된 항목의 비율
- Recall: 해당 작업에 필요한 사실 중 찾아낸 항목의 비율
- Freshness: 검색된 내용이 여전히 유효한지 여부
- Conflict rate: 검색 결과 안에서 서로 모순되는 항목의 비율
- Write precision: 기록된 메모리 중 장기 보존할 가치가 있는 항목의 비율
평가 세트가 없으면 팀은 demo에 쉽게 속는다. Agent의 답변이 좋아 보였다는 사실이 우연히 올바른 메모리를 검색했기 때문일 수도 있다. 작업이나 질문 방식을 바꾸면 시스템은 바로 실패한다.
Anthropic의 논문이 HN 메인에 올라 97점과 55개의 댓글을 얻었다는 점은 메모리가 Agent 엔지니어링의 핵심 의제로 자리 잡았음을 보여준다. 하지만 아키텍처가 복잡해질수록 먼저 측정 가능한 동작을 정의해야 한다.
편집자 생각
Agent Memory가 중요한 이유는 Agent가 더 많은 내용을 기억할 수 있게 되기 때문이 아니다. 기억이 한 번의 대화에 담긴 임시 정보를 작업 간 상태로 바꾸기 때문이다. 잘못 기록되거나 만료되거나 권한을 넘어선 정보는 이후 작업에 계속 영향을 미친다. 저장과 검색에는 이미 성숙한 도구가 있다. 오히려 복제하기 어려운 것은 기록 조건, 충돌 처리, 권한 경계, 삭제 규칙이다.
팀이 제품을 적용할 때 먼저 메모리 평가 세트를 만들고 벡터 데이터베이스를 선택할 것으로 본다. 고정된 샘플과 지표가 없으면 한 번의 검색이 실제로 도움이 되었는지 우연히 적중한 것인지 구분할 수 없기 때문이다. 평가 대상은 최소한 기록, 검색, 덮어쓰기, 삭제를 포함해야 하며 Precision, Recall, Freshness, Conflict rate를 각각 집계해야 한다.
이는 과거의 긴 컨텍스트 방식과 다르다. 긴 컨텍스트는 주로 단일 요청에서 볼 수 있는 자료를 늘리는 반면, Agent Memory는 작업 간 상태를 관리하고 오래된 사실이 무효화되도록 한다. 저장 계층을 하나 더 두는 것도 아니라 생명주기 관리 체계가 추가되는 셈이다.
통합된 평가 표준이 어느 정도 빠르게 등장할지는 아직 알 수 없다. 제품마다 ‘사용자 선호’, ‘프로젝트 사실’, ‘워크플로 규칙’의 경계가 다르기 때문이다. 표준이 성숙하기 전까지는 모든 기록과 검색의 출처를 남기고 동작을 감사 가능하게 만드는 편이 복잡한 아키텍처를 바로 쌓는 것보다 안전하다.
출처
https://www.anthropic.com/research/components-of-agent-memory