Agent 记忆系统都在考背诵,没人考它能不能跟上变化
评测 Agent 记忆能力这件事,做了快两年了。我翻了一下 LoCoMo、MSC、MemGPT 这些主流 benchmark 的设计——基本上都是问答对、信息抽取、对话检索。把"能不能记住"等同于"记忆系统好不好"。
一个事实被改过三次,记忆里存的是哪一版?目前的 benchmark 没问过这个问题。但现实里这是常态:用户先把 deadline 改到周五、然后又改成下周三,Agent 下次回答应该输出下周三,不是周五,也不是最初那个周一。
最近 arXiv 上有一篇 StateMemBench 的论文专门拿这个开刀。它做了 234 个多会话场景,核心测的就是一件事:状态跟踪(state tracking)。论文 ID 由素材来源提供,建议读者自行核实。
现在 Agent 记忆基准都在干什么
复盘几个主流的:
- LoCoMo:长对话问答,跨越几十轮对话,问早期提过的细节
- MSC(Multi-Session Chat):跨 session 检索,看 Agent 能不能找到上次会话的相关信息
- MemGPT / MemoryBank 评测:信息抽取 + 检索准确率
问题在哪?这些 benchmark 都有一个隐含假设:事实是静态的。问答对是固定的,"用户说过 X"就是 X,从来不被推翻。
但现实里 Agent 处理的是不断变化的世界:用户改主意、上游 API 返回新数据、用户偏好漂移。一个 Agent 如果把三周前用户说的"我用 Gmail"一直记到现在,今天他说"我换成 Proton 了",那三周前的"Gmail"就是脏数据。
召回出来反而是错的。
StateMemBench 的核心问题:状态在变,记忆怎么办
StateMemBench 的出发点很直白:测试 Agent 在长交互中追踪不断演变的事实、约束和决策的能力——论文原话是 "track the evolving state of the world"。
它的场景是这样设计的:
- 跨多个 session
- 同一个事实在不同 session 被修改过多次
- 最终问 Agent 的问题,必须反映当前状态而不是已被取代的旧版本
举一个论文里的具体例子(意译):
Session 1: 用户说项目 deadline 是 6 月 1 日
Session 2: 用户说改成 6 月 5 日(周五)
Session 3: 用户说改成 6 月 11 日(下周三)
Session 4: 问"deadline 是哪天?"
正确回答:6 月 11 日
看起来简单对吧?但现有 RAG 系统大概率会原形毕露。三条信息都成功 retrieve 出来,LLM 拿到三个版本,谁最新?没时间戳的话基本靠 prompt 里写一句"请选择最新的"。
这玩意儿压根不靠谱。LLM 在长 context 里对"哪个是最新"的判断经常错,尤其是当三个版本看起来都合理的时候。
234 个场景里藏着什么
StateMemBench 包含 234 个多会话场景(论文摘要原话 "a benchmark of 234 multi-session scenarios")。两个核心维度:
1. 多会话(multi-session)
不是单次对话聊完,而是跨越多个 session。每个 session 之间可能有间隔,模拟真实使用场景:用户周一聊一次,周三聊一次,下周一再聊一次。
这要求记忆系统跨进程、跨时间持久化——这一层 Mem0、Letta 这些框架在做,但评测之前没真正覆盖到"跨 session 的状态漂移"。
2. 多轮修订(multi-turn revision)
同一个事实在不同 session 被反复修改。这是最难的部分,要求记忆系统:
- 写入时:检测到新信息与旧信息矛盾
- 读取时:选择最新版本而不是历史版本
这两件事向量检索都做不好。向量检索是相似度匹配,不是时间序列管理。你问"deadline",它可能返回三条都是 deadline 相关的,按相似度排序,但谁更新?who knows。
为什么这件事被拖到现在
工程上的偷懒。
recall 类评测好打分。问"用户叫什么名字",答案对就是对,错就是错,能跑自动化脚本批量评测。state tracking 类评测需要时间戳、版本对比、冲突检测——标注成本高一个数量级。
另外,大多数 Agent 框架的 memory layer 本质上就是个 RAG:文本切片 → 嵌入 → 存向量库 → 检索时取 top-k。这套架构从第一天就没考虑过版本控制。改架构比改 benchmark 难多了,所以大家都先做 recall。
但 recall 做得好不代表真有用。一个永远召回"三周前的旧版本"的 Agent,错误比"忘了"还糟糕——用户以为它记得,但它记的是错的。
真正的难题不在存储,在版本控制
把视角切一下:记忆 ≠ 存东西,记忆 = 时序数据库。
这不是比喻。Agent 的记忆层需要的能力和数据库一模一样:
| 数据库概念 | Agent 记忆对应 |
|---|---|
| MVCC(多版本并发控制) | 同一条事实保留多个版本,按时间戳读取最新 |
| Event sourcing | 不存"当前状态",存"发生过的所有事件",按需重建 |
| CRDT(无冲突复制数据类型) | 多 session 并发写入,自动解决冲突 |
| Git commit history | 每个记忆变更是一条 commit,可以 checkout 任意版本 |
为什么不能简单靠 prompt 让 LLM 自己判断"哪个新"?
几个原因:
- 长 context 下 LLM 的时序判断不可靠。尤其是当多个版本信息密度差不多的时候
- Prompt 是软约束,不是硬保证。换模型、换 prompt、context window 被截断,结果都会变
- 成本高。每次 retrieve 都把全部历史塞进 context 让 LLM 挑,烧 token
靠谱的做法是把版本控制前移到存储层。比如:
# 概念示意,不是真实代码
class VersionedMemory:
def write(self, key, value):
"""写入时自动打时间戳,旧版本保留"""
ts = datetime.now()
self.store.append(MemoryEntry(key, value, ts))
def read(self, key):
"""读取时返回最新版本,而不是最相似版本"""
candidates = self.store.query(key)
return max(candidates, key=lambda e: e.timestamp)
def read_at(self, key, t):
"""读指定时间点的状态,方便审计和回溯"""
candidates = self.store.query(key)
return max((e for e in candidates if e.timestamp <= t),
key=lambda e: e.timestamp, default=None)
这样的设计,状态跟踪就变成了存储层的内置能力,不依赖 LLM 在 prompt 里"推理"哪个版本最新。
下一步:把状态跟踪当成一等公民
我希望后续 Agent 框架在设计 memory layer 时直接考虑 state tracking,而不是只堆 retrieval。
可以借鉴的工程实践:
- Git 的 commit history:每个记忆变更是一条 commit,可以 diff、checkout、blame
- 数据库的 MVCC:读写不冲突,按 snapshot 读取
- 事件溯源(event sourcing):不存最终状态,存事件流,状态由事件投影出来
LangGraph、CrewAI、AutoGen 这些框架目前的 memory 抽象都还停留在"messages + vector store"。够用吗?做 demo 够,做生产环境里"用户改主意改了七次"这种真实场景,不够。
StateMemBench 的 234 个场景不是终点,是起点。如果它能倒逼框架在 memory layer 加一层时间维度的索引,那这篇论文的价值就不止是 benchmark 本身。
参考:StateMemBench,arXiv 论文(素材来源:https://arxiv.org/abs/2608.19652,ID 待核实)