框架

Agent 记忆系统都在考背诵,没人考它能不能跟上变化

StateMemBench 拿 234 个多会话场景开刀,发现现有 Agent 记忆基准只测 recall,真正难的状态跟踪没人测。

字号

Agent 记忆系统都在考背诵,没人考它能不能跟上变化

评测 Agent 记忆能力这件事,做了快两年了。我翻了一下 LoCoMo、MSC、MemGPT 这些主流 benchmark 的设计——基本上都是问答对、信息抽取、对话检索。把"能不能记住"等同于"记忆系统好不好"。

一个事实被改过三次,记忆里存的是哪一版?目前的 benchmark 没问过这个问题。但现实里这是常态:用户先把 deadline 改到周五、然后又改成下周三,Agent 下次回答应该输出下周三,不是周五,也不是最初那个周一。

最近 arXiv 上有一篇 StateMemBench 的论文专门拿这个开刀。它做了 234 个多会话场景,核心测的就是一件事:状态跟踪(state tracking)。论文 ID 由素材来源提供,建议读者自行核实。


现在 Agent 记忆基准都在干什么

复盘几个主流的:

  • LoCoMo:长对话问答,跨越几十轮对话,问早期提过的细节
  • MSC(Multi-Session Chat):跨 session 检索,看 Agent 能不能找到上次会话的相关信息
  • MemGPT / MemoryBank 评测:信息抽取 + 检索准确率

问题在哪?这些 benchmark 都有一个隐含假设:事实是静态的。问答对是固定的,"用户说过 X"就是 X,从来不被推翻。

但现实里 Agent 处理的是不断变化的世界:用户改主意、上游 API 返回新数据、用户偏好漂移。一个 Agent 如果把三周前用户说的"我用 Gmail"一直记到现在,今天他说"我换成 Proton 了",那三周前的"Gmail"就是脏数据。

召回出来反而是错的。


StateMemBench 的核心问题:状态在变,记忆怎么办

StateMemBench 的出发点很直白:测试 Agent 在长交互中追踪不断演变的事实、约束和决策的能力——论文原话是 "track the evolving state of the world"。

它的场景是这样设计的:

  1. 跨多个 session
  2. 同一个事实在不同 session 被修改过多次
  3. 最终问 Agent 的问题,必须反映当前状态而不是已被取代的旧版本

举一个论文里的具体例子(意译):

Session 1: 用户说项目 deadline 是 6 月 1 日
Session 2: 用户说改成 6 月 5 日(周五)
Session 3: 用户说改成 6 月 11 日(下周三)
Session 4: 问"deadline 是哪天?"
正确回答:6 月 11 日

看起来简单对吧?但现有 RAG 系统大概率会原形毕露。三条信息都成功 retrieve 出来,LLM 拿到三个版本,谁最新?没时间戳的话基本靠 prompt 里写一句"请选择最新的"。

这玩意儿压根不靠谱。LLM 在长 context 里对"哪个是最新"的判断经常错,尤其是当三个版本看起来都合理的时候。


234 个场景里藏着什么

StateMemBench 包含 234 个多会话场景(论文摘要原话 "a benchmark of 234 multi-session scenarios")。两个核心维度:

1. 多会话(multi-session)

不是单次对话聊完,而是跨越多个 session。每个 session 之间可能有间隔,模拟真实使用场景:用户周一聊一次,周三聊一次,下周一再聊一次。

这要求记忆系统跨进程、跨时间持久化——这一层 Mem0、Letta 这些框架在做,但评测之前没真正覆盖到"跨 session 的状态漂移"。

2. 多轮修订(multi-turn revision)

同一个事实在不同 session 被反复修改。这是最难的部分,要求记忆系统:

  • 写入时:检测到新信息与旧信息矛盾
  • 读取时:选择最新版本而不是历史版本

这两件事向量检索都做不好。向量检索是相似度匹配,不是时间序列管理。你问"deadline",它可能返回三条都是 deadline 相关的,按相似度排序,但谁更新?who knows。


为什么这件事被拖到现在

工程上的偷懒。

recall 类评测好打分。问"用户叫什么名字",答案对就是对,错就是错,能跑自动化脚本批量评测。state tracking 类评测需要时间戳、版本对比、冲突检测——标注成本高一个数量级。

另外,大多数 Agent 框架的 memory layer 本质上就是个 RAG:文本切片 → 嵌入 → 存向量库 → 检索时取 top-k。这套架构从第一天就没考虑过版本控制。改架构比改 benchmark 难多了,所以大家都先做 recall。

但 recall 做得好不代表真有用。一个永远召回"三周前的旧版本"的 Agent,错误比"忘了"还糟糕——用户以为它记得,但它记的是错的。


真正的难题不在存储,在版本控制

把视角切一下:记忆 ≠ 存东西,记忆 = 时序数据库。

这不是比喻。Agent 的记忆层需要的能力和数据库一模一样:

数据库概念 Agent 记忆对应
MVCC(多版本并发控制) 同一条事实保留多个版本,按时间戳读取最新
Event sourcing 不存"当前状态",存"发生过的所有事件",按需重建
CRDT(无冲突复制数据类型) 多 session 并发写入,自动解决冲突
Git commit history 每个记忆变更是一条 commit,可以 checkout 任意版本

为什么不能简单靠 prompt 让 LLM 自己判断"哪个新"?

几个原因:

  1. 长 context 下 LLM 的时序判断不可靠。尤其是当多个版本信息密度差不多的时候
  2. Prompt 是软约束,不是硬保证。换模型、换 prompt、context window 被截断,结果都会变
  3. 成本高。每次 retrieve 都把全部历史塞进 context 让 LLM 挑,烧 token

靠谱的做法是把版本控制前移到存储层。比如:

# 概念示意,不是真实代码
class VersionedMemory:
    def write(self, key, value):
        """写入时自动打时间戳,旧版本保留"""
        ts = datetime.now()
        self.store.append(MemoryEntry(key, value, ts))

    def read(self, key):
        """读取时返回最新版本,而不是最相似版本"""
        candidates = self.store.query(key)
        return max(candidates, key=lambda e: e.timestamp)

    def read_at(self, key, t):
        """读指定时间点的状态,方便审计和回溯"""
        candidates = self.store.query(key)
        return max((e for e in candidates if e.timestamp <= t), 
                   key=lambda e: e.timestamp, default=None)

这样的设计,状态跟踪就变成了存储层的内置能力,不依赖 LLM 在 prompt 里"推理"哪个版本最新。


下一步:把状态跟踪当成一等公民

我希望后续 Agent 框架在设计 memory layer 时直接考虑 state tracking,而不是只堆 retrieval。

可以借鉴的工程实践:

  • Git 的 commit history:每个记忆变更是一条 commit,可以 diff、checkout、blame
  • 数据库的 MVCC:读写不冲突,按 snapshot 读取
  • 事件溯源(event sourcing):不存最终状态,存事件流,状态由事件投影出来

LangGraph、CrewAI、AutoGen 这些框架目前的 memory 抽象都还停留在"messages + vector store"。够用吗?做 demo 够,做生产环境里"用户改主意改了七次"这种真实场景,不够。

StateMemBench 的 234 个场景不是终点,是起点。如果它能倒逼框架在 memory layer 加一层时间维度的索引,那这篇论文的价值就不止是 benchmark 本身。


参考:StateMemBench,arXiv 论文(素材来源:https://arxiv.org/abs/2608.19652,ID 待核实)

来源: https://arxiv.org/abs/2608.19652