框架

Agent 記憶系統都在比背誦,卻沒人考它能不能跟上變化

StateMemBench 設計了 234 個多輪對話情境,發現現有 Agent 記憶基準只測 recall,真正困難的狀態追蹤從未被納入評測。

字級

Agent 記憶能力的評測,做了快兩年。我翻過 LoCoMo、MSC、MemGPT 這些主流 benchmark 的設計——基本上都是問答題、資訊萃取、對話檢索,把「能不能記住」當成「記憶系統好不好」的全部。

一個事實被改過三次,記憶裡存的是哪一版?目前 benchmark 沒問過這個問題。但現實裡這是常態:使用者先把 deadline 改到週五、然後又改成下週三,Agent 下次回答應該輸出下週三,不是週五,也不是最初那個週一。

最近 arXiv 上有一篇 StateMemBench 論文專門處理這件事。它做了 234 個多 session 情境,核心測的就是一件事:狀態追蹤(state tracking)——追蹤世界不斷演變的狀態。


現在 Agent 記憶基準都在做什麼

盤點幾個主流的:

  • LoCoMo:長對話問答,跨越幾十輪對話,問早期提過的細節
  • MSC(Multi-Session Chat):跨 session 檢索,看 Agent 能不能找到上次 session 的相關資訊
  • MemGPT / MemoryBank 評測:資訊萃取 + 檢索準確率

問題出在哪?這些 benchmark 都有一個隱含假設:事實是靜態的。問答題是固定的,「使用者說過 X」就是 X,從來不會被推翻。

但現實中 Agent 面對的是不斷變動的世界:使用者改主意、上游 API 回傳新資料、使用者偏好漂移。一個 Agent 如果把三週前使用者說的「我用 Gmail」一路記到今天,今天他說「我換成 Proton 了」,那三週前的「Gmail」就是髒資料。召回出來反而是錯的。

StateMemBench 的核心問題:狀態在變,記憶怎麼辦

StateMemBench 的出發點很直白:測試 Agent 在長互動中追蹤不斷演變的事實、限制與決策的能力。

它的情境是這樣設計的:

  1. 跨多個 session
  2. 同一個事實在不同 session 被修改過多次
  3. 最終問 Agent 的問題,必須反映當前狀態而非已被覆蓋的舊版本

舉一個論文裡的具體例子(意譯):

Session 1: 使用者說專案 deadline 是 6 月 1 日
Session 2: 使用者說改成 6 月 5 日(週五)
Session 3: 使用者說改成 6 月 11 日(下週三)
Session 4: 問「deadline 是哪天?」
正確回答:6 月 11 日

看起來簡單吧?但現有 RAG 系統大概率會當場翻車。三條資訊都成功 retrieve 出來,LLM 拿到三個版本,誰最新?沒時間戳的話基本只能靠 prompt 裡寫一句「請選擇最新的」。

這招根本不靠譜。LLM 在長 context 裡對「哪個是最新」的判斷常常出錯,特別是當三個版本看起來都合理的時候。

234 個情境裡藏了什麼

StateMemBench 包含 234 個多 session 情境。兩個核心維度:

1. 多 session(multi-session)

不是單次對話聊完,而是跨越多個 session。每個 session 之間可能有間隔,模擬真實使用情境:使用者週一聊一次,週三聊一次,下週一再聊一次。

這要求記憶系統跨程序、跨時間持久化——這一層 Mem0、Letta 這些框架都有做,只是評測從未真正涵蓋到「跨 session 的狀態漂移」。

2. 多輪修訂(multi-turn revision)

同一個事實在不同 session 被反覆修改。這是最難的部分,要求記憶系統:

  • 寫入時:偵測到新資訊與舊資訊矛盾
  • 讀取時:選擇最新版本而非歷史版本

這兩件事向量檢索都做不好。向量檢索是相似度比對,不是時序管理。你問「deadline」,它可能回傳三條都跟 deadline 相關,按相似度排序,但誰比較新?who knows。

為什麼這件事被拖到現在

工程上的偷懶。

recall 類評測好打分。問「使用者叫什麼名字」,答案對就是對,錯就是錯,能跑自動化腳本批次評測。state tracking 類評測需要時間戳、版本對比、衝突偵測——標註成本高一個數量級。

另外,大多數 Agent 框架的 memory layer 本質上就是個 RAG:文字切片 → 嵌入 → 存向量庫 → 檢索時取 top-k。這套架構從第一天起就沒考慮過版本控制。改架構比改 benchmark 難多了,所以大家都先做 recall。

但 recall 做得好不代表真有用。一個永遠召回「三週前舊版本」的 Agent,錯誤比「忘了」還要糟糕——使用者以為它記得,但它記的是錯的。

真正的難題不在儲存,在版本控制

換個角度想:記憶 ≠ 存東西,記憶 = 時序資料庫。

這不是比喻。Agent 的記憶層需要的能力和資料庫一模一樣:

  • MVCC(多版本並行控制):同一條事實保留多個版本,按時間戳讀取最新
  • Event sourcing:不存「當前狀態」,存「發生過的所有事件」,按需重建
  • CRDT(無衝突複製資料類型):多 session 並發寫入,自動解決衝突
  • Git commit history:每個記憶變更是一條 commit,可以 checkout 任意版本

為什麼不能簡單靠 prompt 讓 LLM 自己判斷「哪個新」?

幾個原因:

  1. 長 context 下 LLM 的時序判斷不可靠。特別是當多個版本資訊密度差不多的時候
  2. Prompt 是軟約束,不是硬保證。換模型、換 prompt、context window 被截斷,結果都會變
  3. 成本高。每次 retrieve 都把全部歷史塞進 context 讓 LLM 挑,燒 token

可靠的做法是把版本控制前移到儲存層。例如:

# 概念示意,不是真實程式碼
class VersionedMemory:
    def write(self, key, value):
        """寫入時自動打時間戳,舊版本保留"""
        ts = datetime.now()
        self.store.append(MemoryEntry(key, value, ts))
    
    def read(self, key):
        """讀取時回傳最新版本,而非最相似版本"""
        candidates = self.store.query(key)
        return max(candidates, key=lambda e: e.timestamp)
    
    def read_at(self, key, t):
        """讀指定時間點的狀態,方便稽核與回溯"""
        candidates = self.store.query(key)
        return max((e for e in candidates if e.timestamp <= t), 
                   key=lambda e: e.timestamp, default=None)

這樣的設計,狀態追蹤就變成儲存層的內建能力,不依賴 LLM 在 prompt 裡「推理」哪個版本最新。

下一步:把狀態追蹤當成一等公民

後續 Agent 框架在設計 memory layer 時,應該直接考慮 state tracking,而不只是堆 retrieval。

可以借鏡的工程實務:

  • Git 的 commit history:每個記憶變更是一條 commit,可以 diff、checkout、blame
  • 資料庫的 MVCC:讀寫不衝突,按 snapshot 讀取
  • 事件溯源(event sourcing):不存最終狀態,存事件流,狀態由事件投影出來

LangGraph、CrewAI、AutoGen 這些框架目前的 memory 抽象都還停留在「messages + vector store」。夠用嗎?做 demo 夠,做生產環境裡「使用者改主意改了七次」這種真實情境,不夠。

StateMemBench 的 234 個情境不是終點,是起點。如果它能倒逼框架在 memory layer 加一層時間維度的索引,那這篇論文的價值就不止是 benchmark 本身。


參考:StateMemBench,arXiv 論文(素材來源:https://arxiv.org/abs/2608.19652,ID 待核實)

來源: https://arxiv.org/abs/2608.19652