Agent 記憶能力の評価は、もうすぐ2年になる。LoCoMo、MSC、MemGPTといった主要ベンチマークの設計をあらためて見てみると、ほぼ全てが Q&A ペア、情報抽出、対話検索だ。「覚えているかどうか」を「記憶システムとして優れているかどうか」と同一視してきた。
ある事実が3回書き換えられた場合、記憶にはどのバージョンが残っているのか?現在のベンチマークはこの問いを投げていない。しかし現実ではこれが日常茶飯事だ。ユーザーがまず締め切りを金曜に変更し、その後再来週の水曜に変更する。Agent が次に答えるべきは再来週の水曜であり、金曜でもなく、最初の月曜でもない。
最近、arXiv に StateMemBench という論文が出た(論文 ID は素材提供元による。正確性は読者自身でご確認いただきたい)。234件のマルチセッションシナリオを用いて、測っているのはひとつの能力——状態追跡(state tracking)だ。
既存 Agent 記憶ベンチマークは何を測ってきたか
主要ベンチマークを整理する。
- LoCoMo:長対話における Q&A。何十ターンも前の細かい情報を問う
- MSC(Multi-Session Chat):セッションをまたいだ検索。過去のセッションから関連情報を引けるか
- MemGPT / MemoryBank 評価:情報抽出 + 検索精度
何が問題か? これらのベンチマークには暗黙の前提がある——事実は静的なものだ。Q&A ペアは固定で、「ユーザーが X と言った」は X のままで、決して覆されない。
しかし現実の Agent が扱う世界は絶えず変化する。ユーザーは気が変わる。上流 API は新しいデータを返す。ユーザーの好みは漂う。3週間前に「Gmail を使っている」と言ったユーザーが今日「Proton に乗り換えた」と言ったなら、3週間前の「Gmail」は単なるゴミデータだ。むしろ呼び起こしてしまうと誤った回答を返すことになる。
StateMemBenchの核心問い:状態が変わるとき記憶はどう振る舞うか
StateMemBench の出発点は明快だ。長期間のやり取りの中で、変化し続ける事実・制約・決定を Agent が追跡できるかを測る。論文の表現を借りれば "track the evolving state of the world"。
シナリオは次のように設計されている。
- 複数のセッションをまたぐ
- 同一事実が複数のセッションで複数回書き換えられる
- 最終的な問いは現在の状態を答えさせるもので、置き換えられた旧バージョンは不正解扱い
論文中の具体例を示す(意訳)。
Session 1: ユーザーが「締め切りは6月1日」と伝える
Session 2: ユーザーが「6月5日(金曜)に変更」と伝える
Session 3: ユーザーが「6月11日(再来週の水曜)に変更」と伝える
Session 4: 「締め切りはいつ?」と質問される
正解:6月11日
簡単そうに見えるが、既存の RAG システムならほぼ確実に足元を掬われる。3つのバージョンすべてを retrieve できたとして、LLM 側に3つのバージョンが渡される。どれが最新か?タイムスタンプがなければ、プロンプトに「最新のものを選んでください」と書くくらいしか手がなく、これはまったく当てにならない。LLM は長 context 内で「どれが最新か」の判断をしばしば誤る。特に3つのバージョンがどれも同じくらい妥当に見える場合は顕著だ。
234件のシナリオに何が潜んでいるか
StateMemBench には 234件のマルチセッションシナリオが含まれる(論文要旨の表現 "a benchmark of 234 multi-session scenarios")。評価軸は大きく2つ。
1. マルチセッション(multi-session)
1回の対話で完結するものではなく、複数のセッションをまたぐ。各セッション間には間隔があり得る。現実の利用パターンを模している——ユーザーが月曜に話し、水曜に話し、次の月曜にもう一度話す。
これには記憶システムがプロセスと時間を越えて永続化することが求められる。Mem0 や Letta といったフレームワークはこの層を実装しつつあるが、これまでの評価では「セッションをまたいだ状態の漂流」までは十分にカバーされていなかった。
2. マルチターン改訂(multi-turn revision)
同一事実が複数のセッションで繰り返し書き換えられる。これが最も難しい部分で、記憶システムには次が求められる。
- 書き込み時:新情報と旧情報の矛盾を検出する
- 読み出し時:履歴バージョンではなく最新バージョンを選択する
この2つはベクトル検索ではどちらも不得手だ。ベクトル検索は類似度マッチであり、時系列管理ではない。「締め切り」と検索すると deadline 関連が3件返ってくる。類似度でソートはできても、どれが新しいかは誰にも分からない。
なぜ今まで放置されてきたのか
エンジニアリング上の手抜きだ。
recall 系の評価は採点が楽。「ユーザーの名前は?」という問いは、答えが正しければ正解、不正解なら不正解で、自動化スクリプトで回せる。一方、state tracking 系の評価にはタイムスタンプ・バージョン比較・衝突検出が必要で、annotation のコストが桁違いに高い。
さらに、ほとんどの Agent フレームワークの memory layer の中身は要するに RAG だ。テキストを chunk 化 → 埋め込み → ベクトル DB に保存 → 検索時に top-k を取得。バージョン管理はこのアーキテクチャの最初から考慮外だった。ベンチマークよりアーキテクチャの変更のほうが遥かに重いので、皆まず recall から片付けてきた。
しかし recall のスコアが良くても本当に使えるとは限らない。「3週間前の旧バージョン」を正確に呼び起こしてしまう Agent は、「忘れる」よりたちが悪い。ユーザーは覚えているはずだと思うが、実は間違った内容を覚えているからだ。
本当の難所は保存ではなくバージョン管理
視点を切り替えよう。記憶 ≠ 保管、記憶 = 時系列データベース。
比喩ではなく、文字通りだ。Agent の記憶層に求められる能力は、データベースとまったく同じものだ。
| データベースの概念 | Agent 記憶での対応 |
|---|---|
| MVCC(多版並行制御) | 同一事実の複数版を保持し、タイムスタンプで最新を読む |
| Event sourcing | 「現在の状態」を持たず、「起きた全イベント」を持ち、必要に応じて再生 |
| CRDT(Conflict-free Replicated Data Type) | 複数セッションからの並行書き込みを自動衝突解消 |
| Git のコミット履歴 | 記憶の各変更を1コミットとして扱い、任意バージョンに checkout 可能 |
なぜ「プロンプトで LLM に最新を選ばせる」ではダメなのか。
- 長 context 下での LLM の時系列判断は信頼できない。特に複数バージョンの情報密度が近いとき
- プロンプトはソフト制約でありハード保証ではない。モデル変更、プロンプト変更、context window の切り詰めで結果が変わる
- コストが高い。retrieve ごとに履歴を全部 context に詰めて LLM に選ばせると token を大量に燃やす
現実的なのは、バージョン管理をストレージ層に前出しする設計だ。例えば次のような形になる。
# 概念示意、實際のコードではない
class VersionedMemory:
def write(self, key, value):
"""書き込み時にタイムスタンプを自動付与、旧版は保持"""
ts = datetime.now()
self.store.append(MemoryEntry(key, value, ts))
def read(self, key):
"""読み出し時は最も類似した版ではなく最新版を返す"""
candidates = self.store.query(key)
return max(candidates, key=lambda e: e.timestamp)
def read_at(self, key, t):
"""指定時点の状態を読む。監査・遡及に便利"""
candidates = self.store.query(key)
return max((e for e in candidates if e.timestamp <= t),
key=lambda e: e.timestamp, default=None)
この設計なら、状態追跡は LLM のプロンプト上の「推論」に頼らず、ストレージ層の組み込み機能として成立する。
次のステップ:状態追跡を第一級の市民にする
今後の Agent フレームワークには、retrieval を載せるだけでなく、memory layer の設計段階で state tracking を最初から織り込んでほしい。
借鉴できる工学的プラクティスを挙げる。
- Git のコミット履歴:記憶の各変更を1コミットとして、diff / checkout / blame が可能
- データベースの MVCC:読み書きが衝突せず、snapshot で読む
- Event sourcing:最終状態を保持せず、イベント列を保持し、状態はそこから投影する
LangGraph、CrewAI、AutoGen といったフレームワークの現在の memory 抽象は、まだ「messages + vector store」のレベルにとどまっている。これで十分か? デモには十分だが、「ユーザーが7回気が変わった」というような本番シナリオには足りない。
StateMemBench の234件のシナリオはゴールではなくスタート地点だ。これがフレームワークに対して memory layer に時間次元のインデックスを加える動きを後押しできるなら、この論文の価値は単なるベンチマークを超える。
参考:StateMemBench、arXiv 論文(素材來源:https://arxiv.org/abs/2608.19652、ID 要確認)