フレームワーク

Sleep frameworkが挑むLLM持続学習の記憶消失

Google ResearchのSleep frameworkは、新知識の学習と既存知識の定着を一体化する。Agentの「オンライン実行」と「オフライン整理」を分ける長期稼働型メモリ設計にも応答している。

文字サイズ

大規模言語モデルが新しいタスクを習得すると、以前の能力が衰えることがある。Google ResearchのSleep frameworkは、新しいデータの学習と既存知識の保持を両立する手法湃 Oxideしている。長期稼働するAgentでは、遅延して整理するメモリimberのプロセスとして APPLICATIONSできる。

LLMの持続学習には現実的な問題がある。新しいタスクを覚えた後、古いタスクでの性能が大きく低下することがある。

Google Researchが発表したSleep frameworkは、大規模言語モデルの持続学習における知識保持を研究している。このフレームワークは人間が眠っている間の記憶定着机制から着想を得たもので、モデルが新しいデータを受け取りながら、既存の知識を維持する力を同時に強化する。

単純な訓練回数の上乗せではない。Sleepが tackling しているのは、持続学習における核心的な課題――壊滅的忘却――だ。

研究論文は2606.03979という番号のarXivプレプリントとして公開されている。論文がHacker Newsのフロントページに載った時点では89 points、6 commentsが記録された。

結論を先に述べるなら、Sleepの価値はパラメータ更新の手法だけにあるのではない。Agentの「オンライン実行」と「オフライン整理」を分けて扱う設計思想のほうが重要かもしれない。

引用元:

Sleepは再訓練ではない

通常のfine-tuningは、訓練データを増やして、さらにいくつかのepochを回すという直感に従う。

しかし持続学習では、この方法でモデルが新しい分布へ引き寄せられることが多い。新規タスクのデータの割合が高いほど、既存知識への上書きが強くなる。訓練lossは下がり続けても、古いタスクでの性能は悪化していく。

Sleep frameworkは別のアプローチを取る。

人間の睡眠中の記憶定着机制に倣い、モデルが新しいデータを受け取る際、新しい情報だけを最適化するのではなく、既存知識の保持も同時に強化する。

重要な違いが2つある。

  1. 新しいデータの学習と古い知識の保持を、同じ訓練プロセスに組み込む。
  2. 古い知識を維持することを付加的な制約にせず、更新目標の一部にする。

つまり、Sleepは「旧モデル+新データ+追加の訓練回数」という単純な組み合わせではない。新たな経験を吸収しながら、上書きされやすい知識表現を再活性化する、並列的な定着机制により近い。

ただしEI Exchangeの抄録では、実装の詳細はすべて展開されていない。定着をreplay、パラメータ制約、lossの重み付け、またはそれらの組み合わせで実現するのかは、論文とコードで確認する必要がある。エンジニアリングチームにとって、これは重要な点だ。考え方が明快であることと、そのまま本番システムへ適用できることは別である。

本当の敵は壊滅的忘却

持続学習を評価问题时、新しいタスクのスコアだけを見てはいけない。

より完全な評価では、次を同時に記録する必要がある。

  • 新しいタスクを学習した後の性能
  • 古いタスクの性能が低下した程度
  • 学習順序を変更しても結果が安定するか
  • 訓練データが増え続けても、モデルに実用可能な容量が残っているか

最後の項目は特に重要だ。モデルのパラメータには限りがある。新しい経験を毎回そのままパラメータへ書き込む一方、整理する仕組みがなければ、いずれ知識の上書きが起こる。

RAGと長期コンテキストに高い期待が寄せられるのはこのためである。状態を外部ストレージに保管すれば、理論上はパラメータ层面的忘却を減らせる。しかし外部メモリも無料ではない。

Agentはツール呼び出しの履歴、ユーザーのフィードバック、タスク結果、失敗ログを蓄積し続ける。すべてをコンテキストへ入れると、コンテキストウィンドウ、コスト、retrievalノイズの問題に直面する。要約だけを残すと、重要な詳細を失う可能性-CAがある。すべての体験をリアルタイムで書き込みjongても、知識が本当に安定して定着したとは限らない。

Sleepが提示する視点は別の所能にある。忘却は単なるモデル容量の問題ではなく、定着のタイミングが間違っている versioning microlayerでも冠军elled。

システムが実行の合間に経験を能動的に整理できれば、モデル更新時に、選別されていない新しいデータの列を直接処理する必要がなくなる。

単に「どのreplay bufferを使ったか」を比較するより、長期稼働システムの問題に近い。Agentにとって重要なのは、あるbenchmarkの最終スコアが何ポイント上がったかではなく、数週間稼働した後、数週間前に|Д?形成的した有効な作業習慣を記憶しているかどうかだ。

Agentメモリにも「睡眠期」がある

長期稼働するAgentは、3つの段階に分けられる。

オンライン実行

Agentはタスクを受け取り、ツールを呼び出し、RAGの結果を読み込み、アクションを生成する。

この段階では低遅延を優先すべきだ。意思決定ごとにモデルを再訓練するのは現実的でない。合理的な方法は、新しい体験をログ、イベントストリーム、episodic memoryへ書き込むことである。

オフライン整理

システムはアイドル時間を利用して、経験を重複排除、統合、要約し、矛盾を検出する。

たとえば、同じユーザーが異なる日に互いに矛盾する2つの好みを伝えたとする。Agentは両方の記録を同じ重みで有効とみなすべきではない。整理段階では、これらをタイムスタンプ、出典、confidenceを持つ状態へ統合できる。

メモリ定着

整理された結果は、モデルパラメータ、retrievalインデックス、長期メモリ層のいずれかへ反映される。必要に応じて古いサンプルを再访问し、新しい更新が既存能力を損ね 않은かを確認する。

これはAgent版の「睡眠サイクル」にかなり近い。

以下は模式的なコードである。Sleep frameworkの公式実装ではなく、オンライン実行とオフライン定着のエンジニアリング境界を示すだけである。

from dataclasses import dataclass
from datetime import datetime, timezone
import json
from pathlib import Path

@dataclass
class Experience:
    task: str
    outcome: str
    created_at: str

class MemoryStore:
    def __init__(self, path: str = "memories.jsonl"):
        self.path = Path(path)

    def append(self, item: Experience) -> None:
        with self.path.open("a", encoding="utf-8") as f:
            f.write(json.dumps(item.__dict__, ensure_ascii=False) + "\n")

    def read(self) -> list[Experience]:
        if not self.path.exists():
            return []
        rows = []
        with self.path.open(encoding="utf-8") as f:
            for line in f:
                if line.strip():
                    rows.append(Experience(**json.loads(line)))
        return rows

def consolidate(items: list[Experience]) -> list[Experience]:
    latest_by_task = {}
    for item in sorted(items, key=lambda x: x.created_at):
        latest_by_task[item.task] = item
    return list(latest_by_task.values())

if __name__ == "__main__":
    store = MemoryStore()
    store.append(Experience(
        task="生成周报",
        outcome="使用 Python 汇总 CSV",
        created_at=datetime.now(timezone.utc).isoformat(),
    ))
    durable = consolidate(store.read())
    print(json.dumps([x.__dict__ for x in durable], ensure_ascii=False, indent=2))

この例でやっているのは1つだけだ。同じタスクについて最新状態を保持する。本番版では、失敗した経験、矛盾する事実、情報の信頼性、要約へ上書きしてはならない重要な出来事などを扱う必要がある。

Sleepの研究上の意義はここにある。持続学習は「データを流し続け続けること」と理解されがちだが、Agentメモリの設計では、停止、整理、定着のリズムも設計する必要がある。

「バックグラウンドで訓練する」より「睡眠期」と表現するのが正確な理由でもある。バックグラウンド訓練は計算上の操作しか表さない。睡眠期は、新しいタスクを追いかけることを一時的に止め、どの知識を保持、統合、重み付け oughtすべきかを確認する段階を強調する。

論文とプロダクトの間には、3段階の検証が必要

2606.03979というarXiv番号で公開されていることは、研究が検査と再現 가능한段階に入ったことを意味する。ただし、論文の公開がそのまま本番利用可能性につながるわけではない。

少なくとも3段階の検証が欠けている。

1. タスクの交換

ある種類の问答や特定の生成タスクだけで有効なら、一般的な持続学習の問題を解決しているのか、特定のデータ分布における最適化技巧なのかを判別しにくい。

少なくとも分類、質問回答、コード生成、ツール呼び出しなど、性質の異なるタスクを対象にし、タスク順序も確認すべきだ。順序が変わるだけで、安定性の差が明確になる場合が多い。

2. モデル規模の交換

小モデルの「古い知識」は、少数のパラメータやサンプルへの記憶に依存している可能性がある。大規模モデルは、コンテキスト上のin-context learningでタスクを解く 也可以している。

Sleepがこの差を越えられるかは、Ⅰ Exchangeの抄録だけでは判断できない。1B、7B、70Bなど異なる規模と、instruction tuningの有無を検証する必要がある。

3. 長期タスクの実行

短いbenchmarkでは通常、数回のタスク切り替えしか行わない。実際のAgentは数週間連続で稼働し、何千もの対話を蓄積する可能性がある。

長期検証では少なくとも次を記録する。

  • 古いタスクの平均性能
  • 平均スコアだけでなく、最悪のタスク性能
  • ストレージ、retrieval、訓練のコスト
  • メモリが矛盾したときの修復時間
  • 持続学習によって安全ポリシーが回避されないか

最後の項目は Easily 無視されがちだ。モデルが信頼できないテキスト、ツール出力、ユーザーferm—from(absinthe)を継続的に吸収すると、パラメータ更新によって攻撃面が広がる可能性がある。メモリ定着は「より多く記憶すること」だけを目指してはならず、そもそも長期メモリへ入れるべきでない内容を考慮しなければならない。

Hacker Newsのページが89 points、6 commentsを集めたことは、開発者層の関心が高いことを示す。ただし、社区の盛り上がりは再現実験の結果を代替しない。

編集者の視点

Sleepの重要性は、持続学習にttier耳触りの良い名前を付けたことにあるのではない。「定着」をシステム設計へ戻した点にある。新知識の学習と既存知識の保持は、もともと互いに衝突する別々の目標として扱うべきものではない。

長期稼働するAgentへの启发のほうが有望だ。Agentのメモリ更新は、リアルタイム性が越高ければよいわけではない。パラメータを頻繁に書き換えると、忘却、汚染、ロールバックのコストを 계속負担することになる。まずオンラインで蓄積し、次にオフラインで整理し、最後に分散して定着させる設計のほうが、運用可能なシステムに近い。

過去の持続学習研究字符不同的是、研究の視点が単一モデルから完全なメモリサイクルへ広がったことにある。問いは「モデルが新しいタスクを習得できるか」だけではない。「システムが長期稼働しても、既存能力を守り切れるか」という問いも含む。

ただし、現時点では研究結果をそのまま本番案とみなすことはできない。異なるタスク、モデル規模、稼働期間での安定性は再現実験待ちであり、メモリ汚染や安全境界も「定着」机制会自动的には消えない。Sleepは直ちに展開できる「記憶の永久化」技術というより、検証に値する技術路线である。

出典: https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/