框架

Sleep 框架解析:讓 LLM 持續學習不再容易遺忘

Google Research 的 Sleep framework 將新知識學習與既有能力鞏固整合為同一套流程。它不只著眼於降低災難性遺忘,也為長期運行的 Agent 提出「線上執行、離線整理」的分層記憶架構。

字級

大模型學會新任務後,舊能力可能隨之下降。Google Research 的 Sleep framework 探討如何同時吸收新資料並保留既有知識;對長期運行的 Agent 而言,這套思路可用來設計延遲整理記憶的流程。

大模型持續學習面對一個相當現實的問題:模型掌握新任務後,舊任務的表現可能明顯下滑。

Google Research 最近發表 Sleep framework,聚焦大語言模型在持續學習中的知識保留。框架借鑑人類睡眠時的記憶鞏固機制:模型持續接收新資料,同時強化對既有知識的保留能力。

這並非單純增加訓練輪次。Sleep 要解決的是持續學習的核心障礙——災難性遺忘。

研究論文已以 arXiv 預印本形式公開,編號為 2606.03979。論文登上 Hacker News 首頁時獲得 89 points,頁面共有 6 則留言。

先談重點:Sleep 真正的價值,可能不只在參數更新方法,而是將 Agent 的「線上執行」與「離線整理」分開處理。

原始資料:

Sleep 不是把舊流程再跑一次

一般微調通常遵循一個直覺:擴充訓練資料,再多跑幾個 epoch。

但在持續學習中,這種做法容易把模型推向新的資料分布。新任務資料占比越高,模型覆蓋舊知識的程度就越大。訓練 loss 可能持續下降,舊任務表現卻也跟著變差。

Sleep framework 採取的是另一條路徑。

它借鑑人類睡眠中的記憶鞏固機制:模型持續接收新資料時,不只最佳化新資訊,也同步強化對既有知識的保留。

關鍵差異有兩點:

  1. 學習新資料與保留舊知識被納入同一個訓練過程。
  2. 舊知識的維持不再只是附加限制,而成為更新目標的一部分。

因此,Sleep 並不是「舊模型 + 新資料 + 更多訓練輪次」的簡單組合。它更像一套並行鞏固機制:模型一邊吸收新經驗,一邊重新活化容易被覆蓋的知識表示。

不過,官方部落格摘要並未交代完整實作細節。究竟透過重放、參數限制、loss 加權或組合策略完成鞏固,仍須以論文與程式碼為準。這對工程團隊格外重要:架構思路清楚,不代表能立即搬進生產環境。

真正的對手是災難性遺忘

持續學習不能只看新任務的分數。

更完整的評測應同時記錄:

  • 完成新任務學習後,新任務的效能如何;
  • 舊任務效能下降多少;
  • 學習順序改變後,結果是否穩定;
  • 訓練資料持續增加後,模型是否仍有可用容量。

最後一點尤其關鍵。模型參數容量有限;如果每次新經驗都直接寫入參數,卻沒有整理機制,知識覆蓋遲早會發生。

這也是 RAG 與長期上下文常被寄予厚望的原因:把狀態放進外部儲存,理論上能減少參數層面的遺忘。但外部記憶並非沒有成本。

Agent 會持續累積工具呼叫紀錄、使用者回饋、任務結果與失敗日誌。若全部塞進上下文,就會面臨 context window、成本與檢索雜訊等問題;只保留摘要,又可能遺失細節。即時寫入每一段經歷,也不代表知識真的獲得穩定保存。

Sleep 提供的是另一個視角:遺忘不只是模型容量不足,也可能源於鞏固時機安排不當。

如果系統能在執行空檔主動整理經驗,模型更新時便不必直接面對一連串未經篩選的新資料。

這比單純比較「採用哪種 replay buffer」更接近長期系統問題。對 Agent 而言,關鍵指標不是某個 benchmark 的最終分數提高了多少,而是連續運作數週後,它是否仍記得數週前形成的有效工作習慣。

Agent 記憶也需要「睡眠期」

長期運行的 Agent 可以拆成三個階段:

線上執行

Agent 接收任務、呼叫工具、讀取 RAG 結果並產生行動。

這個階段應以低延遲為優先。每次決策都觸發模型重新訓練,顯然不切實際。較合理的做法,是將新經驗寫入日誌、事件流或 episodic memory。

離線整理

系統利用閒置時間,對經歷進行去重、合併、摘要與衝突偵測。

例如,同一位使用者在不同日期提出兩個互相矛盾的偏好,Agent 不應將兩筆記錄視為同等有效。整理階段可以將它們合併為帶有時間戳、來源與信賴度的狀態。

記憶鞏固

整理後的結果再寫入模型參數、檢索索引或長期記憶層。必要時重新存取舊樣本,確認新一輪更新是否損害舊有能力。

這其實很像 Agent 版的「睡眠週期」。

以下為示意程式碼,並非 Sleep framework 的官方實作,主要呈現線上執行與離線鞏固之間的工程邊界:

from dataclasses import dataclass
from datetime import datetime, timezone
import json
from pathlib import Path

@dataclass
class Experience:
    task: str
    outcome: str
    created_at: str

class MemoryStore:
    def __init__(self, path: str = "memories.jsonl"):
        self.path = Path(path)

    def append(self, item: Experience) -> None:
        with self.path.open("a", encoding="utf-8") as f:
            f.write(json.dumps(item.__dict__, ensure_ascii=False) + "\n")

    def read(self) -> list[Experience]:
        if not self.path.exists():
            return []
        rows = []
        with self.path.open(encoding="utf-8") as f:
            for line in f:
                if line.strip():
                    rows.append(Experience(**json.loads(line)))
        return rows

def consolidate(items: list[Experience]) -> list[Experience]:
    latest_by_task = {}
    for item in sorted(items, key=lambda x: x.created_at):
        latest_by_task[item.task] = item
    return list(latest_by_task.values())

if __name__ == "__main__":
    store = MemoryStore()
    store.append(Experience(
        task="生成周報",
        outcome="使用 Python 彙總 CSV",
        created_at=datetime.now(timezone.utc).isoformat(),
    ))
    durable = consolidate(store.read())
    print(json.dumps([x.__dict__ for x in durable], ensure_ascii=False, indent=2))

範例只做了一件事:針對同一項任務保留最新狀態。生產版本還需處理失敗經驗、衝突事實、來源可信度,以及重要事件不可被摘要覆蓋等問題。

Sleep 的研究意義正在於此。持續學習原本容易被理解成「不斷餵資料」,Agent 記憶工程則提醒我們,系統還需要安排暫停、整理與鞏固的節奏。

這也解釋了為何「睡眠期」比「背景訓練」更精確。背景訓練只描述了運算動作;睡眠期強調的是,系統暫時停止追逐新任務,轉而檢查哪些知識應當保留、合併或降權。

從論文走向產品,仍缺三項驗證

arXiv 編號 2606.03979 已公開,代表研究進入可檢驗、可重現的階段,但論文公開並不等於能投入生產。

至少還缺三項驗證。

1. 更換任務

如果方法只在某一類問答或某套生成任務上有效,就難以判斷它解決的是一般性的持續學習問題,還是特定資料分布下的最佳化技巧。

評測至少應涵蓋分類、問答、程式碼生成與工具呼叫等不同任務,並檢查任務順序。不同順序往往會顯露出明顯的穩定性差異。

2. 更換模型規模

小模型的「舊知識」可能主要存在於少數參數與樣本記憶中;大型模型則可能仰賴上下文中的 in-context learning 完成任務。

僅憑部落格摘要,無法判斷 Sleep 能否跨越這項差異。還需測試 1B、7B、70B 等不同規模,以及模型是否經過 instruction tuning。

3. 執行長期任務

短程 benchmark 通常只進行幾輪任務切換,真正的 Agent 則可能連續運作數週,累積數千次互動。

長期驗證至少應記錄:

  • 舊任務的平均效能;
  • 最差任務的效能,而不只是平均分數;
  • 儲存、檢索與訓練成本;
  • 記憶發生衝突時的修復時間;
  • 安全策略是否因持續學習而被繞過。

最後一項容易被忽略。模型持續吸收不可信文字、工具輸出與使用者內容時,參數更新也可能擴大攻擊面。記憶鞏固不能只追求「記住更多」,還必須考量哪些內容根本不該進入長期記憶。

Hacker News 頁面獲得 89 points 與 6 則留言,顯示開發社群關注度不低,但社群熱度不能取代重現結果。

編輯觀察

Sleep 的重要性不在於替持續學習換了一個聽起來更順耳的名稱,而是將「鞏固」重新放回系統設計之中。學習新知識與保留舊知識,原本就不該被拆成兩個互相衝突的目標。

它對長期運行 Agent 的啟發尤其值得關注。Agent 的記憶更新未必越即時越好;頻繁改寫參數,會持續背負遺忘、污染與復原成本。先在線上累積,再離線整理,最後分批鞏固,較符合可維運系統的需求。

這項研究與過去的持續學習工作不同之處,在於視角已從單一模型延伸至完整的記憶週期。它不只探討「模型能否學會新任務」,也追問「系統長期運行時能否守住既有能力」。

但現階段仍不能把研究結果直接等同於生產方案。不同任務、模型規模與執行長度下的穩定性尚待重現,記憶污染與安全邊界也不會因為導入「鞏固」機制便自動消失。Sleep 更像一條值得驗證的技術路線,而非能直接部署的「記憶永生術」。

來源: https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/