框架

Sleep 框架深度解析:LLM 持续学习如何少遗忘

Google Research 的 Sleep framework 把新数据学习与旧知识巩固放进同一过程。它值得关注的,不只是减少灾难性遗忘,也包括为长期运行 Agent 提供“在线执行、离线整理”的记忆架构。

字号

大模型学会新任务后,旧能力可能下降。Google Research 的 Sleep framework 研究如何同时学习新数据和保留旧知识。对长期运行 Agent,这套思路可用于设计延迟整理记忆的流程。

大模型持续学习有一个很现实的问题:学会新任务后,旧任务能力可能明显下降。

Google Research 最近发布 Sleep framework,研究的正是大语言模型在持续学习中的知识保留。框架借鉴人类睡眠时的记忆巩固机制:模型继续接收新数据,同时强化对既有知识的保留。

这不是简单地把训练轮数加一。Sleep 试图解决的是持续学习中的核心障碍——灾难性遗忘。

研究论文已公开为 arXiv 预印本,编号 2606.03979。论文登上 Hacker News 首页时获得 89 points,页面有 6 条评论。

先说结论:Sleep 最有价值的地方,可能不只是参数更新方法,而是把 Agent 的“在线执行”和“离线整理”分开处理。

原始资料:

Sleep 不是再训一遍

普通微调通常遵循一个直觉:增加训练数据,再多跑几个 epoch。

但对于持续学习,这种做法容易把模型推向新分布。新任务的数据占比越高,模型对旧知识的覆盖就越强。训练 loss 可能继续下降,旧任务表现却一起变差。

Sleep framework 换了一个思路。

它借鉴人类睡眠中的记忆巩固机制:当模型继续接收新数据时,不是只优化新信息,而是同步强化对既有知识的保留。

关键区别有两个:

  1. 学习新数据与保留旧知识被放进同一个训练过程。
  2. 旧知识的保持不再只是附加约束,而成为更新目标的一部分。

这意味着 Sleep 不是“旧模型 + 新数据 + 更多训练轮数”的简单组合。它更像一种并行巩固机制:模型一边吸收新经验,一边重新激活容易被覆盖的知识表示。

不过,博客摘要没有展开全部实现细节。究竟通过重放、参数约束、损失加权,还是组合策略完成巩固,需要以论文和代码为准。对工程团队来说,这一点很重要。思想清晰,不等于可以立即照抄到生产系统。

真正的对手是灾难性遗忘

持续学习不是只看新任务得分。

更完整的评测应该同时记录:

  • 学完新任务后,新任务性能如何;
  • 旧任务性能下降了多少;
  • 学习顺序变化后,结果是否稳定;
  • 训练数据持续增加后,模型是否仍有可用容量。

最后一点尤其关键。模型参数是有限的。如果每次新经验都直接写入参数,又没有整理机制,早晚会发生知识覆盖。

这也是 RAG 和长期上下文常被寄予厚望的原因:把状态放进外部存储,理论上能减少参数层面的遗忘。但外部记忆不是免费的。

Agent 会不断积累工具调用记录、用户反馈、任务结果和失败日志。全部塞进上下文,会遇到上下文窗口、成本和检索噪声问题。只保留摘要,又可能丢掉细节。实时写入每条经历,也未必意味着知识真的被稳定保存。

Sleep 提供的是另一个视角:遗忘不只是模型容量问题,也可能是巩固时机不对。

如果系统能在执行间隙主动整理经验,模型更新时就不必直接面对一串未经筛选的新数据。

这比单纯比较“用了哪种 replay buffer”更接近长期系统问题。因为对 Agent 来说,重要指标不是某个 benchmark 上最后高了几个点,而是运行数周后,它是否还记得几周前形成的有效工作习惯。

Agent 记忆也有“睡眠期”

长期运行 Agent 可以拆成三个阶段:

在线执行

Agent 接收任务,调用工具,读取 RAG 结果,生成动作。

这一阶段应该追求低延迟。每一次决策都触发模型重新训练显然不现实。更合理的做法是把新经历写入日志、事件流或 episodic memory。

离线整理

系统利用空闲时间,对经历做去重、合并、摘要和冲突检测。

比如,同一个用户在不同日期给出了两个互相矛盾的偏好。Agent 不应该把两条记录都视为同等有效。整理阶段可以把它们归并成带时间戳、带来源、带置信度的状态。

记忆巩固

整理后的结果再进入模型参数、检索索引或长期记忆层。必要时重新访问旧样本,检查新更新是否破坏旧能力。

这其实很像一个 Agent 版的“睡眠周期”。

下面是示意代码。它不是 Sleep framework 的官方实现,只表达在线执行与离线巩固的工程边界:

from dataclasses import dataclass
from datetime import datetime, timezone
import json
from pathlib import Path

@dataclass
class Experience:
    task: str
    outcome: str
    created_at: str

class MemoryStore:
    def __init__(self, path: str = "memories.jsonl"):
        self.path = Path(path)

    def append(self, item: Experience) -> None:
        with self.path.open("a", encoding="utf-8") as f:
            f.write(json.dumps(item.__dict__, ensure_ascii=False) + "\n")

    def read(self) -> list[Experience]:
        if not self.path.exists():
            return []
        rows = []
        with self.path.open(encoding="utf-8") as f:
            for line in f:
                if line.strip():
                    rows.append(Experience(**json.loads(line)))
        return rows

def consolidate(items: list[Experience]) -> list[Experience]:
    latest_by_task = {}
    for item in sorted(items, key=lambda x: x.created_at):
        latest_by_task[item.task] = item
    return list(latest_by_task.values())

if __name__ == "__main__":
    store = MemoryStore()
    store.append(Experience(
        task="生成周报",
        outcome="使用 Python 汇总 CSV",
        created_at=datetime.now(timezone.utc).isoformat(),
    ))
    durable = consolidate(store.read())
    print(json.dumps([x.__dict__ for x in durable], ensure_ascii=False, indent=2))

示例只做了一件事:同一任务保留最新状态。生产版本还需要处理失败经验、冲突事实、来源可信度和重要事件不能被摘要覆盖等问题。

Sleep 的研究意义在这里。持续学习原本容易被理解成“不断喂数据”。Agent 记忆工程则提醒我们,还要设计暂停、整理、巩固的节奏。

这也解释了为什么“睡眠期”比“后台训练”更准确。后台训练仍然只描述了计算动作。睡眠期强调的是:系统暂时停止追逐新任务,转而检查哪些知识应该被保留、合并或降权。

论文与产品之间,还缺三步验证

arXiv 编号 2606.03979 已公开,说明研究进入了可检查、可复现的阶段。但论文公开不等于生产可用。

至少还缺三步验证。

1. 换任务

如果方法只在某一类问答或某套生成任务上有效,就很难判断它解决的是一般性的持续学习问题,还是特定数据分布下的优化技巧。

至少应覆盖分类、问答、代码生成、工具调用等不同任务,并检查任务顺序。不同顺序往往会暴露明显的稳定性差异。

2. 换模型规模

小模型上的“旧知识”可能主要存在于少数参数和样本记忆里。大模型则可能依靠上下文中的 in-context learning 完成任务。

Sleep 是否能跨过这个差异,目前不能仅凭博客摘要判断。还要看 1B、7B、70B 等不同规模,以及是否使用 instruction tuning。

3. 跑长期任务

短 benchmark 通常只做几轮任务切换。真正的 Agent 可能连续运行数周,积累数千次交互。

长期验证至少要记录:

  • 旧任务平均性能;
  • 最差任务性能,而不只是平均分;
  • 存储、检索和训练成本;
  • 记忆冲突时的修复时间;
  • 安全策略是否因持续学习而被绕过。

最后一项容易被忽略。模型持续吸收不可信文本、工具输出和用户内容时,参数更新也可能扩大攻击面。记忆巩固不能只追求“记得更多”,还得考虑哪些内容根本不该进入长期记忆。

Hacker News 页面获得 89 points、6 条评论,说明开发者关注度不低。但社区热度不能替代复现结果。

编辑思考

Sleep 的重要性,不在于它给持续学习换了一个更顺耳的名字,而在于它把“巩固”放回系统设计。学习新知识与保留旧知识,本来就不该被拆成两个互相冲突的目标。

我更看好它对长期运行 Agent 的启发。Agent 的记忆更新未必越实时越好。频繁改写参数,会持续承担遗忘、污染和回滚成本。先在线积累,再离线整理,最后分批巩固,更接近可运维的系统。

这次与过去的持续学习工作不同之处,是研究视角从单个模型扩展到了完整记忆周期。它不只问“模型能否学会新任务”,还问“系统长期运行时能否守住已有能力”。

不过,现阶段不能把研究结果直接等同于生产方案。不同任务、模型规模和运行长度下的稳定性仍待复现,记忆污染与安全边界也不会因“巩固”机制自动消失。Sleep 更像一条值得验证的技术路线,而不是可直接部署的“记忆永生术”。

来源: https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/