The sleep framework：让 LLM 在持续学习中保留知识的睡眠框架

Google Research 提出 sleep framework，通过模拟人类睡眠机制帮助大语言模型在持续学习中稳定保留知识。该框架交替运行 active（wake）phase 和 sleep phase，利用 MoE 与 Hope 架构进行参数扩展、GKD 知识播种及 synapse pruning，支持模型将短期上下文转化为长期参数。