sleep 框架：LLM 在持续学习中保留知识的新方式

Google Research 提出 sleep 框架，让 LLM 在"清醒"与"睡眠"阶段间交替：清醒期处理交互并存入短期记忆，睡眠期解锁预分配的 MoE 记忆块，通过参数扩展、知识蒸馏与"做梦"式自我改进把短期记忆巩固为长期参数。该框架使模型能持续获取新事实、保留长达 10M tokens 的长上下文知识并提升复杂推理能力，同时缓解灾难性遗忘。