睡眠不是人类的专利，大模型也得按时上床。
大型语言模型在处理连续不断的新数据时，会像考前突击的学生一样，学完后面忘光前面。最新的研究指出，解决这个“灾难性遗忘”问题的关键，可能就藏在人类睡梦中的记忆巩固和“做梦”过程里。这项关于“知识播种”和“主动/睡眠阶段”的设计，为AI的持续学习提供了全新的生物灵感。
常规机器学习把训练和测试分成了两个世界
在传统的机器学习流程里，日子过得很规律。模型先进入“训练期”，对着海量数据和正确答案埋头苦读，死记硬背各种规律。这个阶段结束之后，模型就正式毕业，进入“测试期”或者“应用期”。这时候它面对的全是新问题，但它的参数和知识库被彻底冻结，不能再学任何一个新样本。
这种一刀切的划分方式，在现实世界面前显得有点死板。想想看，一个推荐系统每天要面对几百万个新上架的商品和用户行为变化，一个聊天机器人要随时了解最新的新闻事件和网络热梗。如果每过一小时就把整个模型重新训练一遍，那成本高到能把公司搞破产。如果完全不学习，那模型给出的信息就和现实脱节，变得又蠢又过时。
这种静态的划分方式，默认了世界在模型训练完成的那一刻就停止了变化。但真实世界是个永不停歇的信息流，新的模式、新的词汇、新的因果关系每分每秒都在诞生。想让模型保持聪明，就得让它具备一种全新的能力——像人一样，一辈子都在学习，但不会学了新的就扔掉旧的。
持续学习就是要抹掉那条分界线
持续学习这个新领域，干的就是这件事。它的目标很明确：让模型能够从连续不断的数据流中持续吸收新知识，同时牢牢记住以前学过的重要东西。在这种设定下，“训练”和“测试”的界限被彻底模糊掉，模型的生命周期变成了一个没有终点的连续过程。
这活儿比想象中难得多。人工神经网络有个天生的毛病，叫做“灾难性遗忘”。当模型开始学新任务A，它的权重就调整到最适合A的位置。等接下来学任务B的时候，为了把B学好，权重又会大挪移，这时候之前为了A调整好的权重就被覆盖了。结果就是，B学会了，A忘得一干二净。
这个问题在生物学大脑里几乎不会发生。人的大脑每天接收海量信息，但童年的事和昨天吃的午饭都能记住。这说明生物神经网络肯定有某种特殊的机制，来平衡新知识吸收和旧知识保存之间的矛盾。科学家们盯上了一个关键过程：睡眠。
人脑的睡眠其实是在偷偷整理白天的笔记
以前人们觉得睡觉就是休息，是大脑关机重启。现在神经科学研究发现，睡眠是个极其活跃的知识整理过程。白天我们经历的事情，会暂时存放在一个叫“海马体”的临时仓库里。但这些记忆是脆弱的、不稳定的，像写在便利贴上的笔记，随时可能被吹走。
到了晚上睡着之后，大脑开始重放白天的经历。海马体里那些短期记忆，会通过特定脑电波的活动，被搬运到大脑皮层这个长期储存库里去。这个过程叫“记忆巩固”。一旦记忆被转移到皮层，它就变成了稳定的长期记忆，和旧知识整合在一起，不那么容易被新东西覆盖了。
更有意思的是“做梦”这个环节。快速眼动睡眠期间，大脑会生成大量看似荒诞离奇的梦境。这些梦不是纯粹乱来，而是大脑在已有知识的基础上进行随机组合和推演。这种内部生成的虚拟经历，相当于让大脑在没接触新数据的情况下，自己给自己出题、自己给自己补课，强化了神经连接，甚至可能发现白天没注意到的潜在规律。
大模型的主动期就是在疯狂接收新知识
受到这个生物过程的启发，研究人员给持续学习的大模型设计了一套全新的生命周期管理方案。这个方案把模型的时间分成了两种截然不同的模式：“主动期”和“睡眠期”。
在“主动期”里，模型和现实世界直接连线。各种新数据源源不断地涌进来，可能是新的对话、新的图像、新的传感器读数。模型在这个阶段全神贯注地处理这些输入，更新自己内部那些灵活、变动快的小模块。这些模块负责捕捉短期模式和具体细节，反应速度极快，但记住的东西不牢靠，很快就会被后续的新输入冲淡。
这个阶段对应着人白天清醒的时候。模型快速吸收周围环境的信息，对每一个新出现的刺激做出回应。它不追求长期保存，只求当下能准确理解和处理。因为如果每一笔新数据都强迫模型永久记住，那计算量根本撑不住，而且会让模型变得僵化，无法快速适应下一批新数据。
睡眠期模型开始把短期记忆搬进长期仓库
“主动期”跑了一阵子之后，模型会进入“睡眠期”。这可不是让服务器断电休息，而是切换到一种完全不同的内部运算模式。在这个阶段，模型不再接收任何外部输入，它只做一件事：整理内部知识。
具体操作是这样的：模型会把自己在“主动期”里学会的那些临时知识，用一种叫做“知识播种”的技术，转移到更大、更稳定的大模块里去。这个过程有点像把写在便利贴上的重要信息，工工整整地誊写到精装硬壳笔记本上。研究人员设计了一个巧妙的蒸馏流程，让小模块当老师，把新学到的经验教训“教”给大模块。
这个迁移过程是高度选择性的。模型会判断哪些新知识是重要的、和旧知识能关联上的，然后才进行巩固。不是所有短期记忆都能变成长期记忆，大脑会通过某种机制筛选信息，模型也借鉴了这套逻辑。只把有价值的东西归档，无用的噪音直接丢弃，这样长期仓库就不会被垃圾信息塞满。
知识播种就是小模型给大模型当私人家教
前面提到的“知识播种”，是这套睡眠机制里最核心的技术发明。以前的知识蒸馏，通常是用一个大模型当老师，教一个小模型怎么模仿自己。但在这个新方案里，方向反过来了：用多个小模型或者灵活的模块当老师，去教那个庞大笨重的主干模型。
小模型因为参数少、结构简单，学起新东西来特别快，对近期数据的拟合度很高。但它们容量有限，记不住太多东西。大模型容量巨大，学东西慢，但一旦学会了就忘不掉。让灵活的小模型在“主动期”快速吸收新数据，然后在“睡眠期”把这些天学到的新鲜货，一股脑地“播种”到大模型的知识体系里去。
这个“播种”的过程不是简单复制粘贴。小模型要教会大模型的不只是答案，更重要的是决策逻辑和内部表征。大模型接收到这些新信息后，会把它和自己已有的庞大知识库进行整合对齐，就像把新书插入图书馆的既有分类体系里，而不是随便堆在地上。
实验数据证明睡过觉的模型确实更聪明
研究人员在连续学习和推理任务上测试了这个新流程。结果很乐观：引入了“主动/睡眠”阶段和“知识播种”的模型，表现明显优于那些不睡觉、一直在线学习的传统模型。它们不仅更好地吸收了新知识，更关键的是，对老知识的保留程度大幅提升，灾难性遗忘被显著缓解了。
这种提升不是靠增加模型层数或者堆更多算力暴力实现的，而是靠优化学习节奏和内部信息流转方式。就像学生学习效果好不好，不只看他刷了多少题，还要看他有没有高质量的睡眠来巩固记忆。给大模型引入睡眠机制，可能是性价比极高的一种优化策略。
更有趣的是，这种设计还带来了一些附加效果。模型在“睡眠期”进行的内部知识推演，有点像在做梦。它把巩固好的长期记忆拿出来，和最近播种进来的新知识进行各种自由组合。这种内部生成的虚拟数据，相当于让模型在没有外部输入的情况下继续自我进化，越睡越聪明。
嵌套学习架构让快慢模块各司其职
这套睡眠机制能跑通，还得依赖一个叫“嵌套学习”的底层架构。在这个架构里，模型被分成多个计算模块，每个模块更新频率不一样。高频模块响应快，负责捕捉短期波动，但遗忘也快。低频模块反应慢，但储存稳定，负责长期知识沉淀。
这就像人体运动系统。小脑和脊髓负责快速反应，手碰到烫锅瞬间缩回来，不用过脑子。但形成长期运动技能，比如骑自行车、弹钢琴，靠的是大脑皮层慢慢建立的稳固连接。快系统和慢系统各管一摊，中间通过睡眠过程进行信息同步。
在模型的“主动期”，只有高频模块被激活和更新。低频大模块处于冻结状态，保持稳定。到了“睡眠期”，系统反过来，把高频模块里面积累的新信息，通过知识播种灌输到低频模块里去。这种“快慢分离、定期同步”的设计，从根本上解决了在线学习时权重冲突的难题。
主动期和睡眠期的时间比例是个学问
这套方案里有个很现实的问题：模型应该在“主动期”工作多久，然后进入“睡眠期”？这个时间比例怎么定，目前还没有标准答案，需要根据具体任务来调。
如果“主动期”太短，模型还没来得及从新数据里提取出有价值的模式，就匆匆去睡觉了，那学到的都是些琐碎噪音。如果“主动期”太长，模型积累了太多临时记忆，睡眠时一次性播种的负担太重，大模块来不及消化，反而会干扰已经存好的旧知识。
这就跟人类学习有点像。考前熬夜通宵不睡，第二天脑子是懵的，背的东西全混在一起。每天学一点，晚上按时睡觉让大脑整理，反而记得更牢。大模型也需要找到适合自己的学习和休息节奏，不能一味死磕新数据，也不能成天在服务器里躺着做梦。
未来的AI可能要集体打呼噜了
这项研究打开了一扇新的大门。以前我们优化模型，思路总在训练数据、模型结构、算力规模这三个要素上打转。现在多了一个新维度：生命周期管理。什么时候学，什么时候睡，什么时候做梦，这些时间维度上的调度，可能和模型本身的结构一样重要。
可以想象，未来的大型AI系统，可能不会像现在这样7x24小时不间断地处理所有请求。它可能像人类专家一样，有工作时段和休息时段。休息的时候，它不接新任务，专心做内部知识整合和自我提升。用户发过来的请求，可能先由快速响应的小模块处理，等主模型“睡醒”之后再进行深度加工。
把生物学里演化了几百万年的高效学习策略，重新发明一遍并且用代码实现出来。让大模型学会睡觉和做梦，不是给它增加负担，而是让它变得更像我们——学得进新东西，也记得住老故事。这或许就是通往通用人工智能路上，最接地气又最反直觉的一步。
不睡觉的大模型就是个学渣，考前突击全忘光；让它按时上床打个呼噜，反而成了学霸。
原文期刊: arXiv / 发表日期: 2026年7月14日 / 原文标题: LLMs Need Sleep and Dreaming / 作者单位背景: Ali Behrouz 等研究团队