梦境中的发现：人工智能记忆中的跨域重组

# 人工记忆中的跨域重组  
来源：https://arxiv.org/html/2607.16256  

## 从梦境中发现的跨域人工记忆重组  

詹姆斯·埃文斯（James Evans）  
芝加哥大学 & 圣塔菲研究所  

大卫·伊格曼（David Eagleman）  
斯坦福大学  

###### 摘要  

梦境会将从未相遇的人、地点和时间拼接在一起：童年的厨房通往上周的街道，陌生人长着朋友的面孔。神经科学表明，这种重组并非噪声，而是功能所在。产生这些不可能并置的睡眠阶段，也正是产生洞察力和创造性发现的阶段。这重新定义了记忆巩固。记忆巩固通常被理解为对抗遗忘的防御机制（重放所学内容以使其持续存在），但其可测量的价值或许恰恰在于跨尚未共同出现的经验重组知识，正如梦境中的大脑所做的那样。我们直接检验了这一想法。我们分离出重组重放机制，并在两个架构无关的系统中加以实现：一个LoRA微调流水线（Dreams）和一个重放结构化知识对象的符号引擎（Sapience）。两者得出了相同的结论：跨域巩固创造价值，而域内复述则无益。符号系统发现了85.7%的新颖跨域连接，而基线为64.3%（+21个百分点）。神经系统的整体增益数值较小（+5.64个百分点，p=0.0055），但这反映了任务组合的差异而非机制的不同：神经基线平均包含四个广泛的任务族，但在明确需要跨域迁移的子任务上（例如GSM8K上未见过的数学推理），神经增益达到+14.5个百分点。该效应是权重的真实属性，而非提示词所致：将相同的跨域材料作为上下文前置输入到前沿规模（约671B）的模型中并不能复现该效应，事实上反而产生了逆向效果。当今的语言模型无法自行以这种方式重组。我们通过5万篇真实论文中的文献记录验证了这一预测，并提出了一个可证伪的海马体记录预测，以区分重组与复述。该原则具有底物普适性，在两个架构无关的系统中成立，并能在大规模范围内追踪真实的发现过程；其神经实现受容量门控且对架构敏感，但只要底物能够编码跨域结构，其方向性就保持一致。训练一个模型阅读文献可以教会它回忆所见内容；而产生发现似乎需要一个独立的离线阶段，将知识跨域重组，这就是梦的计算模拟。巩固不是为了记忆，而是为了发现。  

## 1 引言  

记忆巩固几乎被普遍视为一种对抗遗忘的防御机制。弹性权重巩固\[1 (https://arxiv.org/html/2607.16256#bib.bib1)\]、经验重放\[2 (https://arxiv.org/html/2607.16256#bib.bib2),3 (https://arxiv.org/html/2607.16256#bib.bib3)\]、知识蒸馏\[4 (https://arxiv.org/html/2607.16256#bib.bib4)\]以及渐进式神经网络\[5 (https://arxiv.org/html/2607.16256#bib.bib5)\]都旨在保护所学内容不被后续信息覆盖。但神经科学讲述了一个不同的故事。海马体重放并非忠实地再现清醒时的经历：位置细胞序列包含了在清醒时从未经历过的转换\[10 (https://arxiv.org/html/2607.16256#bib.bib10)\]，并且REM阶段的重放会将来自不同经历的片段重组为新颖的配置\[9 (https://arxiv.org/html/2607.16256#bib.bib9),8 (https://arxiv.org/html/2607.16256#bib.bib8)\]。在暴露与测试之间睡眠的受试者比在同一间隔内保持清醒的受试者更有可能发现隐藏规则\[12 (https://arxiv.org/html/2607.16256#bib.bib12)\]，且该益处特定依赖于与重组重放相关的睡眠阶段\[8 (https://arxiv.org/html/2607.16256#bib.bib8)\]。生物学功能似乎超越了保存：巩固作为一种产生新颖组合的机制。  

该机制在经验层面是熟悉的。一种常见的梦境形式将童年家中的厨房、上周飞过的机场以及九岁时观看的电影中的狗交织在一起，将来自不同清醒分布的从未共同出现的材料并置到一个场景中。产生这些场景的重组操作正是我们在人工学习者中检验的操作。我们提供了来自两个架构无关的人工系统的收敛性证据来支持这一重新定义。一个LoRA微调的神经网络（Dreams）通过注入合成的巩固数据（重放、LLM生成的反事实、对抗性边缘案例）进行训练。一个结构化知识检索引擎（Sapience）通过LLM提取过程重放来自科学领域的存储知识对象，以识别跨域连接。这两个系统没有共同的架构、训练程序或评估指标，却产生了相同的结果模式。  

该模式包含三个组成部分。首先，域内巩固不产生可测量的益处。神经臂在匹配条件下（rank 128, Qwen-72B裁判，保留评估集）产生零效应（每个条件下n=3×150，p>0.30，效应量为−1.8±4.4个百分点）。在符号臂中，最接近的类比（单个领域内的跨子领域重放，宇宙学，§4.3 (https://arxiv.org/html/2607.16256#S4.SS3)）产生了近乎零的增益。其次，一旦表征容量足够，跨域巩固在两个系统中都产生可测量的正向效应。符号臂以85.7%的比例发现新颖连接，而基线为64.3%（+21个百分点）；92.9%的重放揭示的跨域边被独立判定为真实（n=453），并且边的自信度与地面真实性之间的Spearman相关系数ρ=0.367（p<10^{-4}）。神经臂在Llama-3.1-8B且r=256时产生+5.64±2.31个百分点（5/5种子正向，配对t检验p=0.0055，Bootstrap 95%置信区间[+3.56, +6.81]个百分点；§3.4 (https://arxiv.org/html/2607.16256#S3.SS4)）。在较低容量（r=128）时，神经臂产生可归因于容量未饱和的零效应。在更大规模（70B, 72B）下，更长的训练（iter=300和iter=500）无法挽救零效应：在所有测试的迭代下，8B规模的效应并未在70B上出现。匹配条件r=256的结果是支撑神经臂的关键发现；论文中支撑性主张与已被取代的主张的完整审计线索已在§3.5 (https://arxiv.org/html/2607.16256#S3.SS5)中整合。第三，该效应依赖于一个容量先决条件，该条件在两个系统中镜像反映。神经臂表现出清晰的单调秩剂量反应，效应从r=192开始出现，并在r=256时饱和。符号臂需要结构化表征格式：结构化声明在跨域匹配上比SPO三元组高出20个百分点，比纯文本高出30个百分点。两者在两种底物上得出相同发现：只有当底物具有足够的容量来编码跨域结构时，跨域巩固才创造价值。  

我们报告的模式是一个有据可查的社会学模式的计算影子：在数千万篇论文中，影响力和真正的新方向集中在遥远的组合和学科局外人的工作中\[44 (https://arxiv.org/html/2607.16256#bib.bib44),41 (https://arxiv.org/html/2607.16256#bib.bib41),40 (https://arxiv.org/html/2607.16256#bib.bib40),45 (https://arxiv.org/html/2607.16256#bib.bib45)\]。相同的不对称性在两个单个人工学习者内部出现，这表明该原则是底物普适的，而非人类社会组织的属性。我们明确指出哪些是收敛的，哪些不是：两个系统在方向上一致（跨域正向；神经臂域内零效应，符号臂宇宙学对照接近零）、在效应不出现的容量阈值上一致，以及因果位点一致（跨域桥结构，已通过对抗性洗牌零假设分离）。它们在效应量上不一致：符号臂+21个百分点是在为检测桥而构建的任务上测量的，而神经臂+5.64个百分点是在部分跨域的任务组合上平均的（§3.4 (https://arxiv.org/html/2607.16256#S3.SS4.SSS0.Px13)）。  

负面结果与正面结果同样具有信息量。神经臂单独组件中性或有害（重放−21.4%，边缘案例−14.8%，反事实−1.0%），但协同后达到+7.2%。  

图1：神经（Dreams）vs 符号（Sapience）结果。(a) 匹配条件 DREAMS 在 r=128 时对三种基础模型均为零（Llama-3.1-8B Δ=+1.17±3.06，Qwen-2.5-72B +0.62/+0.61，Llama-3.3-70B −0.10±1.24 个百分点；McNemar 检验 p>0.5）。(b) 符号跨域重放产生 +21 个百分点，且揭示的边被判断为真实的比率达 92.9%（n=453）；宇宙学跨子领域对照几乎为零。  

这些发现暗示了一种重新定义。无论在神经网络还是符号知识系统中，记忆巩固主要不是一种抗遗忘机制。它是一种发现机制。其价值与重组的新颖性成正比，而非与重放的保真度成正比。这与以下生物学证据一致：海马体重放产生新颖组合\[10 (https://arxiv.org/html/2607.16256#bib.bib10)\]，睡眠依赖的洞察需要整合不同的经验\[12 (https://arxiv.org/html/2607.16256#bib.bib12)\]，以及由此产生的知识转移依赖于结构类比而非表面相似性\[15 (https://arxiv.org/html/2607.16256#bib.bib15)\]。  

我们的贡献是：  

1. 我们确定域内巩固在神经臂匹配条件（Llama-8B, Qwen-72B, Llama-70B）下不产生可测量的益处，且符号宇宙学跨子领域对照一致接近零。  
2. 我们证明符号系统中的跨域巩固相对于基线产生了+21个百分点的新颖连接，而神经臂在匹配条件下跨三种基础模型的跨域效应在统计上为零（每个基础模型的合并Δ均在±1.2个百分点以内）。不对称性很明显：符号臂和桥排序证据支撑跨域主张；而先前（非匹配条件下）工作中的神经臂跨域主张未能在多基础模型复制中存活。  
3. 我们确定了对桥排序结果的非策展鲁棒性检验：从OpenAlex保留的2026年时间窗口中提取的1,319个跨领域引用对（与原始5万语料库无重叠，无人为桥选择）聚集在随机跨领域相似度分布的第95.6百分位（Cohen’s d=2.47），这正是已知的非典型、高影响力组合集中的极尾区域\[44 (https://arxiv.org/html/2607.16256#bib.bib44)\]。该信号推广到非策展选择的桥。  

## 2 相关工作  

#### 持续学习与灾难性遗忘。  
灾难性遗忘\[24 (https://arxiv.org/html/2607.16256#bib.bib24),25 (https://arxiv.org/html/2607.16256#bib.bib25)\]由三种方法家族解决。正则化方法（弹性权重巩固\[1 (https://arxiv.org/html/2607.16256#bib.bib1)\]、突触智能\[16 (https://arxiv.org/html/2607.16256#bib.bib16)\]）对先前任务重要参数的更新进行惩罚。架构方法（渐进式网络\[5 (https://arxiv.org/html/2607.16256#bib.bib5)\]、PackNet\[17 (https://arxiv.org/html/2607.16256#bib.bib17)\]）为每个任务分配冻结容量。重放方法（A-GEM\[2 (https://arxiv.org/html/2607.16256#bib.bib2)\]、深度生成重放\[3 (https://arxiv.org/html/2607.16256#bib.bib3)\]、蒸馏\[4 (https://arxiv.org/html/2607.16256#bib.bib4)\]）将存储或生成的过去示例与新训练交错。所有三种家族都将巩固视为保存：目标是在学习新任务时保持先前性能。没有一种检验巩固是否能在先前任务上产生超过原始训练所达成的改进。我们的工作表明跨域巩固恰好能做到这一点。  

#### 睡眠启发的机器学习。  
较小一部分文献采用了睡眠巩固隐喻。Tadros等人\[23 (https://arxiv.org/html/2607.16256#bib.bib23)\]在离线“睡眠”阶段使用带噪声注入的无监督重放来减少灾难性遗忘。唤醒-睡眠巩固学习（Kim et al., “Wake-Sleep Consolidated Learning,” NeurIPS, 2024）通过生成重放交替任务学习和巩固阶段。Auto-DPO（Li et al., “Automatic Direct Preference Optimization,” 2024）在巩固阶段应用偏好优化。这些方法将睡眠视为一个阶段标签，但继承了抗遗忘评估；生物重放的重组特性\[10 (https://arxiv.org/html/2607.16256#bib.bib10),9 (https://arxiv.org/html/2607.16256#bib.bib9)\]未被作为价值来源进行检验。  

#### 针对LLMs的睡眠式巩固的并发工作。  
Behrouz等人\[53 (https://arxiv.org/html/2607.16256#bib.bib53)\]（本文准备期间发布于arXiv）提出了一种针对语言模型的“睡眠”范式，包含两个阶段：知识播种（从较小网络向上蒸馏）和梦境（在合成生成的课程上进行RL驱动的自我改进）。他们的方法研究单一神经底物上的睡眠式巩固，建立在SEAL自我编辑流水线\[54 (https://arxiv.org/html/2607.16256#bib.bib54)\]之上，并报告了在SQuAD知识融入、小样本ARC和数学推理方面的增益，跨越不同的Qwen3规模。两篇论文涉及相邻现象但机制不同、范围不同。他们的“梦境”是单一神经底物上用于持续学习的RL自我课程；我们的“梦境”是作为梦境算子的跨域重组，通过神经和符号底物的收敛性得到证明，具有秩门控容量阈值特征，并通过大规模文献记录的跨域历史突破进行外部验证。他们的评估是域内基准准确性；我们的是跨底物收敛于域内零/跨域正的对称性，该对称性反映了一个社会学规律。我们依赖于收敛性、机制表征和外部发现验证，而非基准幅度，并且我们不进行受控正面比较。我们将两者视为互补而非竞争：基于蒸馏的知识播种和跨域重组是可能组合的不同算子。Behrouz等人的消融实验与离线阶段必须转换而非复述记忆的假设一致。在针对SQuAD知识融入的持续预训练中，完全移除梦境阶段将准确率从46.2降至36.2，向31.9的基础率下降了十个点，作者将此解读为巩固必须探索和提取抽象而非重放原始数据的证据（\[53 (https://arxiv.org/html/2607.16256#bib.bib53)\]，表3）。