终身学习的双重思考：神经模型中半球冗余与专业化的探索

# 关于终身学习的双重思考：探索神经模型中的半球冗余与特化
来源：https://arxiv.org/html/2608.19514
Benjamin Smith 通讯作者：通讯作者 机构：数据科学与人工智能学院，莫纳什大学，Wellington Road，Clayton，维多利亚州，澳大利亚，3800 Levin Kuhlmann 机构：数据科学与人工智能学院，莫纳什大学，Wellington Road，Clayton，维多利亚州，澳大利亚，3800 Gideon Kowadlo 机构：数据科学与人工智能学院，莫纳什大学，Wellington Road，Clayton，维多利亚州，澳大利亚，3800 机构：Cerenaut，维多利亚州，澳大利亚

###### 摘要

持久的智能系统需要具备持续学习的能力，但当前的机器学习方法在这一领域与生物学习系统相比面临着巨大挑战。机器学习算法通常在保留先前学习的信息与适应新的或变化的数据模式之间进行权衡。当缺乏持续学习能力时，算法必须使用整个数据集进行重新训练，当原始训练数据因存储限制、经济或计算成本、或隐私限制而不可用时，这种方法变得不切实际。然而，生物动物能够持续学习，而不会经历灾难性遗忘。本文尝试通过模拟已知与记忆巩固相关的神经组件和状态，构建一个关于动物如何学习和保留知识的高级框架。我们重点关注三个概念：经验回放、快速眼动睡眠和双侧性。我们提出了4MAS（4模块清醒/睡眠），这是一种新颖的宏观架构，展示了机器学习模型如何从非对称的半球中获益，每个半球拥有自己的长期和短期记忆机制，以及在增量学习任务之间的睡眠期如何有益于记忆巩固。最后，我们展示了结果，表明我们的架构在Split-MNIST、Split-Fashion-MNIST和Split-CIFAR-100数据集上取得了有竞争力的结果，准确率分别为98.3%、84.9%和29.29%。

###### 关键词：

持续学习，终身学习，经验回放，双侧深度学习

†† 图形摘要：![未命名图像](https://arxiv.org/html/2608.19514v1/graphical_abstract.png)## 1 引言

当代人工神经网络遭受灾难性遗忘（或灾难性干扰）[42 (https://arxiv.org/html/2608.19514#bib.bib26)，24 (https://arxiv.org/html/2608.19514#bib.bib27)]，即学习新任务会迅速侵蚀先前获得的技能。虽然标准训练假设数据是独立同分布的（i.i.d.），但现实世界的应用呈现的是顺序相关的分布，其中类别呈现频率任意变化。

这种遗忘源于稳定性-可塑性困境：为了适应新数据而调整权重会修改对早期任务至关重要的参数[14 (https://arxiv.org/html/2608.19514#bib.bib43)，16 (https://arxiv.org/html/2608.19514#bib.bib39)]。在持续学习设置中，未来数据不可用，过去数据受存储或隐私约束限制，跨所有数据流的联合训练从根本上是不可能的。朴素的顺序微调虽然可行，但会导致严重的灾难性遗忘。持续学习算法旨在无需完整数据集重新训练的情况下解决这一困境。

相比之下，生物大脑通过专门的神经架构和巩固状态来减轻遗忘。哺乳动物海马体利用经验回放将近期和远期记忆交织在一起，在睡眠期间将知识转移到新皮层[5 (https://arxiv.org/html/2608.19514#bib.bib10)，8 (https://arxiv.org/html/2608.19514#bib.bib23)，13 (https://arxiv.org/html/2608.19514#bib.bib17)]。此外，快速眼动（REM）睡眠等睡眠阶段表现出高度协调的双侧（半球间）活动，这与慢波睡眠的单侧半球状态形成对比[37 (https://arxiv.org/html/2608.19514#bib.bib19)，7 (https://arxiv.org/html/2608.19514#bib.bib16)]。最后，有证据表明，生物大脑利用两个侧化的皮层半球，它们获取不同的表征，右半球处理新信息，左半球则针对稳定的常规任务进行了优化[18 (https://arxiv.org/html/2608.19514#bib.bib13)，28 (https://arxiv.org/html/2608.19514#bib.bib25)]。

现有的生成式回放方法，如生成式回放（Generative Replay），难以扩展，因为单个生成器必须捕获所有历史分布，导致表征漂移累积[39 (https://arxiv.org/html/2608.19514#bib.bib28)]。为解决这些限制，我们提出了4MAS（4模块清醒/睡眠），这是一种新颖的持续学习宏观架构，实现了两个非对称的半球——每个半球都拥有专门的短期和长期记忆模块——以及一个显式的离线睡眠阶段用于跨半球巩固；分别代表海马体和新皮层。通过将回放分布在两个专门的生成器中，并在睡眠期间锚定潜在空间，4MAS最小化了表征漂移。

我们的主要贡献是：
- 1.我们提出了一种双半球持续学习架构（4MAS），将生成式回放分配到专门的探索性和保守性模型中，模仿生物侧化。
- 2.我们引入了一个显式的清醒-睡眠训练循环，利用跨半球巩固（在模拟睡眠阶段进行互微调）来稳定潜在空间并防止表征漂移。
- 3.我们证明了4MAS在Split-MNIST（98.3%）、Split-Fashion-MNIST（84.9%）和Split-CIFAR-100（29.29%）上取得了具有竞争力的类别增量学习（Class-IL）准确率；同时在不同任务间表现出极低的表征漂移。

### 1.1 生物动机

受此神经生物学模板的启发，4MAS采用两个生成式长期记忆作为非对称集成：一个保持可塑性以获取新任务，另一个稳定历史模式。生成式记忆与短期记忆缓冲区配对，允许进行类似海马体回放的复述。训练遵循受超昼夜节律启发的周期，在用于任务学习的单侧半球清醒阶段和用于跨半球记忆协调的双侧睡眠阶段之间交替。

## 2 背景与相关工作

持续学习通常在三种难度递增的情景下进行评估[41 (https://arxiv.org/html/2608.19514#bib.bib34)]：
- 1.任务增量学习（Task-IL）：模型学习一系列具有不同数据分布和独立输出空间的任务。任务标识在训练和推理期间都明确提供，允许模型选择特定于任务的参数或输出头。
- 2.领域增量学习（Domain-IL）：模型接触一系列具有不同输入分布的任务，这些任务共享一个公共输出空间。从不提供任务标识，要求模型在没有上下文路由的情况下适应变化的领域。
- 3.类别增量学习（Class-IL）：最具挑战性的范式，其中输入分布和输出空间在不同任务之间都有变化。在训练或推理时没有可用的任务标识符。模型必须对迄今为止所有看到的类别进行分类，使其极易受到灾难性遗忘的影响。

评估这些模型时，性能通常以微调（不进行遗忘缓解的顺序训练；下界）和联合训练（在所有数据上同时训练；上界）为基准进行比较。为了弥合在Class-IL约束下与联合训练的差距，算法通常分为正则化、参数隔离和回放。

### 2.1 正则化

正则化方法限制梯度更新以保护对先前任务至关重要的参数。早期方法在训练一个任务后冻结网络的低层[12 (https://arxiv.org/html/2608.19514#bib.bib21)]。现代算法通过计算对损失减少的贡献（例如，突触智能 [Synaptic Intelligence][44 (https://arxiv.org/html/2608.19514#bib.bib9)]）、近似贝叶斯推断（例如，弹性权重巩固 [Elastic Weight Consolidation][16 (https://arxiv.org/html/2608.19514#bib.bib39)]）或评估输出函数敏感性（例如，记忆感知突触 [Memory Aware Synapses][1 (https://arxiv.org/html/2608.19514#bib.bib7)]）来估计参数重要性。最近的方法执行几何分析以在分布流形中定位稳定的平坦极小值[25 (https://arxiv.org/html/2608.19514#bib.bib11),33 (https://arxiv.org/html/2608.19514#bib.bib8)]或使用海森矩阵特征值近似先前损失[17 (https://arxiv.org/html/2608.19514#bib.bib18)]。

虽然正则化在Task-IL中非常有效，但它在Class-IL中表现不佳[19 (https://arxiv.org/html/2608.19514#bib.bib33)]。旨在保护现有知识的严格约束阻止了模型适应新类别，导致随着约束在连续任务中累积而产生表征麻痹[33 (https://arxiv.org/html/2608.19514#bib.bib8)]。

### 2.2 参数隔离

参数隔离将训练限制在参数子集或动态扩展网络结构。一种常见的设计是向预训练的特征提取器主干添加特定于任务的输出头[29 (https://arxiv.org/html/2608.19514#bib.bib37),6 (https://arxiv.org/html/2608.19514#bib.bib36)]。在网络扩展下，网络冻结历史权重，并为每个任务添加新的神经元或列[38 (https://arxiv.org/html/2608.19514#bib.bib22),31 (https://arxiv.org/html/2608.19514#bib.bib38)]。另一分支的研究利用自适应共振理论（Adaptive Resonance Theory）在出现新的分布时动态创建类别节点[11 (https://arxiv.org/html/2608.19514#bib.bib4)]。

然而，这些方法在Class-IL设置中面临困难，因为它们在推理期间需要任务标识来将数据路由到适当的子网络。没有明确的任务标识符，模型缺乏选择正确任务路径的内在机制。尽管大型网络中的稀疏神经激活可以缓解路由问题[32 (https://arxiv.org/html/2608.19514#bib.bib35)]，但参数隔离在不引入容量耗尽或推理路由失败的情况下仍然难以扩展[4 (https://arxiv.org/html/2608.19514#bib.bib3),27 (https://arxiv.org/html/2608.19514#bib.bib2)]。

### 2.3 回放：回放与生成式回放

回放技术将历史数据与新任务输入交错。经验回放（Experience Replay）存储来自早期任务的真实样本的记忆缓冲区，而梯度情景记忆（Gradient Episodic Memory, GEM）使用这些存储的样本作为每次更新的不等式约束，使得先前任务的损失不会增加，从而减少遗忘同时允许正向的迁移[23 (https://arxiv.org/html/2608.19514#bib.bib5)]。最大干扰检索（Maximally Interfered Retrieval, MIR）则保留有限的回放缓存，估计当前批次的参数更新，然后回放那些在该更新下损失会增加最多的缓冲样本，使其不同于GEM，因为它优先考虑最受干扰的样本，而不是施加明确的梯度约束[2 (https://arxiv.org/html/2608.19514#bib.bib6)]。AdaER进一步调整回放，使用基于上下文线索的记忆回忆（Contextually-Cued Memory Recall）根据数据冲突和任务冲突线索选择记忆，并使用熵平衡水库采样（Entropy-Balanced Reservoir Sampling）更新缓冲区以保持更平衡、更具信息性的记忆，这将其与MIR的仅基于干扰的检索和GEM的基于约束的更新区分开来[21 (https://arxiv.org/html/2608.19514#bib.bib29)]。

虽然基于缓冲区的回放是有效的，但其扩展性较差，因为表示复杂的高维分布需要存储大量样本，这在实践中难以实现[3 (https://arxiv.org/html/2608.19514#bib.bib44)]。

生成式回放通过训练生成模型来合成历史输入，从而避免了存储真实数据[34 (https://arxiv.org/html/2608.19514#bib.bib40)]。为了扩展到简单数据集之外，模型重构的是潜在特征表示，而不是原始训练样本。例如，生成式特征回放（Generative Feature Replay, GFR）使用特征提取器在潜在分布上训练生成器[22 (https://arxiv.org/html/2608.19514#bib.bib41)]，模仿生物系统中记忆回放发生在表征层面而非原始感官层面[30 (https://arxiv.org/html/2608.19514#bib.bib30)]。脑启发回放（Brain-Inspired Replay, B-IR）结合了生成式回放和参数隔离，取得了最先进的成果[39 (https://arxiv.org/html/2608.19514#bib.bib28)]。尽管如此，生成模型由于特征提取器随时间更新而遭受表征漂移，需要蒸馏约束或冻结特征来锚定潜在空间[15 (https://arxiv.org/html/2608.19514#bib.bib20)]。

## 3 方法

我们提出了4MAS（4模块清醒/睡眠），这是一种用于持续学习的宏观架构，旨在模拟生物记忆巩固过程。如图1 (https://arxiv.org/html/2608.19514#S3.F1)所示，该系统由两个侧化的半球组成。每个半球包含：
1. 1.一个生成式长期记忆（LTM），代表新皮层，学习任务分布并对传入数据进行分类。
2. 2.一个短期记忆（STM）缓冲区，代表海马体，存储一小部分情景范例。

该架构将数据流限制在生物启发的模型中，其中任务获取是单侧半球的，离线巩固是双侧的，从而促进知识转移和专业化。

引用标题 图1：长期记忆的输入和输出：(a) 在图像-标签对上训练LTM。(b) 使用温度τ生成合成样本。(c) 基于推理置信度的选择。### 3.1 基准测试与实验设计

为了在Class-IL约束下评估4MAS，我们采用了Split-MNIST[20 (https://arxiv.org/html/2608.19514#bib.bib24),40 (https://arxiv.org/html/2608.19514#bib.bib12)]和Split-Fashion-MNIST[43 (https://arxiv.org/html/2608.19514#bib.bib42),36 (https://arxiv.org/html/2608.19514#bib.bib14)]，如图2 (https://arxiv.org/html/2608.19514#S3.F2)所示。标准的10类数据集被划分为5个连续的序列任务，每个任务包含2个类别，在训练和推理期间都不提供任务标识符。超参数调整和初始方法开发主要在这两个MNIST变体上进行。为了测试可扩展性和开箱即用的泛化能力，我们随后将评估扩展到更具挑战性的Split-CIFAR-100数据集[40 (https://arxiv.org/html/2608.19514#bib.bib12)]。除非另有说明，每种配置运行10个随机种子，我们报告每个指标在所有种子上的均值和标准误差。模型对每个类别训练10个轮次，每个合成轮次的长度为10,000个样本。消融研究解耦了STM缓冲区、双半球集成和睡眠阶段的贡献。

引用标题 图2：类别增量学习数据集：(a) Split-MNIST，(b) Split-Fashion-MNIST。
### 3.2 睡眠/清醒阶段

训练循环在每个任务的单侧半球“清醒”阶段和双侧“睡眠”阶段之间交替，如图3 (https://arxiv.org/html/2608.19514#S3.F3)所示。在清醒阶段，算法1 (https://arxiv.org/html/2608.19514#alg1)中，每个LTM半球在三个随机交错的源上进行训练：新任务数据、存储在同侧