在持续学习中通过可学习小波激活维持可塑性

# 通过可学习小波激活在持续学习中维持可塑性
Source: https://arxiv.org/html/2608.12874
## 通过可学习小波激活在持续学习中维持可塑性PubID:pubid: 0000–0000/00$00\.00 © 2021 IEEE

Tieliang Gong, Junyan Lu, Weizhan Zhang  
致谢: $ˆ\*$通讯作者: Tieliang Gong。Z. Zhang ([email protected])，T. Gong ([email protected])，J. Lu ([email protected]) 和 W. Zhang ([email protected]) 就职于西安交通大学计算机科学与技术学院及多媒体知识融合与工程研究所，西安 710049，中国。

###### 摘要

可塑性损失已成为持续学习中的一个关键挑战，它严重阻碍了序列任务的获取。尽管优化激活设计提供了一种潜在解决方案，但当前固定形式的函数存在固有的频谱偏差，偏向低频变化，而可学习变体则允许无约束的更新，从而引发灾难性遗忘。为解决这些局限性，我们提出了一种新颖的可学习小波激活，它将激活函数分解为低频和高频分量，以明确对抗频谱偏差。此外，我们采用动态小波注入来自适应地增强新任务的可塑性，同时结合正则化策略确保先前学习知识的稳定性。理论上，我们为该框架提供了严格的数学保证，证明了混合小波架构对高效 L2 近似的结构必要性，并表明解耦学习率机制能有效恢复网络对高频信息的可塑性。此外，我们还对损失驱动的注入触发机制进行了形式化推导，以精确指导注入过程。大量实证评估表明，我们的方法在学习过程中保持了优越的可训练性和泛化能力，并在多种持续学习基准上实现了最先进的性能。

###### 索引术语

激活函数，持续学习，可塑性损失，频谱偏差，小波变换。

## I 引言

持续学习要求神经网络从一系列任务中随时间获取新知识，同时不抹除先前学到的信息[1](https://arxiv.org/html/2608.12874#bib.bib1)。该范式在适应新数据的可塑性与保留先前知识的稳定性之间施加了根本性冲突[2](https://arxiv.org/html/2608.12874#bib.bib2)。尽管大量研究通过回放缓冲区[3](https://arxiv.org/html/2608.12874#bib.bib3)、[4](https://arxiv.org/html/2608.12874#bib.bib4)、正则化约束[5](https://arxiv.org/html/2608.12874#bib.bib5)、[6](https://arxiv.org/html/2608.12874#bib.bib6)和参数隔离[7](https://arxiv.org/html/2608.12874#bib.bib7)、[8](https://arxiv.org/html/2608.12874#bib.bib8)解决了灾难性遗忘，近期研究已发现一个被称为可塑性损失的关键问题：即使灾难性遗忘得到缓解，模型也会逐渐失去适应新任务的能力[9](https://arxiv.org/html/2608.12874#bib.bib9)、[10](https://arxiv.org/html/2608.12874#bib.bib10)、[11](https://arxiv.org/html/2608.12874#bib.bib11)、[12](https://arxiv.org/html/2608.12874#bib.bib12)。

参见图1：ChannelWavAct框架示意图。

目前对可塑性损失的解释涉及多个层面，如死亡神经元[13](https://arxiv.org/html/2608.12874#bib.bib13)、大权重范数[14](https://arxiv.org/html/2608.12874#bib.bib14)、特征秩[15](https://arxiv.org/html/2608.12874#bib.bib15)、损失景观的尖锐度[14](https://arxiv.org/html/2608.12874#bib.bib14)和噪声记忆[16](https://arxiv.org/html/2608.12874#bib.bib16)。现有工作主要聚焦于重置不活跃单元[17](https://arxiv.org/html/2608.12874#bib.bib17)、[18](https://arxiv.org/html/2608.12874#bib.bib18)、正则化权重[19](