局部冗余：一种源自合成记忆化的可塑性信息论度量

# 局部冗余度：来自合成记忆化的可塑性的信息论度量
来源：https://arxiv.org/html/2607.13432

###### 摘要

可塑性——神经网络适应新任务的能力——对于持续学习和迁移学习至关重要。现有的度量，如有效秩、死亡神经元比例和权重范数，缺乏理论依据，并且与新任务上的性能相关性较弱。我们引入了*局部冗余度*，一种源于通用压缩理论的信息论度量。我们将局部冗余度定义为局部模型族（沿着梯度方向无穷小邻域内的参数）的最坏情况冗余度，并证明这是可塑性的一个原则性度量。尽管精确计算局部冗余度很困难，但我们证明，在合成记忆化任务上的期望梯度平方范数提供了一个可高效计算的下界。在持续图像分类和时间序列迁移学习上的实验表明，局部冗余度比现有度量更好地预测下游性能，并能在验证损失趋于平稳时实现预训练检查点选择。

机器学习，深度学习，神经网络，优化

参照标题图1: 局部冗余度：一种有原则、可计算的可塑性度量。(a) 冗余度衡量模型类的信息半径：一个可塑的网络可以到达多种分布（大半径）；一个僵硬的网络则不能（小半径）。(b) 在合成记忆化数据上的期望梯度平方范数是局部冗余度的下界（定理3.4 (https://arxiv.org/html/2607.13432#S3.Thmtheorem4)），只需一次反向传播即可计算。(c) 在持续学习中，局部冗余度比现有的可塑性启发式度量更好地预测下游性能；迁移学习见第4节 (https://arxiv.org/html/2607.13432#S4)。

## 1 引言

在较长的时间跨度或多个任务上训练的神经网络经常会失去有效学习的能力，这种现象被称为**可塑性丧失** (Lyle et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib22); Dohare et al., 2024 (https://arxiv.org/html/2607.13432#bib.bib12))。现代训练流程越来越多地涉及多个适应阶段，例如微调、对齐和持续更新，其中早期的可塑性丧失会损害后期的学习。因此，理解和测量可塑性对于训练能够持续学习的神经网络至关重要。

先前的工作已经确定了随着可塑性退化而变化的神经网络的几个属性：表示的有效秩降低 (Kumar et al., 2021 (https://arxiv.org/html/2607.13432#bib.bib19))，休眠神经元比例升高 (Sokar et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib34))，权重范数增大 (Lyle et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib22))，以及远离初始化的距离。这些量常被用作可塑性的代理，但每一个都只捕捉了网络退化的一个方面，缺乏统一的原则。在实践中，我们发现它们与未来任务性能的相关性很差。

我们引入**局部冗余度**，这是一种源于通用压缩理论的可塑性度量。一个模型类的冗余度度量了任何必须处理该类中所有分布的预测器所产生的额外损失 (Shtarkov, 1987 (https://arxiv.org/html/2607.13432#bib.bib33); Rissanen, 1984 (https://arxiv.org/html/2607.13432#bib.bib29))；我们将局部冗余度定义为沿梯度方向的参数无穷小邻域的最坏情况冗余度。经典地（以及在深度学习中出现的奇异模型族中），最坏情况冗余度在主导项上渐近等于模型类的信息半径——模型能够表达分布的多样性 (Haussler & Opper, 1997 (https://arxiv.org/html/2607.13432#bib.bib15); Watanabe, 2009 (https://arxiv.org/html/2607.13432#bib.bib37))。这衡量了网络拟合与其训练数据不同的分布的能力（图1 (https://arxiv.org/html/2607.13432#S0.F1)）。

我们证明，在合成记忆化数据上的期望梯度平方范数是局部冗余度的下界（定理3.4 (https://arxiv.org/html/2607.13432#S3.Thmtheorem4)）。该证明通过 Shtarkov 和将记忆化增益（拟合随机标签时损失的减少）与最坏情况冗余度联系起来。记忆化数据集由合成图像与随机采样的标签配对组成，其输入设计用于饱和网络的记忆化容量。我们表明，通过记忆化来下界冗余度可以产生平滑的训练曲线，因此合成梯度范数既充当了下界，又充当了估计局部冗余度的代理。

我们在两种设置中评估了局部冗余度，并发现它优于现有的代理。在跨越数千个顺序任务的持续图像分类中，在考虑了任务编号后，局部冗余度与未来任务准确率的相关性高于有效秩、休眠神经元比例和权重范数。在时间序列迁移学习中，选择具有最大局部冗余度的预训练检查点比选择具有最低验证损失的检查点实现了更好的适应性能（表3 (https://arxiv.org/html/2607.13432#S4.T3)），这是其他可塑性指标无法实现的。

我们的贡献如下：

- • 我们定义了局部冗余度，这是一种基于网络局部参数邻域最坏情况冗余度的信息论可塑性度量。
- • 我们证明了在合成记忆化数据上的期望梯度平方范数是局部冗余度的下界，并且只需一次反向传播即可计算。
- • 我们表明，局部冗余度比现有代理更好地预测未来任务性能，并且能够在验证损失趋于平稳时进行检查点选择。

## 2 相关工作

信息论与通用压缩。我们的框架建立在信息论学习方法的基础上，特别是通用压缩理论 (Rissanen, 1984 (https://arxiv.org/html/2607.13432#bib.bib29); Barron et al., 1998 (https://arxiv.org/html/2607.13432#bib.bib6))。最小最大冗余度表征了在不知道源的情况下编码不可避免的成本 (Davisson, 1973 (https://arxiv.org/html/2607.13432#bib.bib10); Shtarkov, 1987 (https://arxiv.org/html/2607.13432#bib.bib33))，等价于由模型族导出的信道的容量 (Haussler & Opper, 1997 (https://arxiv.org/html/2607.13432#bib.bib15); Merhav & Feder, 1998 (https://arxiv.org/html/2607.13432#bib.bib24))。对于经典的正则模型，冗余度按 $\frac{d}{2}\log n$ 缩放，其中 $d$ 是参数维度 (Rissanen, 1996 (https://arxiv.org/html/2607.13432#bib.bib30))。对于奇异模型（如神经网络），奇异学习理论推广了这一结果，并用实对数规范阈值（RLCT）替代了有效维度 (Watanabe, 2009 (https://arxiv.org/html/2607.13432#bib.bib37))。这最近已被应用于研究神经网络学习动力学 (Hoogland et al., 2024 (https://arxiv.org/html/2607.13432#bib.bib16); Chen et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib8)) 以及基于互信息的信息论泛化界 (Xu & Raginsky, 2017 (https://arxiv.org/html/2607.13432#bib.bib38); Steinke & Zakynthinou, 2020 (https://arxiv.org/html/2607.13432#bib.bib35))。我们将通用压缩理论的思想应用于神经网络，使用冗余度作为可塑性的度量。

模型复杂度。经典的模型复杂度度量包括 VC 维 (Vapnik & Chervonenkis, 1971 (https://arxiv.org/html/2607.13432#bib.bib36)) 和 Rademacher 复杂度 (Bartlett & Mendelson, 2002 (https://arxiv.org/html/2607.13432#bib.bib7))，它们表征了全局最坏情况的可学习性，但难以对深度网络进行计算，并且对当前参数配置不敏感。Dong 等人 (2025 (https://arxiv.org/html/2607.13432#bib.bib13)) 最近通过 Jensen-Shannon 散度获得了紧致界。Munn & Wei (2025 (https://arxiv.org/html/2607.13432#bib.bib25)) 使用基于 MDL 的模型选择，在具有不同超参数或模型族的预训练运行中选择预训练检查点。相比之下，局部冗余度度量了特定参数配置下的容量，并能够在单次运行中进行检查点选择。

可塑性与持续学习。网络逐渐失去学习新任务能力的可塑性丧失现象，已在强化学习 (Lyle et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib22); Dohare et al., 2024 (https://arxiv.org/html/2607.13432#bib.bib12); Abbas et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib1); Nikishin et al., 2022 (https://arxiv.org/html/2607.13432#bib.bib27)) 和监督学习 (Ash & Adams, 2020 (https://arxiv.org/html/2607.13432#bib.bib5); Achille et al., 2019 (https://arxiv.org/html/2607.13432#bib.bib2)) 中被观察到。提出的原因包括表示的秩坍塌 (Kumar et al., 2021 (https://arxiv.org/html/2607.13432#bib.bib19))、休眠神经元 (Sokar et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib34))、饱和激活、增长权重范数 (Lyle et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib22)) 以及偏离初始化。Fisher 信息矩阵和 Hessian 也被用于通过损失景观的曲率来测量可塑性 (Kirkpatrick et al., 2017 (https://arxiv.org/html/2607.13432#bib.bib18); Martens, 2020 (https://arxiv.org/html/2607.13432#bib.bib23); LeCun et al., 1989 (https://arxiv.org/html/2607.13432#bib.bib21))。这些度量了相对于当前训练分布的局部曲率；相比之下，局部冗余度对所有可能的目标分布界定了最坏情况性能。

为了保持可塑性，也提出了几种解决方案：shrink-and-perturb (Ash & Adams, 2020 (https://arxiv.org/html/2607.13432#bib.bib5))、持续反向传播 (Dohare et al., 2024 (https://arxiv.org/html/2607.13432#bib.bib12))、再生正则化 (Kumar et al., 2023 (https://arxiv.org/html/2607.13432#bib.bib20)) 和周期性重置 (Nikishin et al., 2022 (https://arxiv.org/html/2607.13432#bib.bib27))。此外，持续学习方法通过回放 (Rolnick et al., 2019 (https://arxiv.org/html/2607.13432#bib.bib31))、正则化（如 EWC）(Kirkpatrick et al., 2017 (https://arxiv.org/html/2607.13432#bib.bib18)) 或架构隔离 (Rusu et al., 2016 (https://arxiv.org/html/2607.13432#bib.bib32)) 来解决灾难性遗忘。我们的贡献是正交的：我们不干预可塑性，而是提供一种基于通用压缩理论的原则性度量来量化可塑性，比现有指标更好地预测下游性能。

## 3 局部冗余度作为可塑性

我们将可塑性形式化为网络从其当前状态学习新任务的能力。我们的框架建立在通用压缩理论之上，该理论提供了一个称为*冗余度*的模型类复杂度的原则性度量。

### 3.1 冗余度

设 $(X,Y) \sim P_{XY}$，输入 $X \in \mathcal{X}$，离散标签 $Y \in \mathcal{Y}$。给定从 $P_{XY}$ 独立同分布抽取的 $n$ 个样本 $(x_i, y_i)$，我们使用参数化类 $\{P_{Y|X,\theta} : \theta \in \Theta\}$ 来建模条件分布。一个*预测器* $Q_{Y^n|X^n}$ 是标签序列上的任意条件分布。

*最坏情况冗余度*度量了最佳预测器相对于知道真实参数的神谕的额外对数损失：

$$R_n^{**}(\Theta) \triangleq \min_{Q} \max_{x^n, y^n} \sup_{\theta \in \Theta} \log \frac{P_{Y^n|X^n,\theta}(y^n|x^n)}{Q(y^n|x^n)}.$$ (1)

这个最小最大冗余度等于 $R_n^{**}(\Theta) = \sup_{x^n} \log Z(x^n)$，其中 *Shtarkov 和*

$$Z(x^n) = \sum_{y^n \in \mathcal{Y}^n} \sup_{\theta \in \Theta} P_{\theta}(y^n|x^n)$$ (2)

对所有可能的标签求和最佳拟合似然 (Shtarkov, 1987 (https://arxiv.org/html/2607.13432#bib.bib33))。冗余度量化了模型类的复杂度：更丰富的族会产生更高的冗余度，因为预测器必须在更多可能的模型之间进行对冲。

### 3.2 局部模型族

全局冗余度 $R_n^{**}(\Theta)$ 表征了整个模型类，并且仅取决于架构。但可塑性本质上是*局部*的：它衡量网络从其*当前参数* $\theta_0$（从而其当前的输入-输出映射）能够学习什么，而不是架构原则上能够学习什么。我们强调，这里的“局部”指的是参数空间中的这个邻域，而不是损失函数的局部最小值或局部曲率。具有高全局容量但表示坍塌的网络具有低可塑性。

为了捕捉这一点，我们将*局部模型族*定义为沿梯度方向在无穷小距离内可达的分布集合：

###### 定义 3.1（局部模型族）。

固定 $\theta_0 \in \Theta$ 和步长上界 $\epsilon > 0$。令 $L(\theta; x^n, y^n) = -\log P_{Y^n|X^n,\theta}(y^n|x^n)$。*局部参数集* 是

$$\Theta(\theta_0, \epsilon) \triangleq \bigl\{ \theta_0 - \eta \nabla_{\theta} L(\theta_0; x^n, y^n) : x^n \in \mathcal{X}^n, y^n \in \mathcal{Y}^n, \eta \in [0, \epsilon] \bigr\}.$$ (3)

*局部模型族* 是 $\mathcal{M}(\theta_0, \epsilon) = \{ P_{Y^n|X^n,\theta} : \theta \in \Theta(\theta_0, \epsilon) \}$。

这捕捉了在步长不超过 $\epsilon$ 的情况下，在*任何*数据集 $(x^n, y^n)$ 上执行一步梯度更新所能达到的所有参数。基于梯度的定义比欧几里得球 $\{ \theta : \|\theta - \theta_0\| < \epsilon \}$ 更有原则：不同方向的扰动对预测的影响差异巨大，而梯度自然地对方向按其损失影响进行加权 (Zhang et al., 2019 (https://arxiv.org/html/2607.13432#bib.bib39); Frankle et al., 2020 (https://arxiv.org/html/2607.13432#bib.bib14))。

*局部冗余度* 是该族的最坏情况冗余度：

$$R_n^{**}(\theta_0, \epsilon) \triangleq R_n^{**}\bigl(\Theta(\theta_0, \epsilon)\bigr).$$ (4)

### 3.3 可塑性作为局部冗余度

我们认为局部冗余度是可塑性的一个自然度量。虽然最坏情况冗余度度量了针对最难分布的性能，但平均情况冗余度 $R_n^*(\Theta) = \inf_{Q} \sup_{\pi} \mathbb{E}_{\theta \sim \pi} [\mathrm{KL}(P_{\theta} \| Q)]$ 度量了针对先验加权混合的性能。根据容量-冗余度定理 (Haussler & Opper, 1997 (https://arxiv.org/html/2607.13432#bib.bib15))，平均情况冗余度等于信道容量：

$$R_n^*(\Theta) = \sup_{\pi \in \mathcal{P}(\Theta)} I(\theta; Y^n | X^n).$$ (5)

这个量有一个几何解释：容量等于*信息半径*，