从几乎一无所有中学习：神经网络如何在重度输入损坏中存活

# 从近乎空白中学习：神经网络如何承受严重输入损坏 来源：https://arxiv.org/html/2606.11319 Justin TahmassebpurAsadullah BhuiyanDepartment of Physics, Cornell University, Ithaca, NY 14853, USAHyejin KimDepartment of Physics, Cornell University, Ithaca, NY 14853, USAOmri LesserDepartment of Physics, Cornell University, Ithaca, NY 14853, USA ###### 摘要 从不完美数据中学习是机器学习的一个核心主题，它将鲁棒性的实际问题与可学习性的基本问题联系起来。本文研究属性噪声：在保持标签完整的同时从受损输入中学习，这一设置比其对应的标签噪声受到的关注要少得多。我们考虑两种损坏模型：加性噪声和替代噪声。通过在受损分类数据集上对多层感知器（MLP）进行实验，我们发现神经网络保持鲁棒性，即使输入被损坏超过 90%，其准确率也远高于随机水平——远超人类识别能力。为了理解这种鲁棒性，我们使用平均场启发方法分析了重损坏机制下的无限宽度网络，并推导出分类结果的领头阶决策规则：网络实现了一个原型规则，即最近类均值规则，将每个测试点分配给与其训练集平均值最接近的类别。这个领头阶决策规则适用于广泛的 MLP 架构，对任何深度以及广泛的激活函数和噪声分布都成立。相同的质心机制在我们的实验中与有限宽度网络行为高度吻合，并提供了一种可解释且分析上易于处理的理解方式，解释了为什么即使单个训练样本几乎不携带任何信号，学习仍然可以成功。 ###### 目录 1. I引言 (https://arxiv.org/html/2606.11319#S1) 2. II特征损坏模型与实验结果 (https://arxiv.org/html/2606.11319#S2)1. II.1损坏模型与设置 (https://arxiv.org/html/2606.11319#S2.SS1) 2. II.2对训练集损坏的鲁棒性 (https://arxiv.org/html/2606.11319#S2.SS2) 3. II.3对同时训练集和测试集损坏的鲁棒性 (https://arxiv.org/html/2606.11319#S2.SS3) 3. III分析处理 (https://arxiv.org/html/2606.11319#S3)1. III.1高噪声质心规则的推导 (https://arxiv.org/html/2606.11319#S3.SS1) 2. III.2与有限宽度网络的比较 (https://arxiv.org/html/2606.11319#S3.SS2) 3. III.3信噪比 (https://arxiv.org/html/2606.11319#S3.SS3) 4. III.4置换对称性与质心响应 (https://arxiv.org/html/2606.11319#S3.SS4) 4. IV讨论与展望 (https://arxiv.org/html/2606.11319#S4) 5. 参考文献 (https://arxiv.org/html/2606.11319#bib) 6. A实验细节 (https://arxiv.org/html/2606.11319#A1)1. A.1实验设置 (https://arxiv.org/html/2606.11319#A1.SS1) 2. A.2用于分类的平方误差损失 (https://arxiv.org/html/2606.11319#A1.SS2) 7. B同时训练时间和测试时间损坏的进一步分析 (https://arxiv.org/html/2606.11319#A2) 8. C高噪声NTK展开 (https://arxiv.org/html/2606.11319#A3)1. C.1设置 (https://arxiv.org/html/2606.11319#A3.SS1) 2. C.2有用恒等式 (https://arxiv.org/html/2606.11319#A3.SS2) 3. C.3输入扰动对输出的影响 (https://arxiv.org/html/2606.11319#A3.SS3) 4. C.4高斯核扰动下的输出波动 (https://arxiv.org/html/2606.11319#A3.SS4) 5. C.5任意独立同分布噪声模型下的输出 (https://arxiv.org/html/2606.11319#A3.SS5) 9. D乘以质心的系数的非负性 (https://arxiv.org/html/2606.11319#A4) 10. E加性高斯噪声下质心模型的实验验证 (https://arxiv.org/html/2606.11319#A5) 11. F测试准确率对激活函数的依赖性 (https://arxiv.org/html/2606.11319#A6) 12. G测试准确率方差的非单调性解释 (https://arxiv.org/html/2606.11319#A7) ## I引言 机器学习正在从根本上重塑科学与技术，引发了关于其能力与局限性的深刻问题。在此背景下，一个核心挑战是从不完美数据中学习：当训练过程中可用的样本退化时，模型如何泛化？典型设置是*标签噪声*，即分类或回归任务中的目标标签被损坏[3 (https://arxiv.org/html/2606.11319#bib.bib20),19 (https://arxiv.org/html/2606.11319#bib.bib21),6 (https://arxiv.org/html/2606.11319#bib.bib23),10 (https://arxiv.org/html/2606.11319#bib.bib81),26 (https://arxiv.org/html/2606.11319#bib.bib25),34 (https://arxiv.org/html/2606.11319#bib.bib31),28 (https://arxiv.org/html/2606.11319#bib.bib82)]。而互补问题——*属性噪声*——即标签保持正确但输入特征本身被损坏，得到的分析关注要少得多。此外，属性噪声在实践中很常见：测量属性经常因传感器噪声、采集错误、特征缺失或其他缺陷而退化，而相关标签可能仍然可靠[9 (https://arxiv.org/html/2606.11319#bib.bib96)]。请参考图注图1：测试准确率与损坏概率 pp 的关系，针对宽度为128、3层ReLU MLP，使用交叉熵损失在具有独立同分布像素替代噪声的图像上进行训练。展示了三个类别平衡的数据集：(a) MNIST，(b) Fashion-MNIST，(c) KMNIST。每个面板下方，我们通过展示在递增 pp 下受到替代噪声影响的代表性图像示例来演示噪声模型。对于每个 pp，MLP在一个数据集上训练，其中每个像素以概率 pp 独立地被均匀噪声替代；测试集保持干净。准确率指标在每 pp 值下对100次独立带噪声训练实现取平均，曲线周围的阴影带表示实现间的标准差（关于标准差非单调行为的讨论见附录G (https://arxiv.org/html/2606.11319#A7)）。即使替代噪声已损坏训练集中每张图像高达80%（p=0.8p=0.8），测试准确率在所有三个数据集上仍保持∼70%\{\sim\}70\% 或更高，只有当 p→1p\to 1 时才向均匀随机猜测（100/C=10%100/C=10\%，其中 C=10C=10 类，虚线）趋近。属性噪声已从多个角度进行了研究。早期工作表明，在训练期间向输入注入噪声可以起到正则化作用并改善泛化[22 (https://arxiv.org/html/2606.11319#bib.bib33),16 (https://arxiv.org/html/2606.11319#bib.bib34),5 (https://arxiv.org/html/2606.11319#bib.bib32),2 (https://arxiv.org/html/2606.11319#bib.bib35),36 (https://arxiv.org/html/2606.11319#bib.bib74),32 (https://arxiv.org/html/2606.11319#bib.bib75),41 (https://arxiv.org/html/2606.11319#bib.bib76),31 (https://arxiv.org/html/2606.11319#bib.bib103)]。后来的工作更直接地处理特征损坏和删除，开发了对缺失输入鲁棒的分类器以及明确对受损特征进行边缘化的训练过程[11 (https://arxiv.org/html/2606.11319#bib.bib78),8 (https://arxiv.org/html/2606.11319#bib.bib79),39 (https://arxiv.org/html/2606.11319#bib.bib77)]。另一条研究线考虑*测试时*损坏，探究在干净数据上训练的模型在受到损坏输入评估时性能如何下降[15 (https://arxiv.org/html/2606.11319#bib.bib85)]。这种鲁棒性形式通过诸如 ImageNet-C[14 (https://arxiv.org/html/2606.11319#bib.bib83)] 和 MNIST-C[25 (https://arxiv.org/html/2606.11319#bib.bib84)] 等基准进行量化。这些工作共同解决了损坏鲁棒性的几个重要方面。然而，它们留下了一个基本问题：在*严重*损坏的属性上训练（但标签干净）的神经网络能否学习到一个连贯的分类规则，并对干净的测试数据泛化良好？在本文中，我们证明答案是令人惊讶的“是”。在实验上，我们在标准图像数据集 MNIST[21 (https://arxiv.org/html/2606.11319#bib.bib93)]、KMNIST[7 (https://arxiv.org/html/2606.11319#bib.bib94)] 和 Fashion-MNIST[40 (https://arxiv.org/html/2606.11319#bib.bib95)] 的损坏版本上训练 MLP，使用了两种适用于图像数据的损坏模型：像素替代噪声和加性噪声。在所有三个数据集中，我们发现即使训练输入被严重损坏，网络仍然保持惊人的鲁棒性；参见图1 (https://arxiv.org/html/2606.11319#S1.F1)。在这种高噪声水平下，图像对人眼来说几乎无法区分，但网络仍然能够比随机猜测好得多地对干净测试图像进行分类。然后，我们使用神经切线核（NTK）框架[18 (https://arxiv.org/html/2606.11319#bib.bib59)] 从分析角度解释了这种鲁棒性。对于在任何具有干净标签和通用独立同分布（i.i.d.）输入损坏的数据集上训练的任意宽度 MLP，我们推导出高噪声极限下学习到的预测器的显式解析形式。由此产生的高噪声决策规则很简单：预测器的解析形式是一个线性最近类均值——或称为*质心*[38 (https://arxiv.org/html/2606.11319#bib.bib67)]——分类器，位于竞争性的随机背景之上。然后将这一理论结果与有限宽度 MLP 的数值实验进行比较，我们发现对于原始 logit 输出和argmax\\mathrm{argmax} 过滤后的测试准确率，两者都高度吻合。与有限宽度网络的这种实验一致性表明，这些网络在本文考虑的图像数据集上表现出的惊人鲁棒性并非来自复杂的去噪或特征恢复过程，而是来自将存活下来的微弱类别信息聚合成一个基于原型的决策规则——质心规则。此外，高噪声决策规则的领头阶形式与深度、激活函数以及所选噪声分布的细节无关。这种普遍性的起源可以通过对称性和线性响应的视角来理解：在纯噪声下，训练样本变得可交换，而对一个微小的幸存非可交换信号的领头阶类别相关响应必然取决于中心化类别平均值。这些结果将我们的工作与分类的原型观点联系起来，这种观点在经典和现代设置中都有出现，包括最近类均值方法、原型网络以及对深度表示中类均值结构的近期分析[38 (https://arxiv.org/html/2606.11319#bib.bib67),37 (https://arxiv.org/html/2606.11319#bib.bib89),13 (https://arxiv.org/html/2606.11319#bib.bib88),29 (https://arxiv.org/html/2606.11319#bib.bib90),35 (https://arxiv.org/html/2606.11319#bib.bib91),20 (https://arxiv.org/html/2606.11319#bib.bib92)]。我们的设置侧重点不同：我们并非一开始就假设一个基于原型的模型，也不研究原型几何作为学习表示的经验趋势。相反，我们*推导出*原型规则作为在高属性噪声机制下训练的宽度网络的有效预测器。更广泛地说，我们的结果确定了一个罕见的机制，其中神经网络可以用异常明确的方式来理解：尽管架构复杂，但学习到的规则本身变得简单、普遍且可解释。本文的其余部分组织如下。在第二节 (https://arxiv.org/html/2606.11319#S2) 中，我们介绍两种损坏模型，并呈现我们的启发性实验发现：MLP 即使在训练时受到严重损坏，仍能以远高于随机猜测的水平对干净测试数据进行分类。此外，我们展示了在测试时间和训练时间独立损坏的情况下 MLP 分类的结果，发现当训练集损坏强度与测试集匹配时，分类能力达到最优。接下来，在第三节 (https://arxiv.org/html/2606.11319#S3) 中，我们使用 NTK 框架对高噪声机制下训练后的网络输出进行理论预测，并与有限宽度 MLP 的数值实验进行比较。此外，我们提出了一个关于决策规则起源及其在各种带噪声 MLP 架构中普遍性的对称性论证。最后，第四节 (https://arxiv.org/html/2606.11319#S4) 讨论了我们结果的意义和展望。关于数值实验的细节、技术推导和支持细节收集在附录中。 ## II特征损坏模型与实验结果 在本节中，我们呈现一个关于 MLP 在特征损坏输入上训练的多类别分类的实验研究。我们首先介绍所关注的损坏通道，然后展示 MLP 在正确标记但特征损坏的输入上训练并在干净数据上测试的性能实验结果；这个设置将在第三节 (https://arxiv.org/html/2606.11319#S3) 中进行分析处理。此外，我们简要展示了当训练和测试示例都独立损坏时 MLP 性能的实验结果，更多细节见附录B (https://arxiv.org/html/2606.11319#A2)。本节中呈现的实验结果来自具有3个隐藏层、宽度128、修正线性单元（ReLU）激活的全连接神经网络，使用 Adam 优化器训练20个周期，批量大小为128，损失函数为交叉熵，并在100个随机种子上取平均。关于实验的更多细节可在附录A (https://arxiv.org/html/2606.11319#A1) 中找到。 ### II.1损坏模型与设置 我们首先介绍贯穿本文使用的符号和噪声模型。设 xkχx_{k\chi} 表示*干净*训练样本 χ\chi 的第 kk 个特征，其中 k=1,...,dk=1,\ldots,d 索引特征维度，χ=1,...,N\chi=1,\ldots,N 索引训练集。相应的损坏数据点记为 x~kχ\tilde{x}_{k\chi}。我们的主要理论分析侧重于大特征维度机制 d≫1d\gg 1，这对于图像数据和许多现代高维学习设置是自然的。我们考虑两种损坏模型，如图2 (https://arxiv.org/html/2606.11319#S2.F2) 所示。第一种是*替代噪声*， x~kχ=(1−bkχ)xkχ+bkχukχ,\tilde{x}_{k\chi}=(1-b_{k\chi})x_{k\chi}+b_{k\chi}u_{k\chi}, (1)其中 bkχb_{k\chi} 是独立同分布的伯努利随机变量，Pr⁡(bkχ=1)=p\Pr(b_{k\chi}=1)=p，因此每个特征（图像数据中的每个像素）以概率 pp 被独立替换，而 ukχu_{k\chi} 是一个独立同分布的噪声变量。在我们的数值实验中，取 ukχ∼Unif[0,1]u_{k\chi}\sim\mathrm{Unif}[0,1]，这是对灰度图像数据（如 MNIST，其中每个 28×2828\times 28 像素取值在 [0,1][0,1] 内）的自然选择。第二种损坏模型是*加性噪声*， x~kχ=(1−p)xkχ+pξkχ,\tilde{x}_{k\chi}=(1-p)x_{k\chi}+p\,\xi_{k\chi}, (2)其中 ξkχ\xi_{k\chi} 是一个独立同分布的噪声变量。注意，在两种模型中，p=0p=0 对应干净情况，p=1p=1 是最大损坏情况，此时训练数据变得完全随机。正文中的实验结果重点针对替代噪声，而加性高斯噪声在附录E (https://arxiv.org/html/2606.11319#A5) 中处理。尽管我们的实验结果使用了特定分布（均匀和高斯），但我们在附录C (https://arxiv.org/html/2606.11319#A3) 中表明，分析框架适用于