使用受控损坏对实例相关标签噪声进行基准测试

# [实验、分析与基准测试] 通过受控损坏实现实例依赖噪声基准测试
来源：https://arxiv.org/html/2606.14965
###### 摘要

合成实例依赖标签噪声（IDN）基准被广泛用于评估噪声标签学习方法，但现有方法通常通过不完美的标注器或分类器评估器生成噪声，隐含了歧义的来源。我们引入了CILN，一个基准生成框架，通过受控输入损坏创建IDN。一个多样化的投票者池对损坏实例进行标注，生成基准数据集，其中歧义的来源和严重程度都是明确且可控的。使用CIFAR-10、MNIST和Adult，我们构建了90个基准设置，涵盖多个损坏家族和严重级别。实验表明，生成的基准展现出真正的实例依赖噪声，提供多样的混淆结构，并且在CIFAR-10上，其标签分布比现有的合成IDN基准更接近人类的不确定性。我们进一步证明了，损坏介导的IDN能够暴露流行噪声标签学习方法（包括Co-Teaching和DivideMix）的失败模式，而这些在可比水平的评估者易错噪声中无法观察到。这些发现表明，噪声结构（而不仅仅是噪声率）在基准难度和算法行为中起着重要作用。通过使歧义生成变得明确且可控，CILN为研究不同实例难度来源下的噪声标签学习提供了一个补充性的基准测试框架。

## I 引言

现代机器学习系统依赖于大型标注数据集，但由于标注错误、歧义示例、弱监督流程或自动生成的标注，标签往往不完美[19 (https://arxiv.org/html/2606.14965#bib.bib5),21 (https://arxiv.org/html/2606.14965#bib.bib6),7 (https://arxiv.org/html/2606.14965#bib.bib7)]。这类标签噪声会降低预测准确性并引入偏差，从而显著损害下游性能[26 (https://arxiv.org/html/2606.14965#bib.bib11),11 (https://arxiv.org/html/2606.14965#bib.bib8),16 (https://arxiv.org/html/2606.14965#bib.bib27)]。早期工作主要研究*对称*和*类别条件*噪声，但这些假设在实践中往往失效，因为标注错误不仅取决于类别，还取决于被标注的特定样本。困难或歧义的实例自然比简单实例更可能获得错误标签。这种更现实的情况——损坏概率同时依赖于类别和单个实例——通常被称为*实例依赖标签噪声*（IDN）[29 (https://arxiv.org/html/2606.14965#bib.bib14),3 (https://arxiv.org/html/2606.14965#bib.bib13)]。

尽管其具有实际重要性，但在IDN下评估方法仍然具有挑战性，因为现实且可控的基准可用性有限。现有方法通常分为两类。早期合成方法通过实例特定的损坏概率或特征空间变换生成IDN[29 (https://arxiv.org/html/2606.14965#bib.bib14),3 (https://arxiv.org/html/2606.14965#bib.bib13)]，使得某些示例比其他示例更可能获得错误标签。近年来，伪标签方法通过使用充当合成标注器的多种分类器生成IDN，其中模型预测间的分歧导致标签不确定性[6 (https://arxiv.org/html/2606.14965#bib.bib4)]。这些方法提供了生成IDN的实用机制，并能产生与人类标注行为相似的噪声水平和不确定性模式。

虽然这些方法为生成IDN提供了实用机制，但不确定性的来源在很大程度上仍是隐含的。在特征空间方法中，标签错误源于通常难以解释的潜在变换。在伪标签方法中，不确定性通过合成标注器之间的分歧出现，噪声水平通常通过修改标注器本身的属性（如它们的训练过程或预测质量）来控制。因此，尽管这些基准可以生成现实的实例依赖噪声，但导致特定标签错误的歧义往往难以直接识别或操作。因此，现有基准在系统研究特定歧义机制（如模糊、遮挡、信息缺失或测量误差）如何影响分类器分歧、标签不确定性和下游学习行为方面提供的支持有限。

本文中，我们引入了CILN（*损坏诱导的标签噪声*），一个通过受控输入损坏生成实例依赖标签噪声基准的框架。*损坏*是一种变换，它退化或改变原始输入，同时保留其语义内容，例如模糊、噪声、几何畸变、缺失值或属性扰动。从干净实例开始，CILN在不同严重级别[9 (https://arxiv.org/html/2606.14965#bib.bib1),18 (https://arxiv.org/html/2606.14965#bib.bib2),27 (https://arxiv.org/html/2606.14965#bib.bib22)]应用受控损坏，并测量它们对多样化投票者池预测的影响。对于图像数据集，我们考虑噪声、模糊、天气和几何变换等损坏家族；而对于表格数据集，我们考虑缺失数据和数值损坏。然后，损坏实例由投票者池评估，以生成噪声标签和软标签分布。因此，标签不确定性源于可观察且明确受控的歧义机制，其类型和严重程度是已知的。

与主要通过变化标注过程生成噪声标签的现有IDN基准不同，CILN通过受控损坏修改输入本身来生成标签不确定性。这将焦点从控制如何产生噪声标签转移到控制它们为何首先产生。因此，CILN能够系统研究特定损坏机制如何影响分类器分歧、标签不确定性和下游学习行为。此外，由于每种损坏的类型和严重程度已知，结果标签转换通常可以追溯到输入的特定变化。以下示例说明了这一特性。

###### 示例 1.

图1 (https://arxiv.org/html/2606.14965#S1.F1)展示了四个代表性的CILN示例——两个来自CIFAR10，两个来自MNIST——在逐渐增加的损坏严重程度下。每一列遵循从轻微到严重损坏的单个示例，针对固定的损坏类型。这些示例说明了受控损坏如何逐渐增加分类难度并最终改变最可能的标签。

- •\(a\) CIFAR10, 对比度, 真实标签: 狗。随着对比度下降，区分动物为狗的精细毛发、口鼻和耳朵细节逐渐消失，只留下其轮廓。由于猫和狗具有相似的体型，损坏后的图像越来越像一只黑猫，导致合理的狗→猫转换。
- •\(b\) CIFAR10, 高斯噪声, 真实标签: 鸟。原始图像已经包含与多个类别兼容的视觉线索。随着高斯噪声增加，鸟变得更加难以从嘈杂背景中区分，结果外观越来越像一只在植物中拍摄的青蛙，产生鸟→青蛙转换。
- •\(c\) MNIST, 脉冲噪声, 真实标签: 5。脉冲噪声逐渐填充数字的间隙。在中等严重程度下，下曲线开始看起来像数字8的一部分，而在更高严重程度下，两个开放区域都闭合了。结果数字在视觉上与数字8一致，导致5→8转换。
- •\(d\) MNIST, 散粒噪声, 真实标签: 4。散粒噪声使数字笔画变粗，并逐渐填充数字4顶部的开放区域。随着矩形开口闭合并变得更像环状，数字越来越像9，导致合理的4→9转换。

图1：在逐渐增加的损坏严重程度下（从上到下），损坏诱导的标签歧义示例。这些示例说明，损坏诱导的标签转换源于输入中可识别的变化，而非任意的标签翻转。随着损坏严重程度的增加，支持真实类别的证据逐渐减弱，而与替代类别相关的特征变得更加突出。因此，结果的标签不确定性通常可以追溯到特定的损坏机制，提供了透明且可控的实例依赖标签噪声来源。

CILN提供的显式控制支持了几种使用现有IDN基准难以或无法进行的分析形式。首先，由于每种损坏的来源和严重程度已知，基准实例可以在特定损坏机制下生成，从而允许对不同输入难度来源进行系统比较。其次，一个可选的*干净启动*配置仅保留那些在损坏前被一致正确分类的实例，使得损坏诱导的标签不确定性能够与原始数据中已有的歧义隔离开来。最后，通过改变损坏类型和严重级别，CILN产生具有不同噪声特征和实例依赖程度的基准实例，从而实现对这些因素如何影响下游学习方法的受控研究。

这些能力也使CILN与现有的人类不确定性和伪标签基准（如CIFAR10-H[22 (https://arxiv.org/html/2606.14965#bib.bib9)]和Gu等人[6 (https://arxiv.org/html/2606.14965#bib.bib4)]）有所区别。现有基准主要通过人类分歧或合成标注器生成标签不确定性，而CILN通过输入本身的受控修改生成不确定性。因此，CILN不仅能研究存在多少标签噪声，还能研究特定损坏机制如何导致分类器分歧、标签不确定性和下游学习行为。两种视角是互补的：一个侧重于标注过程，另一个侧重于使标注变得困难的数据特征。

我们在CIFAR-10、MNIST和Adult上评估CILN，涵盖了图像和表格领域。首先，我们证明受控损坏能生成真正的实例依赖标签噪声，并且实例依赖的程度可以通过损坏类型和严重程度系统性地影响。其次，我们显示，特定损坏设置诱导的混淆和不确定性模式，其分布在统计上比现有合成IDN基准生成方法更接近人类标注不确定性，例如在CIFAR10-H[22 (https://arxiv.org/html/2606.14965#bib.bib9)]中观察到的。第三，我们在生成的基准上评估了最先进的噪声标签学习方法，包括Co-Teaching[7 (https://arxiv.org/html/2606.14965#bib.bib7)]和DivideMix[14 (https://arxiv.org/html/2606.14965#bib.bib18)]，并显示它们的行为不仅取决于整体噪声率，还取决于底层的损坏机制。这些结果共同表明，受控损坏提供了一种实用且互补的方法，用于构建在实例依赖标签噪声下评估方法的真实、可解释且机制受控的IDN基准。

我们的技术贡献总结如下：

- •我们提出了CILN，一个通过损坏介导生成机制受控IDN基准的框架。该框架引入了干净启动条件和显式损坏设置，建立了歧义来源与结果标签不确定性之间的直接联系。
- •我们证明，所提出的框架生成了真正的IDN，并且实例依赖的程度可以通过损坏的类型和严重程度系统性控制。
- •我们证明，受控损坏诱导了多样的混淆和不确定性模式，并且在适当的损坏设置下，结果的标签分布在统计上比现有的合成IDN基准生成方法更接近人类标注不确定性。
- •我们在生成的基准上评估了最先进的噪声标签学习方法，并显示它们的性能不仅取决于整体噪声率，还取决于底层的歧义机制，突出了传统合成噪声模型未能捕捉到的基准特征。

## II 预备知识

本节介绍论文中使用的符号和概念。第II-A节 (https://arxiv.org/html/2606.14965#S2.SS1)回顾了分类设置和标签噪声模型，第II-B节 (https://arxiv.org/html/2606.14965#S2.SS2)引入了投票者生成的标签分布，第II-C节 (https://arxiv.org/html/2606.14965#S2.SS3)定义了损坏设置。

### II-A 分类设置与噪声模型

我们考虑一个KK类分类问题，输入空间为X\\mathcal\{X\}，标签空间为Y=\{1,...,K\}\\mathcal\{Y\}=\\\{1,\\ldots,K\\\}\。令D=\{\(xi,yi\)\}i=1ND=\\\{\(x\_\{i\},y\_\{i\}\)\\\}\_\{i=1\}^\{N\}表示一个干净数据集，其中xi∈Xx\_\{i\}\\in\\mathcal\{X\}是一个输入样本，yi∈Yy\_\{i\}\\in\\mathcal\{Y\}是其真实类别标签。根据数据集的不同，xix\_\{i\}可以代表图像或表格记录。

当观察到的标签y~i\\tilde\{y\}\_\{i\}与干净标签yiy\_\{i\}不同时，就出现了标签噪声。带噪声的数据集写为D~=\{\(xi,y~i\)\}i=1N\\tilde\{D\}=\\\{\(x\_\{i\},\\tilde\{y\}\_\{i\}\)\\\}\_\{i=1\}^\{N\}\。现有工作通常研究几种噪声生成设置。在对称标签噪声中，标签以固定概率δ\\delta随机翻转：

P\(y~=j∣y=i\)=\{1−δ,j=i,δK−1,j≠i\.P\(\\tilde\{y\}=j\\mid y=i\)=\\begin\{cases\}1\-\\delta,&j=i,\\\\\[5\.69054pt\] \\dfrac\{\\delta\}\{K\-1\},&j\\neq i\.\\end\{cases\}
类别条件噪声（CCN）假设损坏过程仅依赖于真实类别标签，而不依赖于输入实例。形式上，

P\(y~=j∣x,y=i\)=P\(y~=j∣y=i\)\.P\(\\tilde\{y\}=j\\mid x,y=i\)=P\(\\tilde\{y\}=j\\mid y=i\)\.
在此假设下，损坏过程可以用一个转移矩阵T∈RK×KT\\in\\mathbb\{R\}^\{K\\times K\}来表示：

P\(y~=j∣y=i\)=Tij,P\(\\tilde\{y\}=j\\mid y=i\)=T\_\{ij\},
其中TT的每一行指定了类别ii的损坏概率。对称标签噪声和CCN都忽略了单个示例的属性，假设同一类别的所有实例共享相同的损坏行为。

然而，在实际设置中，标签损坏的概率通常依赖于输入本身。更难的示例、有歧义的输入或退化的观察自然更可能获得错误标签。IDN放松了CCN假设，允许损坏过程同时依赖于输入实例和真实标签。因此，噪声标签分布被建模为P\(y~∣x,y\)P\(\\tilde\{y\}\\mid x,y\)，允许同一类别的示例根据其个体特征具有不同的概率获得错误标签。