针对噪声标签不平衡学习的有界调整与可靠性引导嵌入

# 基于可靠性引导嵌入的有界调整方法用于不平衡学习与噪声标签
来源：https://arxiv.org/html/2609.16380
作者：Akarsh J
单位：印度理工学院印多尔分校电气工程系
M. Tanveer
单位：印度理工学院印多尔分校数学系
Mohd. Arshad
单位：印度理工学院印多尔分校数学系

###### 摘要

类别平衡学习与标签噪声会形成耦合的失效模式：需要进行频率修正以防止多数类主导决策规则，但这会放大错误标注少数类样本的影响。我们提出**Barge**（**B**ounded **A**djustment with **R**eliability-**G**uided **E**mbeddings），这是一个单阶段目标函数，结合了有界的、经先验调整的密度幂得分与可靠性引导的角度几何。分类得分在调整后的概率空间中是严格适当的，并且在干净监督和真实类别先验下能恢复平衡的贝叶斯排序。在给定标签被污染的情况下，其有限范围限制了任何固定预测器的分类风险变化，并且当模型自信地与给定标签矛盾时，其对数几率梯度会重新下降。调整后的目标概率还为类别均衡的特征紧凑性提供了独立的可靠性权重，而单边分离项则抑制了正对齐的类别方向。最终的目标函数既不需要噪声率也不需要转移矩阵，仅使用一个网络，并且不改变推理过程。我们在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上，针对长尾和阶跃不平衡、干净监督以及20%和40%随机错误标签替换的情况评估了Barge。在12种干净标签设置中，Barge与强大的不平衡学习基线方法具有竞争力，整体排名第二，并在四种设置中获得了最低错误率。在标签污染的情况下，它在所有六种数据集-污染设置中都取得了最低的平均平衡错误率，并将六种设置的平均错误率从最强竞争方法的72.32%降低到70.00%。在每个污染标签设置中，它还获得了最高的宏观F1分数和宏观AUPRC。组件消融研究表明，类别均衡的角度紧凑性优于仅有有界得分。这些发现表明，有界预测影响和可靠性引导几何是从具有不确定标签的不平衡数据中学习的互补机制。

## 1 引言

平衡分类要求学习器对待每个类都同等重要，即使训练集并非如此。这个目标在医学筛查、故障识别和生态监测中很常见，因为感兴趣的事件通常是最不频繁的。它也是一个独特的统计目标。基于观测训练先验的经验风险偏向头部类别，而平衡错误对应于均匀目标先验。这种不匹配改变了贝叶斯决策规则以及学习特定类别特征的过程（He and Garcia, 2009；Buda et al., 2018；Francazi et al., 2023）。在具有非对称后果的应用中，长尾学习可能还需要明确的决策效用，而不仅仅是单一的聚合准确性度量（Li and Zhang, 2025）。

现代长尾学习在多个层面攻击这种不匹配。重加权修改每个类别的经验贡献（Cui et al., 2019; Ren et al., 2018）；边缘和对数几率方法重塑类别决策（Cao et al., 2019; Menon et al., 2021）；解耦和对比方法在分类器平衡之前或同时强化表示（Kang et al., 2020; Zhu et al., 2022）。最近的工作已经超越了启发式修正。广义的对数几率调整和类别感知损失在广泛的假设类上建立了平衡风险一致性（Cortes et al., 2025b），而不平衡敏感边缘框架提供了强大的 \(\mathcal{H}\)-一致性和类别敏感泛化界（Cortes et al., 2025a）。难度感知边缘改进了哪些少数样本受到重视（Son et al., 2025），而模型再平衡直接将参数容量重新分配给尾部类别（Luo et al., 2025）。这些进展阐明了如何修正类别频率。它们没有解决第二个问题：当被强调的标签是错误时应该怎么办？

这个问题很重要，因为不平衡和标注错误相互强化。稀有类别通常由弱检索、有限的专家审查或异构数据源构建。然后，逆频率权重可能会放大错误的少数类标签。交叉熵有不同的失效模式：当网络变得确信给定标签是错误时，其梯度不会消失。噪声标签学习通过转移修正、样本选择、协同训练或鲁棒损失来解决这些影响（Patrini et al., 2017; Han et al., 2018; Zhang and Sabuncu, 2018; Ma et al., 2020）。最近的方法通过标签修正、专家专业化或多模态共识共同解决长尾不平衡和标签噪声问题（Chen et al., 2025; Li et al., 2025a; Li et al., 2026）。这引出了一个互补的损失层面问题：能否在单网络训练协议中控制预测和表示层面的影响，而无需估计噪声率或转移矩阵？

为了解决这个设置，我们引入**Barge**（**B**ounded **A**djustment with **R**eliability-**G**uided **E**mbeddings），这是一个单阶段目标函数，结合了经先验调整的密度幂严格适当得分与可靠性引导的角度几何。在干净监督下，适当性在调整后的概率空间中恢复训练后验，而原始对数几率在移除先验贡献后保留平衡的贝叶斯排序。在标签污染下，有界性和重新下降的梯度限制了与当前证据强烈冲突的给定标签的影响；这些性质并不意味着在任意污染下恢复干净后验。调整后的目标概率还作为表示学习的独立可靠性信号。它调节向给定类别方向的角度收缩，而类别内归一化保持类别均衡的几何影响。互补的单边惩罚分离正对齐的分类器方向。因此，预测和几何组件通过模型与给定标签之间的共同一致性度量相互关联。

本文做出以下关键贡献：

- 我们推导了一个经先验调整的密度幂目标函数，该函数在调整后的概率向量中是严格适当的，并且在干净监督和真实先验下，在原始对数几率中诱导出平衡的贝叶斯规则。
- 我们建立了有限的每样本范围、在标签污染下固定预测器的有界分类风险扰动，以及在自信矛盾极限下重新下降的对数几率梯度。这些是针对特定情况的影响属性，而不是在任意标签噪声下的普遍保证。
- 我们引入了可靠性引导、类别均衡的角度紧凑性以及单边分类器分离。这两个几何项都是有界的，并且避免了二次样本对矩阵。
- 我们使用共同的架构、优化过程、数据划分、调优协议和指标套件，在干净和污染监督下评估完整目标。研究区分了干净平衡分类、扩展到200个类别、标签污染行为、校准、计算成本以及得分和几何项的贡献。

论文剩余部分结构如下。第2节回顾相关工作；第3节形式化问题；第4节和第5节介绍Barge及其理论性质；第6节报告实证评估；第7、8和9节提供讨论、局限性和结论。

## 2 相关工作

##### 平衡分类。

采样和损失加权是对倾斜类别频率最直接的修正。类别平衡损失用有效数量估计替换原始频率（Cui et al., 2019），元重加权从验证数据学习样本贡献（Ren et al., 2018），而Balanced Meta-Softmax将类别先验嵌入softmax公式中（Ren et al., 2020）。Focal loss是为解决前景-背景不平衡而引入的，它降低简单预测的权重，而不是类别本身（Lin et al., 2017）。平衡损失和相关的梯度控制抑制检测中头部类别的主导地位（Tan et al., 2020）。基于边缘的方法如LDAM扩大少数类边缘（Cao et al., 2019），而对数几率调整直接修正先验偏移下的决策规则（Menon et al., 2021）。Cortes等人（Cortes et al., 2025b）推广了对数几率调整和类别感知损失，并在明确条件下证明了平衡风险一致性。一个互补的边缘框架建立了强大的 \(\mathcal{H}\)-一致性和类别敏感泛化保证（Cortes et al., 2025a）。最近的高维分析进一步表明，重加权对学习特征的影响取决于问题的对称性和几何结构（Obuchi and Tanaka, 2025）。最近的替代方法也在损失之外进行干预：分布匹配合成增强少数类（Li et al., 2025b），而模型再平衡重新分配参数容量（Luo et al., 2025）。Barge关注与总体目标，但增加了有界的样本影响和特征几何。

##### 长尾表示。

类别不平衡影响学习的表示以及最终分类器。解耦训练表明，一个强大的表示可以与有偏的分类器共存，并且通常可以在第二阶段重新平衡（Kang et al., 2020）。平衡对比学习修改类别补集和原型以改善少数类结构（Zhu et al., 2022）。平衡信息瓶颈结合损失重加权和跨多个特征层的自蒸馏，以在长尾采样下保留与标签相关的信息（Lan et al., 2025）。中心损失和角度边缘目标同样证明了紧凑的类内特征和分离的类别方向的价值（Wen et al., 2016; Liu et al., 2017; Wang et al., 2018; Deng et al., 2019）。监督对比学习提供了一种通用的成对路径来获得判别性几何（Khosla et al., 2020）。Barge使用最终分类器方向作为类别锚点。这避免了样本对存储，并允许分配给观测标签的几何结构由其当前的可靠性调节。

##### 从污染标签学习。

当转移矩阵可识别时，噪声转移校正在统计上是吸引人的（Patrini et al., 2017）。协同教学则依赖两个网络交换小损失样本（Han et al., 2018）；对等损失在不知道噪声率的情况下构建比较（Liu and Guo, 2020）。鲁棒损失分析将对称性、有界性和归一化与指定噪声模型下的容忍度联系起来（Ghosh et al., 2017; Zhang and Sabuncu, 2018; Ma et al., 2020）。后期工作强调鲁棒性和可靠概率估计并非同一属性（Olmin and Lindsten, 2022）。基于表示的分析提供了另一个视角：自监督特征可以在噪声标签拟合之前更均匀地分布标签噪声并保持紧凑的类别结构（Xu et al., 2025）。最近的长尾噪声标签流程将标签修正与先验估计、语义专家训练或多模态共识相结合（Chen et al., 2025; Li et al., 2025a; Li et al., 2026）。Barge采取了互补的目标层面方法：它不估计干净标签或转移模型，并且仅将调整后的置信度用作停止梯度的相对权重。

##### 定位。

Barge建立在四个原则上：用于平衡决策规则的先验校正、用于鲁棒估计的密度幂散度（Basu et al., 1998）、用于概率预测的严格适当评分规则（Gneiting and Raftery, 2007），以及用于表示学习的角度正则化。相同的经先验调整的目标概率既定义了有界分类得分，也定义了紧凑性项中使用的独立可靠性权重。因此，预测影响和标签条件特征收缩由模型与给定标签之间的共同一致性度量控制。互补的单边惩罚抑制了类别方向之间的对齐。这种耦合将Barge与独立应用先验校正、鲁棒评分或特征正则化的方法区分开来。

## 3 问题设置与设计要求

设 \(D=\{(\bm{x}_i,\widetilde{y}_i)\}_{i=1}^{N}\)