随机顺序学习：一种利用含噪数据进行排序估计的方法

# 随机顺序学习：一种利用噪声数据进行排名估计的方法
来源：https://arxiv.org/html/2607.08103

###### 摘要

带有标签噪声的排名估计面临一个根本性挑战，因为序数标注通常表现出结构化的不确定性，而非简单的标签损坏。在本文中，我们将带有噪声序数标签的排名估计重新表述为一个随机顺序问题，其中每个实例本质上与多个可能的排名相关联，而非单个确定性标签。基于这一观点，我们提出了随机顺序学习（Stochastic Order Learning, SOL），这是一个学习框架，它捕捉序数标签的不确定性，并通过两个互补目标来学习嵌入空间：一个判别性损失用于结构化实例-质心交互，以及一个随机顺序损失用于强制执行实例之间的概率排序关系。跨多个数据集的广泛实验表明，SOL能够在各种类型和水平的标签噪声下实现可靠的排名估计。源代码可在 https://github.com/cwlee00/SOL 获取。机器学习，ICML

## 1 引言

排名估计——预测一个对象的排名或“有序类别”的任务——是机器学习中的一个基本问题，应用包括面部年龄估计（Ricanek and Tesafaye,2006; Shin et al.,2022）、美学评分回归（Kong et al.,2016）和医学评估（Halabi et al.,2019）。然而，在实践中，获得无误差的序数标注是具有挑战性的，因为相邻标签之间的区别往往很细微。例如，面部外观在短年龄差距内变化很小，使得标注错误不可避免；事实上，Escalera et al. (2015) 表明表观年龄分布与实际年龄不同。标签噪声也源于主观性，例如在美学评估中，不存在通用的评分标准，以及医学图像分析中观察者间的变异性（Halabi et al.,2019）。为减轻这种变异性，通常通过平均多个专家的估计来聚合标注。

已经开发了许多算法来使用带有噪声标签的不完美数据训练机器，但大多数算法针对的是分类（Tanno et al.,2019; Song et al.,2019; Ma et al.,2020; Yao et al.,2022; Ye et al.,2023）或分割（Yang et al.,2020; Li et al.,2023）。与分类或分割不同，排名估计由于类别的序数性质而遭受不同程度标签错误的影响。图1比较了分类的名义数据和排名估计的有序数据。在分类中，将狗误分类为猫与将狗误分类为熊危害相同。相比之下，在排名估计中，将43岁估计为59岁的错误比将24岁误认为26岁更严重。由于噪声鲁棒分类方法将所有噪声同等对待，它们在应用于有序数据时容易产生大的估计误差，并且无法识别极端异常值。尽管存在几种噪声鲁棒回归方法，但基于回归的模型已知在性能上不如基于分类或排名的方法。正如Zhang et al. (2023) 所指出的，直接回归可能无法学习高熵特征表示，导致学习到的表示与目标输出之间的互信息较低。顺序学习方法（Lim et al.,2020; Shin et al.,2022; Lee et al.,2022）克服了直接回归的局限性，并在排名估计中显示出有希望的结果。然而，这些方法假设标注是干净的，并且在存在标签噪声时性能下降，这凸显了对噪声鲁棒顺序学习算法的需求。

图1：分类中的名义数据与排名估计中的有序数据。与分类不同，在排名估计中，某些错误比其他错误更严重。

重要的是，从噪声序数标签中学习不仅仅是顺序学习加上额外鲁棒机制的简单扩展。现有的顺序学习方法依赖于每个实例与单个、定义明确的排名之间的确定性关联——一旦序数标签被噪声破坏，这一假设就不再成立。在这种情况下，一个实例不再对应一个唯一的排名，而是与多个相邻排名相关，具有不同程度的可能性，这反映了序数标签错误的严重性和结构。这种结构化的不确定性不能通过将噪声视为对原本确定性监督的边缘扰动来充分捕捉。相反，标签噪声下的排名估计必须重新表述为一个随机顺序问题，其中实例-排名关系本质上是概率性的而非固定的。

在本文中，我们提出了一种学习框架，称为随机顺序学习（SOL），它实现了上述在标签噪声下排名估计的随机顺序观点。给定噪声序数标注，SOL通过将每个实例与一组可能的排名（而不是单个确定性标签）相关联来捕捉标签不确定性。基于这种概率性的实例-排名关联，我们学习一个嵌入空间，该空间受一个期望的引导，即最小化实例与其对应排名质心之间的差异。这个表述自然地产生两个互补目标：一个控制实例-质心吸引和排斥的判别性损失，以及一个强制执行实例之间排序关系的随机顺序损失。此外，SOL可以选择性地包含一个异常值识别和重新标记步骤，以细化特别嘈杂的实例。广泛的实验表明，SOL能够在各种类型和水平的标签噪声下，跨不同有序数据集实现可靠的排名估计。

本文的贡献可以总结如下：

- • 我们将标签噪声下的排名估计重新表述为一个随机顺序问题，其中实例与其排名之间的关系本质上是概率性的而非确定性的。
- • 基于这一重新表述，我们提出了随机顺序学习（SOL），这是一个学习框架，它建模序数标签不确定性，并通过两个互补目标学习嵌入空间：一个用于实例-质心交互的判别性损失和一个用于概率排序关系的随机顺序损失。
- • 我们在视觉、医学成像、美学评估和自然语言处理等多个基准上进行了广泛实验，表明SOL能够在各种类型和水平的标签噪声下实现可靠的排名估计。

## 2 相关工作

**从噪声标签中学习：** 关于从噪声监督中学习的早期工作侧重于通过强制执行结构约束来纠正不一致的标注，例如等渗分类和具有单调性约束的规则学习（Chandrasekaran et al.,2005; Kotłowski and Słowiński,2009）。随着深度学习和大规模数据集的兴起，标签噪声成为一个更突出的挑战，因为深度神经网络对损坏的监督特别敏感。因此，已经提出了许多方法，包括鲁棒损失函数（Ghosh et al.,2017; Zhang and Sabuncu,2018; Lyu and Tsang,2019; Ma et al.,2020; Ye et al.,2023）、噪声容忍目标（如 peer loss）（Liu and Guo,2020）、正则化策略（Tanno et al.,2019; Menon et al.,2020; Xia et al.,2020）、鲁棒架构（Han et al.,2018a; Goldberger and Ben-Reuven,2022）、选择性数据采样（Han et al.,2018b; Jiang et al.,2018; Song et al.,2019），以及表示学习方法，包括选择性监督对比学习（Li et al.,2022b）。然而，这些方法中的大多数是为分类或分割任务设计的，而不是序数排名估计。

图2：提出的SOL算法概览

与分类相比，解决标签噪声下回归和序数预测的方法相对较少。经典的序数回归模型，如累积链接和刻板模型（McCullagh,1980; Anderson,1984），通过潜变量似然公式处理有序标签，但仅限于参数设置，不支持从高维输入（如图像或文本）进行表示学习。这些局限性促使最近的努力在现代学习框架内重新审视标签噪声下的序数回归。受Natarajan et al. (2013) 的无偏风险估计框架启发，Garg and Manwani (2020) 研究了噪声鲁棒的序数回归，通过修改损失函数，使得在损坏标签下的优化等价于在干净标签下的优化。Castells et al. (2020) 提出在训练期间降低具有大损失样本的权重，基于嘈杂样本往往产生更高损失的假设。Yao et al. (2022) 通过更频繁地对具有更近序数标签的训练对进行采样，将Mixup（Zhang et al.,2018）适应于回归。Wang et al. (2022b) 表明标准正则化方案在标签噪声下无效，并提出了一种噪声鲁棒的文本回归方法，通过丢弃或修复检测到的嘈杂样本来减轻噪声。最近，Kim et al. (2024) 引入了一种对比碎片化策略，将标签空间划分为碎片，并在碎片对上训练专家提取器以进行鲁棒特征学习，同时利用邻域一致性来识别干净样本。

**排名估计：** 排名估计旨在预测一个对象的有序类别，与普通分类有本质区别。早期的方法使用直接回归或分类模型来估计排名。直接回归（Guo et al.,2009）预测标量值，通常表现较差，因为它忽略了与排名相关的底层物理或语义过程，如老化。基于分类的方法（Geng et al.,2007）将排名估计表述为多类分类问题，但未能显式建模标签之间的序数关系。为解决这一局限，序数回归方法将排名估计分解为一系列二元分类子问题（Frank and Hall,2001; Li and Lin,2006）。最近，提出了深度序数回归技术，包括成对正则化（Liu et al.,2018）、软标签（Diaz and Marathe,2019）、连续性感知概率网络（Li et al.,2019）和不确定性感知回归（Li et al.,2021）。与模糊性建模相关，Gao et al. (2017) 使用高斯分布表示序数标签以捕捉邻近性引起的模糊性，但没有考虑由错误标注引起的噪声。

**顺序学习：** 顺序学习（Lim et al.,2020）是一种排名估计方法，其动机是相对评估通常比绝对预测更容易。Lim et al. (2020) 不直接预测排名，而是通过将实例与已知排名的参考实例进行比较来估计实例的排名。为了提高参考可靠性，Lee and Kim (2021) 提出了顺序-身份分解。后续工作将顺序学习扩展到回归设置（Shin et al.,2022），以及弱监督和无监督场景（Lee and Kim,2022; Lee et al.,2024）。最近，Lee et al. (2022) 通过学习一个嵌入空间，其中实例根据其排名排列，同时利用排序关系和度量信息。然而，现有的顺序学习方法假设确定性和无误差的排名标注，因此没有对由噪声序数标签引起的不确定性进行建模。

图3：单调约束和构建SOL嵌入空间的训练损失示意图

## 3 提出的算法

### 3.1 问题表述

存在一个训练集 \(\mathcal{X}\)，其中每个实例被赋予 \(n\) 个排名（或有序类别）之一，由连续整数 \(\{1,\ldots,n\}\) 表示。设 \(\bar{r}_x\) 表示实例 \(x \in \mathcal{X}\) 的真实排名。然而，只有一个噪声排名 \(r_x\) 可用，由下式给出：
\[
r_x = \bar{r}_x + e_x \tag{1}
\]
其中 \(e_x\) 是 \(x\) 的标签误差。设 \(\mathbf{e}\) 为每个误差 \(e_x\) 背后的随机变量。假设 \(\mathbf{e}\) 具有离散高斯分布：
\[
p_s \triangleq \Pr(\mathbf{e}=s) = \frac{1}{C} e^{-\frac{s^2}{2\sigma^2}} \tag{2}
\]
其中 \(C = \sum_t e^{-\frac{t^2}{2\sigma^2}}\)，且 \(s,t \in \mathbb{Z}\)。注意，(2) 中的噪声分布是对称的 (\(p_s = p_{-s}\)) 且是单峰的 (\(p_s \ge p_t\) 对于 \(0 \le s \le t\))。这为许多现实世界中的标签错误提供了一个简单而实用的模型。