对比顺序学习：一种通用的序数回归框架

# 对比顺序学习：一种面向有序回归的通用框架 来源：https://arxiv.org/html/2607.08109 ###### 摘要 我们提出对比顺序学习（ConOrd），一种面向有序回归的对比学习框架，融合了对比学习与顺序学习的优势。对比学习能有效利用批次中的所有样本，但通常会忽略排序标签的固有顺序；而顺序学习虽显式建模标签的序关系，却往往依赖局部、基于间隔的比较，限制了其捕捉全局有序结构的能力。ConOrd 通过引入一种对比顺序损失函数解决了上述局限，该损失函数基于秩差定义了软亲和权重与软排斥权重，从而能够在批次内的所有样本对之间实现精细化的序关系建模。在多项有序回归任务（包括面部年龄估计、盲图像质量评估和盲视频质量评估）上的大量实验表明，ConOrd 一致地达到了最先进的性能，并在多种有序回归场景中具有良好的泛化能力。源代码可在 https://github.com/cwlee00/ConOrd 获取。对比学习、顺序学习、有序回归、ICML

## 1 引言

有序回归旨在估计对象实例的离散或连续秩。例如，面部年龄估计根据面部照片预测一个人的年龄，而图像质量评估则预测图像的质量分数。这是许多真实场景中经常出现的基本问题，包括面部年龄估计（Moschoglou 等，2017）、健康状态评分（Engemann 等，2022）、图像与视频质量评估（Ying 等，2021；Hosu 等，2017）以及注视方向估计（Wang 等，2022）。尽管应用广泛，有序回归仍面临固有挑战：相邻秩之间没有明确界限，且邻近标签之间的语义差异可能微妙或模糊。因此，机器很难学习到能准确反映底层有序结构的判别性表示。

为应对这些挑战，研究者提出了多种方法（Li 和 Lin，2007；Rothe 等，2018；Geng 等，2013；Diaz 和 Marathe，2019）。近年来，顺序学习技术（Lim 等，2020；Lee 和 Kim，2021；Lee 等，2022）取得了显著成功。其中，几何顺序学习（GOL）（Lee 等，2022）通过施加度量约束和顺序约束，在嵌入空间中按秩排列实例。然而，作为一种基于间隔的成对方法，GOL 一旦满足间隔条件便不再产生梯度，无法充分利用批级别上更丰富的序上下文信息，从而限制了其对精细序关系的捕捉能力。

与此同时，监督对比学习（Khosla 等，2020）也被扩展至有序回归，最著名的是 RnC 算法（Zha 等，2023）。监督对比学习依赖类别标签定义正负对，而 RnC 通过比较批次内相对秩差构建秩感知对。具体来说，RnC 选择一个锚点和一个正样本，并将与锚点的秩差超过该正样本的其他样本视为负样本。然而，这种硬阈值方式将序距离坍缩为二元决策，对秩差距中等和显著较大的样本一视同仁地当作负样本，导致 RnC 未能充分利用批次内完整的序信息。

参见图注：图1：三种对比学习技术的比较：(a) 监督对比学习（SupCon）(Khosla 等，2020)，(b) Rank-N-Contrast（RnC）(Zha 等，2023)，以及 (c) 本文提出的 ConOrd。SupCon 将锚点的增强视图视为唯一正样本，其余全部视为负样本。RnC 选择一个样本作为正样本，并将秩差大于锚点-正样本对的样本定义为负样本。与这些现有技术不同，ConOrd 以软方式定义正负样本，对批次内的所有样本进行比较。

在本文中，我们提出了对比顺序学习（ConOrd），它融合了顺序学习与对比学习的互补优势，同时缓解了各自的局限。顺序学习通过在嵌入空间中鼓励相似秩样本相互吸引、相异秩样本相互排斥来显式建模序结构（Lee 等，2022），但其通常依赖局部监督（如成对损失或间隔损失），这对于学习全局一致的嵌入可能不足。相比之下，对比学习能有效利用批次级别的样本关系，却常常忽略标签的有序性，以分类方式对待序差异。ConOrd 通过引入对比顺序损失来弥合这一差距，该损失根据秩差分配软亲和权重与软排斥权重，使得批次内所有样本都能按其序关系贡献不同强度的学习信号。如图1所示，这种设计将软的、秩感知的交互引入对比学习框架。通过结合软序监督与全对对比比较，ConOrd 既能捕捉精细的序结构，又能在嵌入空间中保持全局一致性。大量实验表明，ConOrd 在多种有序回归任务上均取得了强劲性能。我们的贡献概括如下：

- • 我们提出了对比顺序学习（ConOrd），一种面向有序回归的对比学习框架，将序结构融入批级别的表示学习。
- • 我们提出了一种对比顺序损失，该损失基于秩差为批次内所有样本对分配软亲和权重与软排斥权重，从而实现精细化的序监督并构建全局一致的嵌入空间。
- • ConOrd 在多个有序回归基准上达到了最先进性能，包括面部年龄估计、盲图像质量评估（BIQA）和盲视频质量评估（BVQA），并在多种回归任务中展现出强大的泛化能力。

参见图注：图2：本文提出的 ConOrd 有序回归框架概览。

## 2 相关工作

### 2.1 有序回归

有序回归旨在预测具有固有顺序的对象实例的序标签或秩。它已应用于多种场景，包括医疗诊断（Wu 等，2019；Liu 等，2018）、深度估计（Fu 等，2018）和面部年龄估计（Rothe 等，2018；Zhu 等，2021）。早期方法要么将问题重构为多个二分类任务（Frank 和 Hall，2001；Li 和 Lin，2007），要么通过调整传统分类损失函数将其作为回归问题处理（Rennie 和 Srebro，2005；Rothe 等，2018）。为了更好地利用标签的序性质，后续方法采用了标签分布学习（Geng 等，2013）、均值-方差损失（Pan 等，2018）、软序标签（Diaz 和 Marathe，2019）和概率嵌入（Li 等，2021）。然而，其中许多方法未能有效捕捉类间关系，可能限制性能（Niu 等，2016；Chen 等，2017）。为解决该问题，研究者提出了距离感知标签嵌入（Shi 等，2016）、秩学习（Chen 等，2017）和单调损失函数（Zhu 等，2021）。此外，Zhang 等（2023）引入了序熵正则化器，在保持序关系的同时促进更高熵的特征空间。同时，考虑类别接近度的评估指标和损失设计也得到探索（Amigó 等，2020），以及处理类别不平衡的方法（Nachmani 等，2025）。通过这一演进，有序回归逐渐被认识到——不同于普通分类——是一项需要同时建模类别间顺序和相对距离的预测任务。

### 2.2 顺序学习

近年来，顺序学习（Lim 等，2020）已成为有序回归或秩估计的一种有前景的方法。在顺序学习中，学习对象实例之间的排序关系，并通过将实例与已知秩的参考实例进行比较来估计其秩。为了可靠地选择参考，Lee 和 Kim（2021）将对象嵌入分解为顺序特征和身份特征，并选择具有相似身份特征的参考。Shin 等（2022）提出了一种基于回归的公式，用于估计两个参考之间的连续相对秩。Lee 和 Kim（2022）将顺序学习扩展到弱监督设置以应对有限标注，Lee 等（2024）提出了无监督顺序学习，交替优化有序聚类和嵌入空间构建。然而，直接比较方法（Lim 等，2020；Lee 和 Kim，2021；Shin 等，2022）需要将测试实例与多个参考比较，测试复杂度高，且未考虑实例之间的度量关系。为解决这些问题，Lee 等（2022）提出了 GOL，利用度量关系和顺序关系构建嵌入空间，并通过嵌入空间中的简单 kk-NN 搜索实现高效的秩估计。

### 2.3 对比学习

对比学习旨在通过建模对象实例之间的相似性和相异性来学习判别性表示。它促使相似（或正）对的表示在嵌入空间中靠近，而相异（或负）对的表示相互远离。早期方法（Chen 等，2020；He 等，2020）主要在自监督场景中探索，无需显式标签即可构建正负对。为了进一步利用标签信息，监督对比学习（Khosla 等，2020）被提出。它不仅依赖数据增强构建正对，还将来自同一类别的样本也定义为正对。对比学习扩展到全监督设置使得学习到的特征空间能更有效地反映语义结构，从而显著提升图像分类等下游任务的性能。

尽管对比学习在语义分割（Liu 等，2021）、目标检测（Xie 等，2021）和医学影像（Basak 和 Yin，2023）等多项任务中取得了强劲性能，但其在回归和有序设置中的扩展仍具挑战性。由于对比目标主要针对类别监督设计，它们常常无法捕捉样本之间的连续顺序。为解决此问题，RnC（Zha 等，2023）引入了基于秩的配对，但它仅依赖相对顺序，忽略了秩差的大小。后续方法探索了自适应温度（Baek 等，2024）、数据增强（Zheng 等，2024）或多间隔公式（Pitawela 等，2025），但这些方法引入了额外的超参数或优化复杂度，并可能遭受训练不稳定性。基于这些进展，我们提出了一种软加权对比方案，显式纳入秩差，以提供更稳定且更具表达力的序监督。

## 3 提出的算法

### 3.1 问题定义与概述

有序回归的目标是估计给定实例 x 的秩 r。与分类不同，在有序回归中，秩标签是自然有序的，并关联着固有的距离信息（Lee 等，2022）。例如，考虑三个实例 x_i、x_j 和 x_k，其秩分别为 r_i=10、r_j=12 和 r_k=30。在这种情况下，存在自然顺序 r_i < r_j < r_k，并且 i 和 j 之间的距离（|r_i - r_j| = 2）显著小于 i 和 k 之间的距离（|r_i - r_k| = 20）。这一距离信息揭示了细粒度的序结构 ：相对于 k，j 与 i 更接近，因此应被更紧密地拉向 i。捕捉这种基于距离的序关系是学习高质量嵌入的关键。为了有效利用这些关系，ConOrd 学习一个嵌入空间，其中所有实例根据其秩以顺序方式排列。我们的核心思想是引入一种新的对比顺序损失，基于秩差为配对分配软权重，从而在有序回归中实现细致且全局一致的排序。

具体来说，给定一个查询（锚点）及其嵌入，我们与批次中的其他样本进行对比，并为每个配对分配一个与秩差成比例的权重。所有正权重和负权重之和被用作对比目标。通过这种方式，锚点-正样本配对以与秩差成比例的强度被拉近，而锚点-负样本配对则以与秩差成比例的强度被推远，从而产生一个原则性的对比公式来学习序嵌入。

### 3.2 对比顺序学习

对比顺序损失。考虑一个包含 N 个实例的批次，每个实例具有秩标签 r_i ∈ R。我们利用神经网络 f(·) 获得归一化的嵌入向量 z_i = f(x_i)/||f(x_i)||。我们采用标准的监督对比学习（SupCon）框架（Khosla 等，2020），但用更灵活的基于秩差的亲和与排斥权重取代了分类式的正负分配。具体来说，对于锚点 i，对比顺序损失 L_i 定义为：

这个公式是在一个标准对比损失的框架下定义的，但将正负分配替换为基于秩差的权重。因此，ConOrd 通过软权重保留了对所有样本对的精细排序信号，从而能够同时从批次中的所有配对中进行学习。

权重设计。权重 w_ij^+ 和 w_ij^- 应遵循如下原则 ：当秩差 |r_i - r_j| 较小时，亲和力应较强，排斥力应较弱；当秩差增大时，亲和力减弱，排斥力增强。一个基于阈值 τ 和/或尺度参数来满足这些要求的简单选择是使用阶跃函数（如 RnC 所做），但这种硬分配会导致梯度信号的离散变化，并可能忽略秩差的大小。相反，我们采用基于秩差的单调递减函数 a(·) 和单调递增函数 b(·)。一个可能的选择是从高斯分布中派生这些函数。我们将秩差 d = |r_i - r_j| 归一化到 [0, ∞)，并使用标准归一化。排斥权重函数 b(d) 定义为 b(d) = 1 - a(d) 的互补，但为了独立控制吸引和排斥，我们允许不同的尺度。在实践中，我们采用（待续）