分布鲁棒的列表级偏好优化

# 分布鲁棒的列表式偏好优化
来源：https://arxiv.org/html/2607.01715

Xudong Wu  
香港大学 香港特别行政区 & Jian Qian  
香港大学 香港特别行政区 & Pangpang Liu  
耶鲁大学 纽黑文, CT, 美国 & Vaneet Aggarwal  
普渡大学 西拉法叶, IN, 美国 & Jiayu Chen  
香港大学 香港特别行政区

###### 摘要

现有的用于语言模型对齐的鲁棒偏好优化主要研究成对监督，并将鲁棒性置于数据集、提示或偏好对层面。我们转而研究在排序标签不确定性下的列表式偏好优化：给定一个提示和一个候选列表，由于标注者不一致、接近平局、有损的排序反馈或奖励模型噪声，在该列表上观察到的排序可能是不明确的。我们提出了一个逐点全变分鲁棒的 Plackett-Luce 目标，该目标直接对候选列表条件上的排序标签进行鲁棒化。该鲁棒损失可以精确分解为名义 PL 损失加上最坏情况 PL 校正项，并且最坏情况排序是通过按升序排列当前隐式得分得到的，将内部最大化问题从 \(K!\) 枚举降低到 \(O(K \log K)\)。这种可处理的结构带来了强离线和在线优化保证。在离线固定列表设置中，鲁棒目标是凸的，投影随机次梯度法以 \(O(\epsilon^{-2})\) 样本复杂度达到全局 \(\epsilon\)-次优性。在在线策略诱导设置中，其中候选列表由当前策略生成，我们建立了弱凸性和 \(\widetilde{O}(\epsilon^{-2})\) 的 Moreau-包络驻点性。离线 LLM 对齐实验表明，所提出的鲁棒校正项在干净标签下基本保持性能，并在噪声下提高了鲁棒性。在线对齐中，它使基于奖励模型排序的候选扩展更可靠，并同时提升了奖励模型和外部 GPT-4 评估指标的评分。

## 1 引言

从人类偏好中学习已成为对齐大型语言模型的核心机制，其中基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）是指导调优模型的标准方法 (Christiano et al., 2017; Ouyang et al., 2022; Rafailov et al., 2023)。大多数现有的分析和算法将偏好反馈形式化为 Bradley-Terry (BT) 模型下的*成对*监督 (Bradley and Terry, 1952; Rafailov et al., 2023)，每个训练样本标识一个被选择的响应和一个被拒绝的响应。然而，许多现代偏好数据集本质上是*列表式*的：对于单个提示，有多个候选响应可用，并且监督可能包含完整或部分排序。这激发了 Plackett–Luce (PL) 列表式偏好目标 (Plackett, 1975; Xia et al., 2008; Liu et al., 2025; Song et al., 2024)，该目标利用多个候选响应的相对排序，而不是将反馈简化为孤立的成对比较。虽然这些工作建立了列表式偏好优化，但它们没有解决观察到的排序标签本身的不确定性的鲁棒性问题。据我们所知，这是第一个研究在条件排序标签模糊性下进行鲁棒列表式偏好优化以对齐 LLM 的工作。

鲁棒偏好优化主要沿着不同的轴线发展。最近的鲁棒 DPO 类方法引入了对经验偏好数据集、提示分布或偏好对分布的分布不确定性 (Wu et al., 2025; Mandal et al., 2025; Xu et al., 2026)。这些方法解决了一个重要问题：当采样的提示或偏好对的分布被扰动时，对齐应该如何表现？它们没有直接解决列表式监督中另一个常见的、不同的不确定性来源：即使在相同的提示和相同的候选列表条件下，观察到的排序标签本身也可能是不可靠的。本文研究了这种*条件排序标签不确定性*。给定一个提示 \(x\)，一个实现的候选列表 \(\mathcal{Y} = (y_1, \ldots, y_K)\)，以及一个观察到的排序 \(\sigma^\star\)，我们允许排序标签分布在一个围绕经验排序的逐点全变分模糊集内变化。这模拟了由标注者不一致、候选者之间的接近平局、并列或有损的排序反馈以及在线对齐中由奖励模型引发的排序噪声引起的局部模糊性。与之前鲁棒偏好优化工作的关键区别在于，我们不鲁棒化哪些提示、对或候选列表被采样；相反，在给定一个实现的候选列表的条件下，我们鲁棒化该列表上的排序标签。

这种以候选列表为条件的公式有两个优点。首先，它直接针对监督噪声：对于一个固定的提示-候选列表实例，标注者分歧、奖励模型错误、接近平局和有损排序标注都表现为相同备选方案间观察到的顺序的不确定性。其次，该公式保留了完整的列表式排序信号。PL 模型是成对 BT/DPO 目标的严格列表式推广：当 \(K=2\) 时，它恢复标准的成对偏好损失，而当 \(K>2\) 时，它保留了多个候选者之间的序列级排序。先前的列表式排序和偏好优化方法已经表明，使用多个候选者之间的相对排序可以利用比将反馈简化为孤立的成对比较更丰富的监督 (Xia et al., 2008; Song et al., 2024; Liu et al., 2025)。我们的鲁棒化保持了这种列表式结构完整：它扰动同一候选集上的排序，而不是将监督分解为独立的成对标签翻转。

乍一看，这个公式似乎计算成本很高，因为对手可以在 \(K!\) 种可能的排序中进行选择。我们的主要结构观察是，PL 损失使得这个内部最大化问题变得精确可处理：最坏情况排序是通过将当前隐式得分按升序排序获得的。因此，鲁棒列表式损失简化为名义 PL 损失和单个对抗性 PL 损失的凸组合，可在 \(O(K \log K)\) 时间内计算。对于 \(K \ge 3\)，这个校正是内在列表式的，并且不会简化为独立的成对 BT 校正的集合。

我们在由列表式对齐自然产生的离线和在线设置中分析了所得的目标函数。在具有对数线性得分的离线固定列表设置中，鲁棒目标是凸的，并且以 \(O(\epsilon^{-2})\) 的样本复杂度达到全局 \(\epsilon\)-次优性。在在线策略诱导设置中，其中候选列表从当前策略采样，目标函数不再是全局凸的；我们使用显式的升序排序 Clarke 次梯度预言，建立了弱凸性和 \(\widetilde{O}(\epsilon^{-2})\) 的 Moreau-包络驻点性保证。在经验上，所提出的校正项表现为一个保守的排序标签正则化器：它保留了干净标签的性能，提高了在结构化排序标签破坏下的稳定性，并有助于在在线奖励模型驱动的对齐中使更大的列表式候选集更可靠。

### 1.1 贡献

我们的贡献如下。

*   **鲁棒的列表式偏好优化公式。** 据我们所知，我们是第一个研究在条件排序标签不确定性下进行鲁棒列表式偏好优化以对齐 LLM 的工作。与先前的鲁棒 DPO 方法扰动数据、提示或对分布不同，我们的模糊集针对给定已实现候选列表条件下的排序标签。该公式在 \(K=2\) 时恢复标准的成对 BT/DPO 设置，同时在 \(K>2\) 时提供了一个真正的列表式鲁棒性模型。
*   **精确且可处理的鲁棒 PL 损失。** 我们表明鲁棒 PL 损失可以精确分解为名义 PL 损失和最坏情况 PL 损失。尽管内部最大化涉及 \(K!\) 种排序，但 PL 结构意味着最坏情况排序就是升序得分顺序，从而给出了一个 \(O(K \log K)\) 的评估算法。
*   **强大的离线和在线优化理论。** 在离线固定列表对数线性设置中，鲁棒目标是凸的，并且具有 \(O(\epsilon^{-2})\) 的随机次梯度保证。在在线策略诱导设置中，我们使用显式的 Clarke 次梯度预言证明了弱凸性和 \(\widetilde{O}(\epsilon^{-2})\) 的 Moreau-包络驻点性界。这些保证改进或匹配了在可比较的对数线性预言模型下密切相关的鲁棒偏好优化速率，如表格 1 所总结。
*   **排序标签不确定性下的实证验证。** 离线实验表明，当列表式标签被结构性破坏时，尤其是在严重的顶部排名噪声下，鲁棒 PL 最为有用。在线 LLM 对齐实验表明，当排名由奖励模型生成时，鲁棒性有助于更大的候选列表变得更可靠。

### 1.2 与先前鲁棒偏好优化的关系

先前的鲁棒偏好优化方法主要研究成对 BT/DPO 目标，并将鲁棒性置于数据、提示、对或预言分布上。相比之下，我们研究 PL 列表式偏好优化，并将不确定性置于给定已实现候选列表条件下的排序标签上。这种区别至关重要：对于 \(K \ge 3\)，我们的鲁棒校正是排列上真正的列表式 PL 最大间隙，具有精确的升序得分解决方案，而不是简化为独立的成对 BT 校正。表 1 总结了我们设置与代表性鲁棒偏好优化理论在偏好模型、鲁棒性来源、鲁棒损失结构和样本/预言复杂度方面的差异。其他讨论见附录 A。

| 特征 | 我们的设置 | 标准鲁棒 DPO (Wu et al., 2025) 等 |
| :--- | :--- | :--- |
| **偏好模型** | Plackett-Luce (列表式) | Bradley-Terry (成对) |
| **鲁棒性来源** | 排序标签 (给定候选列表) | 数据/提示/对分布 |
| **鲁棒损失结构** | 名义 PL + 最坏情况 PL (凸组合) | 原始-对偶 DPO 或 DRO 目标 |
| **主要保证** | 离线 \(O(\epsilon^{-2})\) 全局凸，在线 \(\widetilde{O}(\epsilon^{-2})\) 弱凸 | 通常 \(O(\epsilon^{-2})\) 到 \(O(\epsilon^{-4})\) |

表 1：与代表性鲁棒偏好优化理论的比较。*注意*。“主要保证”行报告了相应预言模型下的总样本/预言复杂度。与 Mandal 等人 (2025) 和 Li 等人 (2026) 的详细比较见备注 2 和备注 4。

## 2 背景：从成对 DPO 到列表式 PL-DPO

给定一个提示 \(x\) 和两个响应 \(y^+, y^-\)，Bradley-Terry (BT) 模型假设 \(\mathbb{P}(y^+ \succ y^- \mid x) = \sigma\big(r^\star(x, y^+) - r^\star(x, y^-)\big)\)，其中 \(\sigma\) 是逻辑 sigmoid 函数，\(r^\star\) 是潜在的真实奖励 (Bradley and Terry, 1952)。在 KL 正则化 RLHF 下，最优策略具有吉布斯形式 \(\pi^\star(y \mid x) \propto \pi_{\mathrm{ref}}(y \mid x) \exp(r^\star(x, y)/\beta)\)，所以 \(r^\star(x, y) = \beta \log[\pi^\star(y \mid x)/\pi_{\mathrm{ref}}(y \mid x)] + \beta \log Z(x)\)。配分函数 \(\beta \log Z(x)\) 在 BT 差异中抵消，这激发了隐式 DPO 得分 \(g_\theta(x, y) := \beta \log[\pi_\theta(y \mid x)/\pi_{\mathrm{ref}}(y \mid x)]\) 和成对 DPO 损失 \(\ell_{\mathrm{DPO}}(\theta; x, y^+, y^-) = -\log \sigma(g_\theta(x, y^+) - g_\theta(x, y^-))\) (Rafailov et al., 2023)。

#### 通过 Plackett-Luce 进行列表式推广。
对于每个提示 \(x\)，假设我们观察到一个已实现的候选列表 \(\mathcal{Y} = \{y_1, \dots, y_K\}\) 和一个确定性的经验排序 \(\sigma^\star \in S_K\)，其中 \(\sigma^\star_i\) 是排在位置 \(i\) 的响应的索引。BT 的列表式类比是 Plackett-Luce 模型 (Plackett, 1975)：
\[
\mathbb{P}(\sigma^\star \mid x, \mathcal{Y}) = \prod_{i=1}^K \frac{\exp(r^\star(x, y_{\sigma^\star_i}))}{\sum_{j=i}^K \exp(r^\star(x, y_{\sigma^\star_j}))}.
\tag{1}
\]
代入相同的 DPO 重参数化，配分函数 \(\beta \log Z(x)\) 在乘积的每个阶段都抵消了，得到列表式 PL-DPO 损失：
\[
\ell_{\mathrm{PL}}(\theta; x, y_{1:K}, \sigma) = -\sum_{i=1}^K g_\theta(x, y_{\sigma_i}) + \sum_{i=1}^K \log\Big(\sum_{j=i}^K \exp(g_\theta(x, y_{\sigma_j}))\Big).
\tag{2}
\]
当 \(K=2\) 且 \(\sigma = (1,2)\) 时，式 (2) 简化为 \(-\log \sigma(g_\theta(x, y_1) - g_\theta(x, y_2))\)，精确地恢复成对 DPO。对于 \(K \ge 3\)，\(\ell_{\mathrm{PL}}\) 聚合来自 \(K-1\) 个阶段 PL 选择的信息，并且严格比从同一列表抽取的任何单个成对比较提供更多信息。这种阶段式信息聚合的正式曲率视图在命题 H.2 中给出。

在固定离线数据集 \(\mathcal{D} = \{(x, y_{1:K}, \sigma^\star)\}\) 上的*名义*列表式目标是：
\[
J_{\mathrm{nom}}(\theta) := \mathbb{E}_{(x, y_{1:K}, \sigma^\star) \sim \mathcal{D}}[\ell_{\mathrm{PL}}(\theta; x, y_{1:K}, \sigma^\star)].
\]
我们接下来添加排序标签鲁棒性。

## 3 逐点 TV-鲁棒列表式目标

我们将每个经验排序标签 \(\sigma^\star\) 视为 \(S_K\) 上的一个狄拉克点质量，并让对手在半径为 \(\rho \in [0,1]\) 的 TV 球内扰动这个标签分布。

###### 定义 1 (逐点 TV 模糊性)。
对于样本 \((x, y_{1:K}, \sigma^\star)\)，
\[
\mathcal{U}_{\mathrm{TV}}(\delta_{\sigma^\star}, \rho) := \{P \in \Delta(S_K): \mathrm{TV}(P, \delta_{\sigma^\star}) \leq \rho\}, \quad \mathrm{TV}(P, Q) = \tfrac{1}{2}\|P - Q\|_1.
\tag{3}
\]

###### 定义 2 (鲁棒列表式目标)。
逐点鲁棒损失和离线鲁棒目标定义为：
\[
\ell_{\mathrm{rob}}(\theta; x, y_{1:K}, \sigma^\star) = \max_{P \in \mathcal{U}_{\mathrm{TV}}(\delta_{\sigma^\star}, \rho)} \mathbb{E}_{\sigma \sim P}[\ell_{\mathrm{PL}}(\theta; x, y_{1:K}, \sigma)].
\]
......
（注意：原文在此处被截断，但根据提供的文本，我们需要继续翻译。由于用户只给出了到定义2开头的部分，但应该是完整的文章。不过根据指令，我们只需翻译给出的内容。检查用户输入，它结束于“lrob\(θ;x,y1:K,σ⋆\)\d”，但似乎不完整。我假设用户提供了完整的文章内容，但可能由于格式问题被截断。应按照原文翻译至给出的最后部分。用户提供的内容包括到定义2的“点…”（中文），然后突然以“\d”结束。推测应该是“lrob\(θ;x,y1:K,σ⋆\)\”的一部分。为了忠实于输入，我翻译到能翻译的部分。

实际上，用户输入的后半部分有“\d”出现，可能是格式错误。我应翻译清晰可见的文本。用户输入中定义2下面有：“lrob\(θ;x,y1:K,σ⋆\)\\d” 这可能是 “\ell_{\mathrm{rob}}(\theta; x, y_{1:K}, \sigma^\star) = \max_{P \in \mathcal{U}_{\mathrm{TV}}(\delta_{\sigma^\star}, \rho)} \mathbb{E}_{\sigma \sim P}[\ell_{\mathrm{PL}}(\theta; x, y_{1:K}, \sigma)].” 的一部分。但鉴于用户只给出了开头，我翻译到定义2的陈述。

由于用户提供的文本不完整，我按照到定义2开头处翻译。但用户要求翻译整个提供的文章，我必须处理所有提供的部分。检查整个输入：它以一个摘要开始，然后到1引言，1.1贡献，1.2关系，2背景，3点……然后以“\d”结束。所以确实是不完整。但根据规则，我必须翻译用户提供的任何内容。我应严格翻译给出的文本，即使结束处有错误。我将“点”字翻译为“点”，并处理后面的符号。可能“点”是“点”字重复了。所以翻译“###### 定义 2 (鲁棒列表式目标)。\n逐点鲁棒损失和离线鲁棒目标是 lrob(θ;x,y1:K,σ⋆)\d”。但原文是“lrob\(θ;x,y1:K,σ⋆\)\\d”，所以我保留 LaTeX 格式。

最终响应应为纯中文 markdown，包括所有结构。

我尝试在思维中完成，但必须停止。我将按所见翻译，保留不完整部分。###### 定义 2 (鲁棒列表式目标)。
逐点鲁棒损失和离线鲁棒目标是
\[
\ell_{\mathrm{rob}}(\theta; x, y_{1:K}, \sigma^\star) = \max_{P \in \mathcal{U}_{\mathrm{TV}}(\delta_{\sigma^\star}, \rho)} \mathbb{E}_{\sigma \sim P}[\ell_{\mathrm{PL}}(\theta; x, y_{1:K}, \sigma)].
\]
（由于用户提供的标记在此处截断，翻译到可见内容为止。）