对比弱到强泛化

# 对比弱到强泛化
来源：https://arxiv.org/html/2510.07884
作者：Junfeng Fang, Jiaxin Wu, Tianyu Zhang, Chen Gao, Xiang Wang, Xiangnan He, Yang Deng

###### 摘要

弱到强泛化提供了一种有前景的范式，通过使用来自对齐后较弱模型的样本来训练更强的模型，从而扩展大型语言模型（LLM）的能力，而无需人工反馈或显式奖励建模。然而，其鲁棒性和泛化能力受到弱模型输出中噪声和偏差的阻碍，这限制了其在实际中的应用。为了解决这一挑战，我们利用隐式奖励（通过对数似然比近似显式奖励），并揭示了其与对比解码（CD，一种被证明能减少LLM生成噪声的解码策略）的结构等价性。基于这一联系，我们提出了**对比弱到强泛化（ConG）**，一种在对齐前后弱模型之间使用对比解码来生成更高质量样本的框架。该方法能够实现更可靠的能力转移、去噪和提升鲁棒性，显著缓解了传统弱到强方法的局限性。跨不同模型族的实证结果证实了一致的改进，证明了ConG的通用性和有效性。总体而言，我们的发现突显了ConG在推进弱到强泛化方面的潜力，并为实现通用人工智能（AGI）提供了一条有希望的路径。我们的代码可在以下地址获取：https://github.com/jianghoucheng/ConG

机器学习，ICML

## 1 引言

弱到强泛化已成为扩展大型语言模型（LLM）能力的一种有前景的范式（Burns 等，2024（https://arxiv.org/html/2510.07884#bib.bib11）；Yao 等，2025（https://arxiv.org/html/2510.07884#bib.bib16）；Li 等，2025（https://arxiv.org/html/2510.07884#bib.bib34）；Somerstep 等，2025（https://arxiv.org/html/2510.07884#bib.bib35）；Zhou 等，2024b（https://arxiv.org/html/2510.07884#bib.bib28））。通过利用从对齐后较弱模型生成的监督样本，可以直接训练更强的模型，而无需额外的奖励建模或人工反馈（Burns 等，2024（https://arxiv.org/html/2510.07884#bib.bib11）；Ouyang 等，2022（https://arxiv.org/html/2510.07884#bib.bib9）；Lee 等，2024（https://arxiv.org/html/2510.07884#bib.bib13））。这使得LLM能够将能力转移并扩展到更强的模型，为自我增强提供了机会，从而为实现通用人工智能（AGI）提供了潜在途径（Goertzel，2014（https://arxiv.org/html/2510.07884#bib.bib53））。尽管取得了令人鼓舞的进展，但该范式存在鲁棒性差和泛化能力有限的问题（Yao 等，2025（https://arxiv.org/html/2510.07884#bib.bib16）；Yang 等，2025（https://arxiv.org/html/2510.07884#bib.bib38））。我们将此归因于较弱模型中固有的偏差和偏好：其生成的样本通常包含噪声且质量相对较低。因此，更强的模型无法可靠地泛化，从而限制了弱到强方法的适用性（Lyu 等，2025（https://arxiv.org/html/2510.07884#bib.bib31））。这提出了一个核心研究问题：**如何在不依赖显式奖励（例如，人工反馈或奖励模型）的情况下，从弱模型中提取更高质量的样本，以实现更有效的弱到强泛化？**

参见图注

**图 1：我们提出的 ConG 概述。** (a) 比较传统弱到强方法与 ConG 的范式图解。(b) 散点图展示了隐式奖励与显式奖励之间的相关性，以及朴素采样与对比解码所得样本奖励的比较。(c) 雷达图比较了 AlpacaEval2 (AE) 和 Arena-Hard (AH) 上的弱到强方法；带下划线的指标对应 Qwen2.5-7B-Instruct，不带下划线的对应 Llama3-8B-Instruct。建议彩色查看。

最近隐式奖励在偏好对齐和推理增强方面的成功启发了我们的方法（Yuan 等，2024（https://arxiv.org/html/2510.07884#bib.bib36）；Cui 等，2025（https://arxiv.org/html/2510.07884#bib.bib37））。具体来说，隐式奖励将奖励参数化为对齐后模型与对齐前模型输出的对数似然比，先前的工作已证明它是显式奖励的无偏近似（Rafailov 等，2023（https://arxiv.org/html/2510.07884#bib.bib10））。这表明隐式奖励可以作为评估样本质量的可靠信号。此外，我们观察到其对数比结构与**对比解码（CD）**的形式紧密匹配，后者是一种最近提出的解码策略，被证明能减轻LLM生成中的噪声（Li 等，2023（https://arxiv.org/html/2510.07884#bib.bib17））。这种结构一致性意味着 CD 过程可以解释为生成最大化隐式奖励的响应。我们将这一结论形式化为 **CD–隐式奖励相关性**。实证上，图 1 (https://arxiv.org/html/2510.07884#S1.F1)(b) 显示了隐式奖励与显式奖励之间的强线性相关性，CD 生成的样本集中在高隐式奖励区域，这与该相关性一致。CD–隐式奖励相关性为从弱模型中生成更高质量的样本以训练更强模型提供了一条实用路径，从而实现降低噪声风险的弱到强泛化。如图 1 (https://arxiv.org/html/2510.07884#S1.F1)(a) 所示，我们不直接使用对齐后弱模型生成的样本，而是采用对齐前弱模型与对齐后弱模型之间的对比解码来生成训练样本，用于训练强模型。理论上，通过对比解码获得的样本保留了目标偏好的全部信号，并近似最大化隐式奖励，从而支持有效的弱到强泛化。我们将这一简单而有效的范式称为 **对比弱到强泛化（ConG）**。除了弱到强泛化，当弱模型和强模型实例化为同一模型时，ConG 可以自然地退化为*自对齐*，进一步拓宽了其适用性。

我们在两个主流的LLM系列——Qwen2.5（Yang 等，2024（https://arxiv.org/html/2510.07884#bib.bib25））和 Llama3（Dubey 等，2024（https://arxiv.org/html/2510.07884#bib.bib24））上评估了我们的方法。所有模型使用 UltraFeedback 数据集（Cui 等，2024（https://arxiv.org/html/2510.07884#bib.bib30））进行弱到强对齐和自对齐的训练，并在 AlpacaEval2（Dubois 等，2024（https://arxiv.org/html/2510.07884#bib.bib22））和 Arena-Hard（Li 等，2024（https://arxiv.org/html/2510.07884#bib.bib23））上进行评估。实验结果表明，ConG 在所有模型上始终且显著优于传统的弱到强方法。平均而言，它比基础模型有约 16.5% 的增益，如图 1 (https://arxiv.org/html/2510.07884#S1.F1)(c) 所示。这些结果证实了 ConG 在不同对齐场景下的通用性，并突出了其在能力转移、去噪和鲁棒性方面的优势，为迈向 AGI 提供了一条有希望的路径。

## 2 预备知识

### 2.1 基于人类反馈的强化学习

在偏好对齐中，训练数据集 D=\(\{(x, y_w, y_l)\}\) 由提示 x 和两个候选响应配对组成，其中 \(y_w \succ y_l \mid x\) 表示 y_w 优于 y_l。一个常见假设是偏好遵循 Bradley–Terry 模型 (Bradley and Terry, 1952 (https://arxiv.org/html/2510.07884#bib.bib26))，其中偏好 y_w 超过 y_l 的概率与指数化奖励成比例。在此假设下，通过最大化成对对数似然来训练奖励模型 r_θ(x, y)：
\[
\mathcal{L}_{\mathrm{RM}}(r_{\theta}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \big( r_{\theta}(x, y_w) - r_{\theta}(x, y_l) \big) \right], \quad (1)
\]
其中 σ(·) 表示 sigmoid 函数。奖励模型训练完成后，语言模型被视为策略 π_θ(y|x)，并优化以最大化预期奖励，同时保持接近参考策略 π_ref：
\[
\max_{\pi_{\theta}} \mathbb{E}_{x \sim \mathcal{D}, y \sim \pi_{\theta}(\cdot|x)} [r_{\theta}(x, y)] - \beta \mathrm{KL} \big( \pi_{\theta}(\cdot|x) \| \pi_{\mathrm{ref}}(\cdot|x) \big), \quad (2)
\]
其中 β > 0 控制正则化强度。该目标通常使用 Proximal Policy Optimization (PPO) 进行优化 (Schulman 等, 2017 (https://arxiv.org/html/2510.07884#bib.bib27); Ouyang 等, 2022 (https://arxiv.org/html/2510.07884#bib.bib9); Christiano 等, 2017 (https://arxiv.org/html/2510.07884#bib.bib8))。

### 2.2 直接偏好优化 (DPO)

直接偏好优化 (DPO) (Rafailov 等, 2023 (https://arxiv.org/html/2510.07884#bib.bib10)) 提供了一种稳定、可扩展的 RLHF 替代方案，它直接从偏好比较中优化策略，无需显式奖励模型或在策略采样。DPO 可以通过将奖励函数 r(x, y) 重新参数化为 KL 正则化奖励最大化问题的闭式解来推导：
\[
r(x, y) = \beta \log \frac{\pi_{r}(y|x)}{\pi_{\mathrm{ref}}(y|x)} + \beta \log Z(x), \quad (3)
\]
其中 π_r 是对齐后的策略，π_ref 是参考策略，Z(x) 是与 y 无关的配分函数。对于可训练策略 π_θ，相应的*隐式奖励*为：
\[
\hat{r}(x, y) = \beta \log \frac{\pi_{\theta}(y|x)}{\pi_{\mathrm{ref}}(y|x)}. \quad (4)
\]
给定偏好数据集 D=\(\{(x, y_w, y_l)\}\)（其中 \(y_w \succ y_l \mid x\)），将 \(\hat{r}\) 代入成对似然得到 DPO 损失：
\[
\mathcal{L}_{\mathrm{DPO}}(\pi_{\theta}) = -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \Big[ \log \sigma \big( \hat{r}(x, y_w) - \hat{r}(x, y_l) \big) \Big]. \quad (5)
\]

## 3 CD–隐式奖励相关性

在本节中，我们首先讨论语言模型如何被解释为捕捉偏好的隐式奖励（第 3.1 节）。基于这一基础，第 3.2 节证明隐式奖励的公式与对比解码在数学上是一致的，从而形式化了 CD–隐式奖励相关性。最后，第 3.3 节提供了经验证据，表明对比解码的输出本质上编码了偏好信息，并提供了更高质量的监督信号，从而为下一节介绍的弱到强泛化方法奠定了基础。

### 3.1 语言模型作为奖励函数

如公式 (4) 所定义，隐式奖励 \(\hat{r}(x, y)\) 可以表示为对齐后策略 π_r 与参考策略 π_ref 之间对数概率的差异。通过在 token 级别分解对数概率 (Zhou 等, 2024b (https://arxiv.org/html/2510.07884#bib.bib28))，我们得到：
\[
\hat{r}(x, y) = \beta \sum_{t=1}^{|y|} \log \pi_{\theta}(y_t | x, y_{<t}) - \beta \sum_{t=1}^{|y|} \log \pi_{\text{ref}}(y_t | x, y_{<t}). \quad (6)
\]

### 3.2 对比解码

对比解码 (CD) (Li 等, 2023 (https://arxiv.org/html/2510.07884#bib.bib17)) 是一种解码策略，结合了弱模型和强模型的输出，以减轻生成中的常见噪声。它最初是在上下文学习 (ICL) 的背景下提出的，通过从强模型的对数概率中减去弱模型的对数概率来重新调整输出分布：
\[
p_{\text{CD}}(y_t | x, y_{<t}) \propto \max \left[ 0, p_{\text{strong}}(y_t | x, y_{<t}) - p_{\text{weak}}(y_t | x, y_{<t}) \right]. \quad (7)
\]
我们推广了标准 CD 公式，引入了一个超参数 α 来控制对比强度：
\[
p_{\alpha}(y_t | x, y_{<t}) \propto p_{\text{post}}(y_t | x, y_{<t}) - \alpha \cdot p_{\text{pre}}(y_t | x, y_{<t}). \quad (8)
\]
当 α = 0 时，它退化为标准自回归解码。当 α = 1 时，它恢复为原始 CD。通过将 \(p_{\text{post}}\) 和 \(p_{\text{pre}}\) 分别替换为对齐后策略 π_r 和对齐前策略 π_ref，我们可以观察到：
\[
p_{\alpha}(y_t | x, y_{<t}) \propto \pi_r(y_t | x, y_{<t}) - \alpha \cdot \pi_{\text{ref}}(y_t | x, y_{<t}).
\]
由于隐式奖励 \(\hat{r}\) 也是对 (log) 概率的线性组合，对比解码公式与隐式奖励公式之间存在直接的结构等价性。具体来说，当 β = 1 时，我们有：
\[
\hat{r}(x, y) \approx \log \frac{\pi_r(y|x)}{\pi_{\text{ref}}(y|x)}, \quad \text{CD generation } y^* \propto \max_y \left[ \log \pi_r(y|x) - \alpha \log \pi_{\text{ref}}(y|x) \right].
\]
这建立了 CD–隐式奖励相关性：*对比解码是一个给定提示 x 生成近似最大化隐式奖励 \(\hat{r}(x, y)\) 的过程*。由于隐式奖励是显式奖励的无偏近似，对比解码生成的样本天然地达到了高奖励，从而减轻了弱到强泛化中因噪声引起的退化。这一联系为利用对比解码提升弱到强泛化的有效性提供了理论基础。

### 3.3 实证验证

我们在两个弱模型系列上进行了验证实验，以验证 CD–隐式奖励相关性并提供直观理解：(a) 比较隐式奖励分布与显式奖励分布，(b) 评估不同 α 值下生成样本的质量。具体来说，我们将 Qwen2.5-0.5B-Instruct 和 Llama3-8B-Instruct（分别在 UltraFeedback 上使用 DPO 进行了微调）作为弱模型。我们在两个不同的偏好数据集和两个不同的弱模型系列上进行了实验，以全面验证 CD–隐式奖励相关性。

**隐式与显式奖励的相关性**。如图 2(a) 和 2(d) 所示，我们观察到隐式奖励与显式奖励之间存在强正相关，皮尔逊相关系数 ρ > 0.5。此外，与标准解码相比，对比解码 (CD) 产生的样本集中在更高隐式奖励区域。这证实了 CD 有效地选择了高奖励样本，与我们的理论分析一致。

**生成质量与 α 的敏感性分析**。通过改变 α，我们进一步评估响应的质量，使用胜率作为客观指标。如图 2(a) 和 2(d) 中第二行子图所示，当 α 设置为 0 或非常低的值时，CD 的表现与直接标准解码相似。随着 α 增加到 [0.3, 0.5] 范围，胜率显著提高并达到峰值。然而，当 α > 0.5 时，性能下降。这表明较小的 α 值保留了更多来自 π_r 的偏好信息，而较大的值则过度强调对比项并损害整体生成质量。为了确保这些差异不因响应长度等表面因素而混淆，我们分析了图 2(b) 和图 2(e) 中不同 α 下的长度分布。无论 α 如何变化，分布保持稳定，表明观察到的性能变化源于内容质量而非响应长度偏差。最后，不同 α 设置下的相对性能由图 2(c) 和图 2(f) 中的胜率矩阵捕捉。α ∈ [0, 0.5] 的生成始终优于 α ∈ [0.6, 1.0] 的生成，这进一步强化了适度对比强度导致更高质量输出的观察。综上所述，这些结果为我们理论分析提供了强有力的经验支持，突出了 α 在平衡奖励对齐和生成鲁棒性中的关键作用。

## 4 对比弱到强泛化 (ConG)

基于第 3.3 节建立的 CD–隐式奖励相关性，我们引入了对比弱到强泛化 (ConG)。核心思想是利用对比解码 (CD) 从弱模型中提取更高质量的响应，并用它们驱动更强模型的泛化。ConG 包含两个阶段：(i) ConG-S，使用 CD 响应进行 SFT 以提供高奖励初始化，以及 (ii) ConG，进一步通过 DPO 增强弱到强泛化。

**阶段 I：ConG-S（用于 SFT 的对比解码）**。令 \(\pi_r^{w}\) 表示对齐后的弱模型，\(\pi_{\text{ref}}^{w}\) 表示对齐前的弱模型。对于每个提示 x ∈ X，我们实例化弱模型的对比解码以获得公式 (8) 中定义的解码分布。从 p_α 解码得到每个 x 的选择样本 y_w，形成数据集 D_SFT = {(x, y_w)}。令 \(\pi_{\text{ref}}^{s}\) 是初始强模型；我们通过最小化选择样本上的标准 SFT 损失来得到 \(\pi_{\text{SFT}}^{s}\)：
\[
\mathcal{L}_{\mathrm{SFT}}(\pi_{\theta}^{s}) = -\mathbb{E}_{(x, y_w) \sim \mathcal{D}_{\mathrm{SFT}}} \left[ \log \pi_{\theta}^{s}(y_w | x) \right]. \quad (10)
\]
这一阶段将强模型的策略推向 CD 诱导的偏好分布，为偏好优化提供了一个高奖励的起点。

**阶段 II：ConG（使用 DPO 的泛化）**。在 SFT 之后，我们使用 DPO 进一步优化强模型。对于每个提示 x，我们从 \(\pi_{\text{SFT}}^{s}\) 中通过标准解码采样另一个响应 y_l，并将其与相应的 CD 响应 y_w 配对。这种构造基于两个因素：(i) CD 响应近似于隐式奖励的最大化者（公式 (9)），因此它们的隐式奖励预期满足 \(\hat{r}_w > \hat{r}_l\)（参见附录 C）。