OPERA: 通过基于目标困惑度的强化学习对齐开放式推理

# OPERA: 基于客观困惑度的强化学习实现开放式推理对齐

**来源:** https://arxiv.org/html/2606.25757

蒋文轩¹,², 樊梓宁³, 张子健²†, 吴雪成⁴, 谭鸿明³, 戴昊洋⁵, 李晓雨², 曹雪智², 刘宁浩¹†

¹香港理工大学 · ²美团龙猫团队 · ³北京大学 · ⁴西安交通大学 · ⁵南京理工大学
[email protected], [email protected], [email protected]

###### 摘要

强化学习 (RL) 已使LLM在数学和代码生成等客观推理任务中表现出色。然而，将RL应用于开放式任务（如创意写作）仍具挑战性，因为LLM作为评判者的奖励模型常表现出风格偏差和位置不一致性，导致监督不稳定。为解决此问题，我们提出OPERA（基于客观困惑度的反思性对齐，Objective Perplexity-based Reflective Alignment），该方法用源自困惑度动态的内在奖励取代不可靠的外部评判者。具体而言，我们从困惑度动态中推导出一个内在奖励信号，量化关键反思状态下不确定性的降低。在冷启动阶段，我们引入一种数据合成方法，利用精心设计的引导词生成多样化的推理轨迹，以及基于困惑度优先的展开策略，利用内部对数概率识别逻辑一致的推理分支。该流程生成了一个包含20,000条高质量推理轨迹的大规模数据集。实证评估一致证明了我们的方法在开放式任务对齐中的可扩展性和有效性。在Qwen3-8B上实施OPERA，在开源模型中取得了新的最佳性能，在部分开放式任务中与Gemini2.5和MiniMax-M2.5等专有模型持平甚至超越。代码已开源在 https://github.com/pangpang-xuan/OPERA。

## 1 引言

近期LLM的突破得益于可验证奖励强化学习 (RLVR) [Guo et al., 2025](https://arxiv.org/html/2606.25757#bib.bib51); [Team et al., 2025](https://arxiv.org/html/2606.25757#bib.bib52); [Zhang et al., 2025a](https://arxiv.org/html/2606.25757#bib.bib53)。RLVR在具有客观评估标准的逻辑任务中尤为有效，如数学和编程 [Zeng et al., 2025](https://arxiv.org/html/2606.25757#bib.bib54)，其中模型输出可依据二元反馈进行验证。基于奖励的训练已扩展到创意写作领域，其评估本质上是开放式的。现有方法采用成对写作监督 [Jia et al., 2025](https://arxiv.org/html/2606.25757#bib.bib50); [Li et al., 2026](https://arxiv.org/html/2606.25757#bib.bib47) 和成对比较奖励 [Lei et al., 2025](https://arxiv.org/html/2606.25757#bib.bib49); [Zhang et al., 2025b](https://arxiv.org/html/2606.25757#bib.bib48); [Cao et al., 2026](https://arxiv.org/html/2606.25757#bib.bib16); [Wu et al., 2025a](https://arxiv.org/html/2606.25757#bib.bib6) 来优化适应性输出。其他方法采用基于评分标准的奖励 [Gunjal et al., 2025](https://arxiv.org/html/2606.25757#bib.bib46)，将写作质量分解为可解释的维度，并提供结构化的、与专家对齐的反馈。这种设计有助于弥合二元正确性与粗粒度偏好排序之间的差距。然而，尽管有这些改进，主观奖励机制仍面临重大挑战。一个常见问题是自我增强偏差 [Ye et al., 2024](https://arxiv.org/html/2606.25757#bib.bib45)，即模型偏好与其自身风格偏好（如特定结构模式）相似的回复，而非更具创意或事实准确的回复。另一个限制是位置偏差 [Zheng et al., 2023](https://arxiv.org/html/2606.25757#bib.bib44)，即评判者系统性地偏好基于其在上下文窗口中位置的回复，而非其实际质量。更根本的是，基于LLM的评判者仍然主观且校准不良，这限制了其作为评估工具的可靠性。这些弱点使得为开放式任务构建稳健的奖励模型变得困难。因此，建立一个更客观的评估框架对于提升开放式领域的性能至关重要。

![图1：OPERA概述与冷启动推理轨迹合成](图1说明)

(a) 传统的基于LLM奖励的强化学习。 (b) 通过困惑度引导的迭代生成进行冷启动推理轨迹合成。 (c) OPERA（基于客观困惑度的反思性对齐）用于开放式任务。

为解决这些局限性，我们提出了OPERA（基于客观困惑度的反思性对齐），这是一个弥合客观评估指标与开放式任务性能之间差距的框架，如图1所示。与依赖LLM作为评判者的传统方法不同，OPERA使用基于困惑度动态的更客观的奖励函数。具体来说，我们提出了一个复合奖励函数，它整合了反思标记处的局部不确定性降低与全局的组相对奖励，创造了一个稳健的奖励信号，尤其适用于无法获得可验证真实答案的领域。通过测量反思标记前后PPL的差异变化，并优化模型自身推理的内在效用，OPERA确保每个推理步骤都贡献于更稳定、高可能性的回复。该方法通过将对齐过程标记为模型内部的对数概率，有效缓解了不稳定的奖励问题，将优化目标转向推理轨迹的结构性。因此，OPERA从根本上将奖励函数从高方差、基于LLM的判断，转变为模型自身推理的内部逻辑一致性和预测置信度。

在冷启动训练期间，我们提出了一种新颖的数据合成流程，称为**困惑度引导的迭代轨迹合成**，它将评估从外部判断转向内部统计一致性。我们的数据合成基于两个核心组件。首先，我们引入了一个认知制动中断机制，利用反思标记（例如，“wait”或“but”）作为认知冲突的启发式指标。该机制促使模型暂停初始生成，并进行递归的系统2思考 [Li et al., 2025](https://arxiv.org/html/2606.25757#bib.bib32)，从而进行更深入、更谨慎的推理过程。其次，我们采用基于困惑度优先的展开策略，利用模型内部的对数概率作为客观评分指标，识别最逻辑一致的推理分支。该流程生成了一个包含20,000条高质量推理轨迹的大规模数据集，我们使用它进行SFT [Ouyang et al., 2022](https://arxiv.org/html/2606.25757#bib.bib36) 作为冷启动。

我们在五个基准上评估了OPERA的有效性，证明了其可扩展性。当应用于Llama-3.1-8B时，OPERA将平均基准性能提升了125%，包括在WritingBench上获得22.54分的提升。在Qwen3-8B上，它创下了新的开源最佳性能，在创意写作任务上与GPT-4o、Gemini2.5和MiniMax-M2.5等专有模型持平甚至超越。这些实证结果验证了OPERA作为开放式强化学习的一个稳健且可扩展的框架，为无需外部LLM评判者的高保真推理提供了一条途径。

我们的贡献可总结如下：

*   我们提出了OPERA（基于客观困惑度的反思性对齐），一种利用困惑度作为开放式任务质量代理的客观奖励函数。
*   在冷启动训练阶段，我们引入了困惑度引导的迭代轨迹合成，将评估从外部验证转向模型内部的统计一致性。
*   我们在五个基准上使用两个LLM评估了我们的方法，并进行了详细分析，以解释为什么困惑度可以作为人类偏好的有效代理。

## 2 OPERA：基于客观困惑度的反思性对齐

与奖励通常是可验证的客观任务（如数学或编程）不同，开放式任务缺乏客观成功标准。现有方法 [Jia et al., 2025](https://arxiv.org/html/2606.25757#bib.bib50); [Li et al., 2026](https://arxiv.org/html/2606.25757#bib.bib47); [Zhang et al., 2026](https://arxiv.org/html/2606.25757#bib.bib3) 依赖于LLM评判者或启发式奖励，这引入了偏差和不稳定性。我们通过定义一个基于模型内部困惑度动态的内在奖励作为代理来解决这一挑战，该奖励利用困惑度 (PPL) [Han et al., 2025](https://arxiv.org/html/2606.25757#bib.bib27) 作为潜在语义质量的代理，量化内部反思的功能性增益。这使得能够监督潜在策略空间，鼓励主动支持错误纠正和风格对齐的推理路径。

### 2.1 预备实验：开放式任务受益于推理过程

我们进行了一项预备实验，以证明推理质量会影响开放式任务的性能。具体来说，我们将基线模型（Qwen3-8B）的推理轨迹替换为由更强的教师模型（DeepSeek、LongCat和Qwen3-32B）生成的推理轨迹。表1显示，这种替换持续提升了基线模型在创意写作基准上的性能。这一结果表明，**虽然推理轨迹通常用于提升数学和编程等客观任务的性能，但它们也能使开放式任务受益**。受此观察启发，我们提出改进推理作为增强开放式生成的代理。

对于以推理模式运行的LLM [Guo et al., 2025](https://arxiv.org/html/2606.25757#bib.bib51); [Team et al., 2026](https://arxiv.org/html/2606.25757#bib.bib31); [Yang et al., 2025](https://arxiv.org/html/2606.25757#bib.bib22)，输出通常包含两部分：思维过程（位于 ... 标签内）和最终回复。此外，我们引入了一组预定义的**自我反思标记**KK，例如“wait”、“but”和“let me think” [Wang et al., 2025](https://arxiv.org/html/2606.25757#bib.bib33)，并鼓励模型在推理过程中生成它们。这些标记提供了模型正在修正或重新考虑当前推理状态的**显式信号**。没有这个约束，对数概率的提升可能仅反映正常的标记生成，而非真正的自我纠正。

**表1: Arena Hard V2 Creative Writing 性能表现。** "Replace w/" 表示将更强模型的推理轨迹注入提示以指导基线模型。

### 2.2 自我反思奖励

我们引入了一个自我反思奖励，以鼓励模型通过适当使用预定义的自我反思标记来降低输出不确定性。这里，xx表示输入提示，yrefy_{ref}表示参考回复，⟨think⟩\langle\text{think}\rangle表示推理过程的开始标记。我们将基线对数概率定义为Lbase=logP(yref∣x,⟨think⟩)L_{base}=\log P(y_{ref}\mid x,\langle\text{think}\rangle)，它衡量模型在实质性推理发生之前对参考回复的初始预期。然后，为了量化内部反思动态，我们将思维过程分解为连续步骤S={s1,s2,...,sn}S=\{s_{1},s_{2},\dots,s_{n}\}。在每个步骤sjs_{j}，我们计算条件对数概率：logPj=logP(yref∣x,s1:j)\log P_{j}=\log P(y_{ref}\mid x,s_{1:j})，其中s1:js_{1:j}表示到步骤jj为止的推理轨迹。一个反思步骤sjs_{j}被认为是有效的，仅当它满足两个条件：(1) 它包含来自关键词集合KK的一个预定义自我反思标记；(2) 它增加了参考回复的对数概率。原始进展得分Rraw\mathcal{R}_{raw}定义为有效反思的累积计数。形式化地：

Rraw=∑j=1nI((logPj−logPj−1>0)),\mathcal{R}_{raw}=\sum_{j=1}^{n}\mathbb{I}\left((\log P_{j}-\log P_{j-1}>0)\right), \tag{1}

该公式只考虑反思步骤是否提高了目标可能性，而不考虑提升的幅度，这可以防止由局部对数概率波动引起的奖励作弊。为了降低因生成过长且冗余的推理轨迹而导致的奖励作弊风险，我们使用正切函数对累积奖励进行归一化：

Rself=tanh(Rrawτ),\mathcal{R}_{self}=\tanh\left(\frac{\mathcal{R}_{raw}}{\tau}\right), \tag{2}

其中τ\tau是一个控制饱和阈值的温度超参数。这种归一化为最初几次成功的自我纠正提供了强烈激励，同时逐渐减少对额外推理步骤的奖励。因此，模型学会进行简洁且有意义的自我纠正，而不是生成不必要长的推理轨迹。

### 2.3 IGRP：组内相对困惑度奖励

为了评估推理轨迹和最终回复的整体质量，我们进一步引入了组内相对困惑度奖励（IGRP）。该指标遵循组相对策略优化 (GRPO) [Guo et al., 2025](https://arxiv.org/html/2606.25757#bib.bib51) 的核心原则，即通过比较从同一提示xx生成的多个输出来改进策略。对于包含NN个完成结果的同行组，我们计算参考回复yrefy_{ref}在给定完整生成序列条件下的联合对数概率：

Lhybridi=logP(yref∣x,zi,yi),L_{hybrid}^{i}=\log P(y_{ref}\mid x,z^{i},y^{i}), \tag{3}

其中ziz^{i}表示第ii个完成结果的推理轨迹，yiy^{i}表示其最终回复。我们将IGRP奖励Rppl\mathcal{R}_{ppl}定义为一个完成结果在其同行组中的归一化相对排名。具体来说，对于大小为NN的组中的给定样本xx，第ii个完成结果的自我反思奖励Rppli\mathcal{R}_{ppl}^{i}为：

Rppli=1N−1∑j=1,j≠iNI(Lhybridi>Lhybridj).\mathcal{R}_{ppl}^{i}=\frac{1}{N-1}\sum_{j=1,j\neq i}^{N}\mathbb{I}(L_{hybrid}^{i}>L_{hybrid}^{j}). \tag{4}

其中I(⋅)\mathbb{I}(\cdot)表示指示函数。该公式通过计算当前样本超过的同行完成结果的分数来量化模型的相对置信度，将确定性映射为归一化的奖励分数Rppl∈[0,1]\mathcal{R}_{ppl}\in[0,1]。通过使用相对排名而非绝对对数概率值，奖励信号对提示难度的变化变得不那么敏感。只有当模型的预测可能性低于它自身生成的其他完成结果时，它才会受到惩罚。