RLearner-LLM：通过混合直接偏好优化平衡大语言模型的逻辑基础与流畅性

# RLearner-LLM：通过混合直接偏好优化平衡大语言模型中的逻辑基础与流畅性
来源：https://arxiv.org/html/2605.04539
Qiming Bao 奥克兰大学 qbao775@aucklanduni\.ac\.nz&Juho Leinonen 阿尔托大学 juho\.2\.leinonen@aalto\.fi&Paul Denny 奥克兰大学 p\.denny@auckland\.ac\.nz&Michael J\. Witbrock 奥克兰大学 m\.witbrock@auckland\.ac\.nz

###### 摘要

直接偏好优化（Direct Preference Optimization, DPO）已成为基于PPO的RLHF的一种高效替代方案，然而其在知识密集型生成任务中的应用揭示了一个根本性局限：标准偏好信号——无论是来自人工标注者还是LLM评判者——表现出系统性的**冗长偏差**，即奖励语言流畅性甚于逻辑正确性。我们通过实验证明，这种奖励信号盲区留下了巨大的逻辑对齐缺口：经过SFT训练的模型，其NLI蕴含得分仅为0.05–0.22，尽管它们能生成流畅且看似自信的文本。我们提出**RLearner-LLM**框架，通过**混合DPO（Hybrid-DPO）**解决这一问题：该框架包含一个自动偏好构建流程，融合了DeBERTa-v3 NLI蕴含信号与验证器LLM评分，无需人工标注，同时克服了单一信号优化下导致流畅性下降的“对齐代价”。在五个学术领域（生物学、医学、法学）上，使用三种基础架构（LLaMA-2-13B、Qwen3-8B和Gemma 4 E4B-it）进行评估，RLearner-LLM相比SFT基线实现了高达6倍的NLI提升，在15个（架构，领域）组合中的11个上获得NLI增益，并实现了一致的答案覆盖率提升。在Gemma 4 E4B-it上——一个有效参数为4.5B的稠密模型——混合DPO在五个领域中的四个上提升了NLI蕴含（从奥克兰法学的+11.9%到英国医学第二年的+2.4倍），且在所有五个领域上推理速度更快，这表明该方法可以向下扩展到紧凑的现代基础模型，同时避免对齐代价。我们进一步证明，这些增益对基于回答的激进问题质量过滤具有鲁棒性：在严格判别器过滤器下（仅保留作者密钥与模态学生答案匹配的问题，根据每个选项的学生回答日志计算），所有架构-语料库单元格的答案覆盖率均得到提升，六个中的四个的NLI得到提升。我们的Qwen3-8B RLearner-LLM在盲对比较中**95%** 的案例胜过其自身的SFT基线，而GPT-4o-mini反过来以**95%** 的胜率击败我们简洁的RLearner-LLM输出——结合相同评判者将冗长SFT基线相对于我们DPO对齐模型的69%胜率来看，这一结果在我们文档记载的冗长偏差的基础上，在一个前沿比较器上重现了该偏差，并进一步支持在知识密集型生成中使用逻辑感知的自动指标（NLI、ACR）而非LLM-as-a-judge。
¹代码、训练脚本及按领域评估产物：https://github.com/14H034160212/Explanation-Generation

## 1 引言

高质量教育解释的生成是自然语言处理中的一项基本挑战。与通用对话任务不同，教育推理必须同时满足两个相互竞争的要求：它们必须**逻辑上立足**——通过严谨的演绎步骤得出正确答案——同时**语言上流畅**——保持适合学习者受众的自然、可读的散文。

在教师演示样本上进行监督微调（Supervised Fine-Tuning, SFT）已成为向LLM注入这种能力的标准方法。然而，SFT模型表现出一种一致且关键的失败模式：虽然它们能生成流畅、听起来自信的文本，但很少构建出证明**为什么**正确答案从问题语境中得出的演绎链。实验上，我们研究中的SFT模型仅达到0.05–0.22的NLI蕴含得分，表明生成的解释很少在逻辑上蕴含真实答案——即使模型“知道”该事实。

基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）及其高效衍生物——直接偏好优化（Direct Preference Optimization, DPO）rafailov2023direct (https://arxiv.org/html/2605.04539#bib.bib3)——旨在通过将模型与人类偏好对齐来超越SFT。然而，这些方法在应用于事实性要求高的任务时存在结构性缺陷：**偏好信号并不度量逻辑正确性**。人类标注者——以及LLM评判者——表现出一种有据可查的**冗长偏差**，系统性地偏好较长、修辞华丽的回答而非简洁、逻辑精确的回答zheng2024judging (https://arxiv.org/html/2605.04539#bib.bib10)。正如我们用实验证明的，GPT-4o-mini给予冗长SFT基线69%的胜率，高于一个逻辑更精确但更简洁的RL对齐模型。因此，基于这类信号训练的DPO以牺牲事实立足为代价强化了风格流畅性，而核心对齐缺口仍未解决。

一种自然的补救措施是用自动逻辑度量——具体而言，NLI蕴含概率——替代人类偏好标签。然而，仅针对NLI蕴含优化DPO会引发我们所谓的**对齐代价**：模型学会生成满足NLI评分器但语言连贯性崩溃的简短重复片段。这种逻辑严谨性与可读性之间的权衡是单一维度奖励信号无法解决的根本张力。

语言流畅性/质量逻辑蕴含 (NLI)标准对齐边界纯逻辑 (NLI优化)纯流畅性 (SFT/风格优化)我们的 RLearner-LLM对齐代价图1:**对齐代价**的概念说明。标准优化强制在逻辑基础和语言流畅性之间进行权衡。RLearner-LLM通过双信号混合奖励将帕累托前沿推向右上象限。在本文中，我们提出**RLearner-LLM**框架，通过直接解决根本原因来解决这种张力：用于构建偏好对的奖励信号。我们的关键洞察是，逻辑基础和语言流畅性是**互补目标**，而非相互竞争的目标——并且一个结合NLI蕴含（逻辑严谨性）与验证器分数（教学质量）的自动双信号奖励可以在无需人工标注的情况下构建高保真偏好对，同时避免困扰单一信号优化的退化解。

我们的贡献如下：

1. **问题诊断**：我们确定，DPO训练的教育模型中逻辑不对齐的根本原因并非优化算法本身，而是**奖励信号盲区**——标准偏好信号无法度量逻辑正确性。我们提供了LLM-as-a-judge评估中冗长偏差的经验证据，该偏差延续了这一盲区。
2. **混合DPO框架**：我们介绍**RLearner-LLM**，该框架使用复合分数\(H(E_i)=0.5\cdot S_{\text{NLI}}(E_i)+0.5\cdot \tilde{S}_{\text{Verifier}}(E_i)\)自动构建偏好对\(D_{pref}\)，融合了DeBERTa-v3 NLI信号与经过最小-最大归一化的验证器LLM评分（公式2 (https://arxiv.org/html/2605.04539#S3.E2)）。双信号混合消除了对人工标注的需求，同时克服了对齐代价。
3. **跨架构验证**：我们在三种基础架构（LLaMA-2-13B、Qwen3-8B和Gemma 4 E4B-it）和五个学术领域（生物学、医学、法学）上进行验证，证明在15个（架构、领域）组合中的11个上，NLI相比SFT基线提升高达6倍，并且在更强的基础模型上取得一致的ACR提升。Gemma 4 E4B-it——一个有效参数为4.5B的稠密模型——显示出混合DPO在五个领域中的四个上获得NLI增益（奥克兰法学+11.9%，英国医学第一年+32.0%，卡迪夫生物学+65.6%，英国医学第二年+2.4倍），在所有五个领域上推理速度更快，并且是第一个在奥克兰法学NLI上超越迭代ILearner-LLM（K=5）基线的单次RL结果。我们的Qwen3-8B模型在盲对比较中**95%** 的案例胜过其自身的SFT基线；在同一个评判者上，它以**95%** 的失败率输给GPT-4o-mini更长的输出，这在前沿比较器上重现了冗长偏差，并进一步支持在知识密集型生成中使用逻辑感知的自动指标（NLI、ACR）而非LLM-as-a-judge。
4. **对问题质量过滤的鲁棒性**：使用完整的PeerWise答案提交日志，我们证明这些增益在**严格判别器**过滤器下依然存在——该过滤器仅保留作者密钥与*模态学生答案*匹配的问题：在三种架构和两个语料库上，所有六个（架构、语料库）单元格的答案覆盖率均得到提升，六个中的四个的NLI得到提升，这与主结果的按架构模式一致（附录G (https://arxiv.org/html/2605.04539#A7)）。

## 2 相关工作

### 2.1 对齐与偏好优化

优化大语言模型（LLMs）以使其与人类意图对齐主要依赖于基于人类反馈的强化学习（RLHF）ouyang2022training (https://arxiv.org/html/2605.04539#bib.bib1)，使用近端策略优化（PPO）schulman2017proximal (https://arxiv.org/html/2605.04539#bib.bib2)。最近，直接偏好优化（DPO）rafailov2023direct (https://arxiv.org/html/2605.04539#bib.bib3)作为一种稳定的替代方案出现，在数学上绕过了对显式奖励模型的需求。在此基础上，最近的进展如RRHFyuan2023rrhf (https://arxiv.org/html/2605.04539#bib.bib6)、ORPOhong2024orpo (https://arxiv.org/html/2605.04539#bib.bib7)和SimPOmeng2024simpo (https://arxiv.org/html/2605.04539#bib.bib8)通过无参考目标进一步简化了对齐。2025年的最新技术已转向自适应批次调度zhang2025adaptive (https://arxiv.org/html/2605.04539#bib.bib18)和基于迭代对偶的约束对齐方法chen2025constrained (https://arxiv.org/html/2605.04539#bib.bib19)，旨在解决标准RLHF中识别出的固有算法偏差ji2024limits (https://arxiv.org/html/2605.04539#bib.bib23); shrivastava2024algorithmic (https://arxiv.org/html/2605.04539#bib.bib24)。

### 2.2 幻觉缓解与推理

在知识密集型任务中，例如教育解释生成，事实正确性至关重要。先前的工作探索了使用检索增强生成（RAG）lewis2020retrieval (https://arxiv.org/html/2605.04539#bib.bib4)或基于过程的反馈uesato2023verify (https://arxiv.org/html/2605.04539#bib.bib5)来立足LLM。现代技术聚焦于机制性幻觉检测li2023haludetect (https://arxiv.org/html/2605.04539#bib.bib15)和多模型对比解码（MCD）liu2025contrastive (https://arxiv.org/html/2605.04539#bib.bib20)。虽然关于涌现能力是否为度量驱动的“幻象”的争论仍在继续schaeffer2023mirage (https://arxiv.org/html/2605.04539#bib.bib14)，2025年的进展表明，通过验证思维链轨迹中的“决策支点”wang2025pivots (https://arxiv.org/html/2605.04539#bib.bib17)或为模型配备认知工具zhao2025cognitive (https://arxiv.org/html/2605.04539#bib.bib21)，可以显著增强推理质量。然而，这些逻辑优化常常降低流畅性——即“对齐代价”——我们的工作通过混合验证器一致奖励来解决这一问题。

### 2.3 LLM-as-a-Judge与评估偏差

将强大的指令微调模型（如GPT-4）用作自动评估器zheng2024judging (https://arxiv.org/html/2605.04539#bib.bib10)十分普遍，但容易受到显著偏差的影响，包括冗长偏差wang2023large (https://arxiv.org/html/2605.04539#bib.bib11)和自我偏好偏差pan2024evalbias (https://arxiv.org/html/2605.04539#bib.bib12)。冗长偏差混淆在DPO本身中也得到了形式化分析：park2024lengthbias (https://arxiv.org/html/2605.04539#bib.bib25)表明，标准DPO及其β调整变体park2024betadpo (https://arxiv.org/html/2605.04539#bib.bib9)系统性地将解释长度与质量混为一谈，并提出长度感知正则化作为部分补救措施。我们的工作针对**上游**的奖励构建阶段，而非下游的损失函数：通过用基于NLI锚定的双信号奖励（第3.1节 (https://arxiv.org/html/2605.04539#S3.SS1)）替代与长度相关的风格偏好，我们在偏差的源头将其截断，而表3 (https://arxiv.org/html/2605.04539#S5.T3)中的正面比较证实，尽管在输出阶段应用了长度控制，此类偏差仍在前沿比较器上持续存在。全面的评估，如DecodingTrustwang2023trust (https://arxiv.org/html/2605.04539#bib.bib13)，进一步强调了当前模型易受风格操控的脆弱性；我们全程维持安全与知识保留标准kim2025safety (https://arxiv.org/html/2605.04539#bib.bib22)。

阶段1：随机生成上下文\((C,Q)\)生成器\(\pi_\theta\)解释\(\mathcal{E}=\{E_i\}_{i=1}^n\)（\(n\)个样本）阶段2：逻辑驱动奖励与对齐NLI蕴含\(S_{\text{nli}}(E_i)\)风格验证器\(S_{\text{ver}}(E_i)\)长度惩罚\(\gamma\,\ell(E_i)\)混合奖励（每个训练池选择加成A或乘法-ACR M）(A) \(H_A(E_i)=0.5\,S_{\text{nli}}(E_i)+0.5\,\tilde{S}_{\text{ver}}(E_i)\)(M) \(H_M(E_i)=\bigl(w_{\text{nli}}\,S_{\text{nli}}\,\cdot\,w_{\text{ver}}\,\tilde{S}_{\text{ver}}\;-\;\gamma\,\ell\bigr)\;\cdot\;\mathbf{1}\!\bigl[\mathrm{acr}(E_i)\geq\theta\bigr]\)奖励信号混合直接偏好优化 (混合DPO)偏好更新图2:**RLearner-LLM**框架。阶段1从生成器\(\pi_\theta\)中采样\(n\)个候选解释。阶段2使用双信号**混合奖励**对每个候选进行评分，实例化为**加成**变体\(H_A\)或**乘法-ACR**变体\(H_M\)（第3.1节 (https://arxiv.org/html/2605.04539#S3.SS1)；选择规则：池≥~150对且为单一/对齐领域→M，否则→A）。NLI蕴含和验证器评分被两个变体使用；长度惩罚输入和ACR指示符\(\mathbf{1}[\mathrm{acr}\geq\theta]\)仅进入\(H_M\)。然后从评分池中形成偏好对，并通过混合DPO更新\(\pi_\theta\)。双信号假设（NLI⊕Verifier）在两个变体中保持不变；仅代数组合不同。\(\tilde{S}_{\text{ver}}=(S_{\text{ver}}-1)/4\)表示[0,1]归一化的验证器评分。

## 3 方法论

### 3.1 混合奖励的第一性原理推导

#### RLHF目标及其核心张力

标准的RLHF目标ouyang2022training (https://arxiv.org/html/2605.04539#bib.bib1)为：

\(\max_{\pi_\theta}\,\mathbb{E}_{y\sim\pi_\theta(y|x)}\bigl[r(x,y)\bigr]-\beta\,\text{KL}\bigl(\pi_\theta\,\|\,\pi_{\text{ref}}\bigr)\) (1)

其中\(\pi_{\text{ref}}\)是监督微调后的参考策略，\(\beta\)控制所学策略允许偏离参考策略的程度。DPOrafailov2023direct (https://arxiv.org/html/2605.04539#bib.bib3)推导出封闭形式的最优策略\(\pi^*(y|x)\propto\pi_{\text{ref}}(y|x)\cdot\exp(r(x,y)/\beta)\)。