几何展开轨迹筛选：面向鲁棒的大语言模型强化学习

来源：https://arxiv.org/html/2606.26917

摘要

在线强化学习被广泛用于将大语言模型（LLM）与奖励信号对齐，然而在奖励存在噪声或误指定时，训练可能不稳定。我们识别出一种称为方向不一致性的失效模式：在一个批次内，少量高奖励展开轨迹在表示空间中诱发出与批次主体方向强烈冲突的偏好方向，导致更新方差增大且训练不稳定。我们提出GeoAlign，一种轻量级的插件模块，用于迭代策略优化中的展开轨迹筛选。GeoAlign：（i）构建同提示内的偏好对，（ii）学习一个在线投影器，将基于每个展开轨迹隐藏状态的奖励排序位移方向进行集中，（iii）通过计算它们与批次共识原型的角度偏差来检测方向不一致的展开轨迹，并用同提示内的稳定替代轨迹进行纠正。GeoAlign仅需前向传播，且额外开销可忽略不计。在使用学习奖励模型的对话对齐和使用二元验证奖励的数学推理任务中，GeoAlign提升了最终性能并减少了训练振荡，优于PF-PPO、PAR、PODS和Seed-GRPO。这些结果表明，潜在方向共识可作为在线LLM RL中一个有效的可靠性信号。

机器学习，ICML

1 引言

在线强化学习（RL）是将大语言模型与人类偏好或任务奖励对齐的标准方法。然而，在线RL微调经常不稳定（Casper et al., 2023）：学习曲线在迭代间振荡，评估可能提前停滞，并且策略在看似有益的更新后可能退化。当奖励存在噪声、误指定或可被利用时，这种不稳定性最为显著（Skalse et al., 2022; Gao et al., 2023）（例如，奖励模型伪影或奖励破解），此时少数高奖励展开轨迹可能因错误原因主导更新。大多数现有的稳定化方法将奖励视为标量可靠性信号，仅控制每个展开轨迹对学习贡献的程度（例如，裁剪/整形（Fu et al., 2025; Yang et al., 2024b），基于不确定性的加权（Chen et al., 2025; Li et al., 2025b），或基于奖励统计的过滤（Xu et al., 2025; Zhang et al., 2025b））。然而，策略优化聚合的是向量值学习信号：每个展开轨迹在高维空间中诱导一个更新方向。因此，两个具有相近高奖励的展开轨迹仍可能将策略推向截然不同的方向。当一小部分展开轨迹相对于批次主体诱导出冲突的更新方向时，随机更新方差会增大，训练可能振荡（图1）。

（图1标题：偏好潜空间中的几何湍流：在一次更新步骤中，大多数偏好诱导的方向趋于一致，而一小部分形成角度离群点，可能导致训练不稳定。）

我们将这种失效模式称为方向不一致性：在一次RL迭代中，一小部分展开轨迹诱导出与批次共识角度偏差很大的偏好隐含改进方向，尽管它们获得了高奖励。具体来说，我们构建同提示内的偏好对，并将每个偏好对映射为一个从低奖励响应到高奖励响应的潜在位移方向。在不同任务中，这些奖励排序的方向呈现长尾几何分布：大多数方向集中在主导趋势附近，而一小部分成为角度离群点（图3）。这类离群点通常并非低奖励样本；它们可能是高奖励但不可靠的样本（例如，奖励模型伪影），并且可能不成比例地扰动更新。

为了解决这个问题，我们提出GeoAlign，一种用于迭代策略优化中展开轨迹筛选的轻量级插件模块。给定一批展开轨迹及其隐藏状态（从策略中分离），GeoAlign在线运行如下：（i）构建同提示内的偏好对，（ii）学习一个小型投影器，将奖励排序方向蒸馏到集中的流形上，（iii）构建批次级别的共识原型，（iv）仅识别并纠正最具方向不一致性的展开轨迹，使用同提示内的稳定替代轨迹。GeoAlign不需要对每个展开轨迹计算策略梯度，且附加开销可忽略不计。

我们在对话对齐（HH-RLHF，使用ArmoRM的连续奖励）和数学推理（DAPO-Math-17k，使用二元验证奖励）任务上，基于Qwen3-1.7B和Qwen3-4B模型评估GeoAlign。与强鲁棒RL基线（PF-PPO, PAR, PODS, Seed-GRPO）相比，GeoAlign提升了最终性能和训练稳定性，并且在受控奖励损坏条件下依然保持更强的韧性。我们的结果表明，潜在方向共识可作为在线LLM RL中一个有效的纯前向可靠性信号。

总之，我们的贡献如下：

• 我们识别出方向不一致性——一种几何失效模式，其中少数高奖励展开轨迹暗示出与批次共识方向严重冲突的更新方向——并实证地刻画了其长尾角度离群点特征。
• 我们提出GeoAlign，一种轻量级、即插即用的展开轨迹筛选模块，仅使用分离的隐藏状态通过潜在方向共识对展开轨迹评分，并保守地纠正严重离群点，同时保持每个提示的展开轨迹数量。
• 我们展示了GeoAlign在对话对齐（连续RM奖励）和数学推理（二元验证奖励）任务上提升了最终性能和训练稳定性，包括在受控奖励损坏条件下的表现。我们的代码见 https://github.com/SYSUzhouting/Trinity-RFT。

利益冲突披露：作者陈道远和凌振清受雇于阿里巴巴集团，即本文主要评估模型Qwen3模型系列的开发者。为确保透明性，所有代码和数据集均已公开，我们的结果严格基于可复现的定量指标，不含偏见。

2 相关工作

面向LLM对齐的鲁棒在线RL。 用于对齐LLM的在线RL（例如GRPO（Shao et al., 2024））在奖励存在噪声或误指定时常常脆弱。大量工作通过修改学习信号的幅度来提高稳定性，例如奖励裁剪/整形和保守更新正则化（Fu et al., 2025; Yang et al., 2024b; Jinnai et al., 2025; Cheng et al., 2025a）。另一条路线使用奖励统计或不确定性代理（例如语义熵）来重新加权或过滤展开轨迹/提示，旨在减少不可靠样本的影响（Xu et al., 2025; Zhang et al., 2025b; Chen et al., 2025; Li et al., 2025b）。这些方法在标量奖励可靠性与样本有用性相关时效果显著，但它们并未明确检查一个展开轨迹诱导的学习信号是否与批次主体方向一致，即使奖励很高。

方向和影响力感知的数据选择。 最近的几种方法通过检查每个样本的梯度、影响力估计或轨迹层面的归因来识别有害训练信号（Hu et al., 2025; Dai et al., 2025; Li et al., 2025a; Choe et al., 2024）。虽然概念上与我们的目标一致，但这些方法通常需要额外的反向传播、高阶计算或参数空间近似，对于每次迭代包含大量展开轨迹的在线LLM RL来说代价高昂。相比之下，GeoAlign仅使用前向传播的隐藏状态来构建方向一致性分数，实现了轻量级、在线的展开轨迹筛选。

表示学习中的几何信号。 几何分析表明，有意义的监督信息可以沿着表示空间中的结构化方向集中，这一点通过对齐/均匀性权衡、流形结构及相关现象得到研究（Wang & Isola, 2020; Saunshi et al., 2019; Papyan et al., 2020）。与自监督学习相比，利用这类几何信号来增强在线RL鲁棒性的研究尚不充分。GeoAlign弥补了这一差距，它将同提示内的奖励排序视为偏好方向的来源，并使用其潜在方向共识作为稳定在线LLM RL的可靠性信号。

3 RL不稳定性的几何视角

3.1 预备知识与问题形式化

我们考虑标准的LLM微调在线RL设置。在每次迭代中，对于一批提示 ({x_i})，当前策略 (\pi_\theta) 生成 (K) 个展开轨迹（响应）({y_{i,k}})。每个展开轨迹获得一个标量奖励 (r(y_{i,k}))，可以来自奖励模型或验证函数。策略梯度算法通过优化基于估计优势函数 (A(y)) 的目标来更新策略 (\theta)。虽然具体形式各异，许多现代方法（Shao et al., 2024）通过提示内归一化来计算优势。

基于相对奖励的优势。 一个展开轨迹 (y) 的优势通常源自其相对于同提示 (x) 下其他展开轨迹的奖励： [ A(y) \propto r(y) - \mathbb{E}{y’ \sim \pi\theta(\cdot|x)}[r(y’)]. ] 这个标量优势 (A(y)) 决定了响应 (y) 更新的幅度。然而，仅依赖这个标量信号可能不足，因为具有相似甚至相同奖励的样本对于稳健的策略改进可能并不等同有效（Gupta et al., 2025）。

为了超越标量奖励，我们分析策略表示空间的几何结构。令 (\mathbf{h}(y) \in \mathbb{R}^d) 为展开轨迹 (y) 的隐藏表示。在我们的实现中，(\mathbf{h}(y)) 是最后一个生成令牌的最后一层隐藏状态，并且从策略参数中分离。对于任意同提示内的展开轨迹对 ((y_w, y_l))，且 (r(y_w) > r(y_l))，我们定义一个潜在位移向量： [ \boldsymbol{\delta} = \mathbf{h}(y_w) - \mathbf{h}(y_l). ] 这个向量 (\boldsymbol{\delta}) 作为策略改进的方向代理，从较不偏好指向较偏好的行为。我们的核心论点是，这些位移向量的几何特性是理解和缓解RL不稳定性的关键。

3.2 方向不一致性

当每个展开轨迹的学习信号在方向上一致时，策略更新是稳定的。在在线LLM RL中，我们可以通过比较同提示内的展开轨迹来构建一个前向传播的方向一致性代理：在同一提示内，展开轨迹共享相同的指令，主要在生成的响应上有所不同，因此基于奖励排序的比较受提示层面变化的影响较小。对于一个偏好对 ((y_w, y_l))，(r(y_w) > r(y_l))，潜在位移方向 (\mathbf{u} = \operatorname{norm}(\mathbf{h}(y_w) - \mathbf{h}(y_l))) 表示表示空间中一个由奖励排序驱动的行为变化。

在一次RL迭代内，这些方向并非均匀分布：大多数集中在主导趋势附近，而一小部分表现出大的角度偏差。我们将这种严重的角度离群点称为方向不一致性。这些离群点甚至可能出现在高奖励展开轨迹中（例如，奖励模型伪影和奖励破解（Shihab et al., 2025），或来自可验证奖励的假阳性——有缺陷的推理偶然得到正确答案（Lightman et al., 2024）），并且可能注入冲突的学习信号，放大更新方差。这引出了两个研究问题：

RQ 1（可观测性）。如何从含噪声的高维位移表示中提取可靠的共识改进方向？

RQ 2（缓解）。如何在不进行昂贵的每样本梯度计算或激进地缩小有效批次大小的情况下，消除严重的方向离群点？

我们的实证分析提供了肯定的见解。如第5.4节（图6）所示，原始位移向量 ({\boldsymbol{\delta}}) 方向分散，但一个简单的学习投影器可以揭示高度集中的方向结构，解决了RQ1。此外，第5.3节中的实验表明，注入即使是少量的奖励噪声——从而产生方向离群点——也会导致显著的性能下降，突显了RQ2的实际重要性。

3.3 设计原则

对上述RQ的探究激励我们通过显式的方向校准来稳定在线LLM RL。我们为实用且有效的解决方案建立了三个设计原则：

1. 仅前向传播：机制必须避免代价高昂的额外反向传播。
2. 保持更新密度：不应丢弃提示或显著减小批次大小。
3. 有限干预：干预必须保守，仅针对最严重的离群点。

理论讨论。方向不一致性可以通过随机策略梯度的方差来解释。令策略目标为 (\mathcal{L}(\theta))，每个展开轨迹的梯度