Tail-Likelihood Reinforcement Learning

# 尾部似然强化学习  
来源：https://arxiv.org/html/2609.02987  
Daman Arora Fahim Tajwar Guanning Zeng Qingyang Wu Zhongzhu Zhou Chenfeng Xu Haiwen Feng  
所属机构：卡内基梅隆大学 加州大学伯克利分校 Impossible, Inc.  
Yuda Song Aarti Singh Ruslan Salakhutdinov J. Andrew Bagnell  
所属机构：Together AI Aurora Innovation  
{shrinivr, jeff4, azanette}@andrew.cmu.edu  
Jeff Schneider Andrea Zanette  

###### 摘要  
强化学习通常优化平均奖励。对于生成式策略而言，平均值可能掩盖一个重要区别：两个策略可能获得相同的平均奖励，但在生成罕见但高奖励序列的概率上却大相径庭。这在训练和推理时增加采样次数时尤为重要，因为采样的收益取决于保持高奖励结果的概率质量。我们提出直接优化这种覆盖能力，不仅考虑期望奖励，还考虑其所有上尾部：对于每个奖励阈值，策略超过该阈值的概率是多少？这将连续奖励转化为一系列二元成功事件。我们引入尾部似然强化学习（TailRL），该方法最大化超过随机选择奖励阈值的对数概率。其梯度赋予罕见高奖励序列更高的权重，可解释为最佳-(k)梯度的混合。TailRL仅需对优势函数进行简单修改，即可与现有强化学习流程兼容。在对象定位、迷宫导航、GUI定位和代码优化等任务中，TailRL利用罕见的高奖励训练样本避免次优解，并生成在推理时能从额外采样中获益更多的模型。  

††脚注：†联合指导。  
††脚注：项目网站、代码及其他资源：https://zanette-labs.github.io/TailRL-website/  

## 1 引言  
强化学习（RL）通常优化策略的期望奖励（Williams, 1992；Shao et al., 2024；Ahmadian et al., 2024；Yu et al., 2025；Zheng et al., 2025）。然而，对于生成式策略而言，平均奖励并不能完全表征性能：两个具有相似平均奖励的策略，在产生罕见但异常优秀的序列的概率上可能差异巨大。这一区别在训练和推理时只要能抽取额外样本就至关重要。近期研究直接揭示了这一问题：标准RL训练可能逐渐丧失对罕见高奖励序列的覆盖，常表现为最佳-(k)性能下降（Cui et al., 2025；Yue et al., 2025；Wu et al., 2025；Dang et al., 2025；Kirk et al., 2024）。一旦这些序列变得足够罕见，它们就很少再被采样，使得策略进一步改进变得异常困难。同样的覆盖损失也限制了推理时的扩展：一个策略可能在单样本时表现良好，但通过多次采样获益甚微（Walder and Karkhanis, 2025；Chen et al., 2025b；Yang et al., 2025b）。因此，仅优化平均奖励可能丢弃对训练和推理扩展都至关重要的奖励分布上尾信息。  

参见插图  
**图1：期望奖励拉一条绳子；TailRL拉所有绳子。**  
左：RL后训练重塑基础策略的奖励分布。期望奖励方法（GRPO、RLOO）移动并锐化分布中心，而TailRL移动更远并增长出高奖励重尾。  
中：期望奖励目标J_{\mathrm{RL}}通过单一维度（均值）改善分布。  
右：TailRL在奖励阈值τ上提升尾部概率p_\theta(x,\tau)，强调更罕见、更高奖励的结果。  

对于二元奖励，MaxRL（Tajwar et al., 2026）提供了一种解决此问题的方法。它不是最大化成功概率，而是最大化其对数概率，对罕见成功赋予更大权重。其梯度分解为Pass@k梯度的调和混合，直接将似然最大化与Pass@k目标混合联系起来。  

这一原理应如何扩展到连续奖励？我们的出发点很简单：每个奖励阈值定义一个二元事件。给定输入x、序列z∼π_\theta(·|x)和阈值τ，我们询问奖励是否超过τ。相应的*尾部概率*定义为：  
p_\theta(x,\tau) := \Pr_{z∼π_\theta(·|x)}(r(x,z) > \tau). \quad (1)  

连续奖励可视为一系列二元成功事件，每个阈值τ对应一个。这一视角引出了尾部似然强化学习（TailRL）。对于[0,1]范围内的奖励，TailRL最大化超过均匀选择奖励阈值的期望对数似然：  
J_{\mathrm{TailRL}}(\theta;x) = \int_0^1 \log p_\theta(x,\tau),d\tau. \quad (2)  

与仅作用于奖励分布单一摘要的期望奖励最大化不同，TailRL明确优化跨越奖励水平的上尾概率。我们证明TailRL的梯度可分解为最佳-(k)梯度的调和混合（第3.1节），直接将训练目标与高奖励序列的覆盖及推理时扩展联系起来。MaxRL则作为二元奖励的特例出现。  

尽管目标不同，TailRL允许一个简单的无评论家策略梯度估计器，仅在优势计算上与标准RL不同，可通过在现有RL流程中替换优势函数实现。在对象定位（第6.1节）、迷宫导航（第6.2节）、GUI定位（第6.3节）和代码优化（第6.4节）中，TailRL利用训练中罕见的高奖励样本避免次优解，并产生在推理时能从额外采样中获益更多的策略。  

我们的贡献如下：  
1. **连续奖励的似然目标**：TailRL最大化超过均匀抽取奖励阈值的对数概率，根据策略达到该奖励水平的频率的倒数为每个奖励水平赋权。它不引入阈值或权重超参数，且在二元奖励时精确退化为MaxRL。  
2. **与推理时扩展对齐**：TailRL的梯度可调和分解为最佳-(k)梯度之和（第3.1节）：  
   ∇_θ J_{\mathrm{TailRL}}(\theta;x) = ∑_{k=1}^∞ \frac{1}{k} ∇_θ \text{Best-of-}k(\theta;x),  
   因此TailRL无需预先选择特定k，即可在每种推理预算下提升最佳-(k)性能。  
3. **无偏有限序列估计器**：N个序列定义了TailRL的N阶截断，该截断从期望奖励（N=1）插值到总体目标（N→∞），我们推导出闭合式序列权重以无偏估计其梯度（第4节）。与REINFORCE不同（更多序列仅降低方差），此处的序列预算决定了被优化的目标。  
4. **强有力的实证结果**：TailRL在对象定位（第6.1节）上匹配监督目标（其观察真实值）；在迷宫导航（第6.2节）上从初始成功率为0.01%的策略中学习（而期望奖励基线失败）；在GUI定位（第6.3节）上以128–256倍更少的推理序列匹配RLOO的Pass@1024；在代码优化（第6.4节）上达到7.7倍的Best-of-1024加速（而GRPO和RLOO退化为复制输入）。  

## 2 预备知识  
我们主要关注连续奖励强化学习优化，其中对于每个输入x，序列z由策略π_\theta生成。序列可以是生成的响应、程序或轨迹。确定性奖励函数为输入-序列对提供标量反馈r(x,z)∈[0,1]。附录D讨论了更一般的有界奖励范围。训练最终在x∼ρ上取平均。为简化符号，我们为固定输入x写出每个目标，并隐式处理输入的外层平均。  

我们定义策略的得分为S(x,z) := ∇_θ \log π_\theta(z|x)。标准RL最大化期望奖励，得分函数恒等式（Williams, 1992）给出其策略梯度如下：  
J_{\mathrm{RL}}(\theta;x) := \mathbb{E}_{z∼π_θ(·|x)}[r(x,z)],  
∇_θ J_{\mathrm{RL}}(\theta;x) = \mathbb{E}_{z∼π_θ(·|x)}[r(x,z) S(x,z)]. \quad (3)  

因此，策略梯度是得分函数的加权组合，权重由序列的奖励决定。训练中，无评论家基于序列的策略梯度方法抽取N个独立序列z_1,...,z_N∼π_θ(·|x)。无评论家方法如GRPO（Shao et al., 2024）和RLOO（Ahmadian et al., 2024）计算等式(3)的有限序列估计。PKPO（Walder and Karkhanis, 2025）使用类似的基于有限序列的估计框架优化二元和连续奖励的Pass@k和Best-of-k。第4节表明TailRL使用相同模板，仅改变这些优势的计算方式，附录F将三种优势函数并列对比。  

### 2.1 推理时选择  
部署时，可利用额外推理计算采样多个序列并选择奖励最高的那个。对于k个独立序列，其性能在奖励为二元时由至少一个成功的概率（Pass@k）衡量，在奖励连续时由序列间最大期望奖励（Best-of-k）衡量：  
Pass@k(θ;x) := 1 - ( \Pr_{z∼π_θ(·|x)}(r(x,z)=0) )^k, \quad \text{（二元奖励）} \quad (4)  
Best-of-k(θ;x) := \mathbb{E}_{\{z_i\}_{i=1}^k∼π_θ(·|x)}[ \max_{1≤i≤k} r(x,z_i) ], \quad \text{（连续奖励）} \quad (5)  

当k=1时，两者均退化为平均奖励J_{\mathrm{RL}}(θ;x)。附录G给出了我们通常用于经验计算两者的估计器。Pass@k和Best-of-k均随k单调非减，且当k→∞时各自逼近其支撑集的最大奖励。与平均奖励不同，Best-of-k强烈依赖于奖励分布的上部。两个具有相同平均值的策略，若其中一个分配更高概率给高奖励序列，则在额外训练或推理计算下可能表现出不同的扩展性。  

### 2.2 策略作为奖励的生成模型  
策略和奖励函数共同定义奖励分布。对于输入x，策略采样序列z，奖励函数赋予其奖励：  
z∼π_θ(·|x), r = r(x,z) ∈ [0,1]. \quad (6)  

由于奖励函数是确定性的，奖励的所有随机性均来自策略。对于任何事件A（A⊆[0,1]），诱导的奖励分布定义为：  
\Pr_{z∼π_θ(·|x)}(r(x,z)∈A) = \mathbb{E}_{z∼π_θ(·|x)}[\mathbbm{1}_{\{r(x,z)∈A\}}]. \quad (7)  

在此视角下，策略是奖励上的生成模型，训练操控奖励值上的概率质量。期望奖励RL仅使用平均奖励来塑造此奖励分布。不同策略可具有相同平均奖励，却对高奖励结果分配截然不同的概率。这在其Best-of-k和Pass@k性能差异中变得可见。这促使我们寻找作用于整个奖励分布而非仅其均值的目标。我们从二元奖励开始，此时分布完全由单一成功概率决定。  

### 2.3 二元奖励的MaxRL  
对于二元奖励r(x,z)∈{0,1}，期望奖励等于成功概率：  
q_θ(x) := \Pr_{z∼π_θ(·|x)}(r(x,z)=1). \quad (8)  

因此奖励分布是成功与失败上的伯努利分布，完全由q_θ(x)决定。标准RL最大化q_θ(x)，而MaxRL（Tajwar et al., 2026）最大化J_{\mathrm{MaxRL}}(θ;x) = \log q_θ(x)，其梯度为：  
∇_θ J_{\mathrm{MaxRL}}(θ;x) = \frac{1}{q_θ(x)} \mathbb{E}_{z∼π_θ(·|x)}[\mathbbm{1}_{\{r(x,z)=1\}} S(x,z)]. \quad (9)  

因子1/q_θ(x)赋予成功罕见的输入更大权重。MaxRL亦与推理时采样相关。∇_θ J_{\mathrm{MaxRL}}(θ;x)...