标签
RICE-PO 是一个无需评判器的策略优化框架，它将检索交互转化为局部化信用信号，用于训练推理代理。在相同检索器设置下，该框架在 BRIGHT 和 BEIR 基准测试中持续优于基于提示的代理和基于组的强化学习基线。
介绍 GORMPO，一种密度正则化的离线强化学习算法，使用生成式密度建模将策略更新限制在高密度区域，在真实世界医疗数据集上实现17%的提升，并超越最先进的基线模型。
提出了在可验证奖励的强化学习（RLVR）中为信用分配标准引入时间调度，表明调度学习信号的施加时机可改善策略演化与稳定性。
本文介绍了一种名为向量策略优化（Vector Policy Optimization, VPO）的强化学习算法，该算法通过优化多个奖励维度来训练大语言模型生成多样化的解决方案，与标量强化学习基线相比，显著提升了测试时搜索性能。
引入向量策略优化（VPO），用于训练模型使用向量值奖励而非标量奖励，从而为测试时搜索生成多样化的答案集合。
提出TEMPO，一种策略优化方法，通过使用双模式奖励和基于GRPO的训练，训练大语言模型仅依据截止日期前的信息进行推理，将知识泄露降低2–13%，同时将任务性能提升6–13%。
引入LambdaPO，一种新颖的强化学习框架，它通过将优势估计分解为成对偏好比较并添加语义密度奖励来改进GRPO，从而在数学推理任务上取得了更好的性能。
本文指出了现有扩散语言模型强化学习方法中的弱点——缺乏时间信用分配和偏差似然估计——并提出了DACA-GRPO，一种即插即用的增强方案，引入了去噪进度分数和分层掩码似然，在推理、代码生成和受约束生成等多个基准上取得了一致的改进。
提出隐式行为策略优化（IBPO），一种基于反事实比较的信用分配框架，通过将稀疏的终端奖励转化为对步骤敏感的学习信号，提升了大型语言模型在多步推理任务中的训练稳定性和性能。
CEPO通过使用来自拒绝轨迹的对比信号来区分关键推理步骤和填充令牌，从而改进了基于可验证奖励的强化学习，在多模态数学推理基准上相比GRPO获得了更高的准确率。
提出了面向纠正的策略优化（CIPO），这是对RLVR的一种扩展，它将失败轨迹转化为面向纠正的监督信号，从而在数学和代码基准测试中提升LLM的推理与纠错能力。
Flash-GRPO 通过等时间分组和时间梯度校正解决时间方差和梯度不一致问题，从而提升了视频扩散模型的训练效率，实现了最先进的对齐质量和显著的训练加速。
介绍了ODRPO，一个将离散奖励分解为序数二元指标的框架，旨在提升LLMs中基于AI反馈的强化学习（RLAIF）策略优化的鲁棒性，在最小开销下实现了高达14.8%的相对改进。
本文介绍了轨迹匹配策略优化（TMPO），这是一种扩散模型对齐方法。它通过匹配轨迹级奖励分布而非最大化标量奖励，解决了奖励黑客攻击和视觉模态崩溃问题。
本文提出了一种协方差感知的组相对策略优化（GRPO）变体，该方法利用高斯核优势重权重技术来稳定训练熵，并提升大语言模型的推理性能。
HölderPO 引入了一种通用策略优化框架，利用 Hölder 均值进行 GRPO 中的词元级概率聚合，并采用动态退火策略来平衡梯度集中与方差。该方法在数学基准测试中取得了最先进的结果（平均 54.9%，相对 GRPO 提升 7.2%），并在 ALFWorld 上实现了 93.8% 的成功率。
本文提出一种探索感知的强化学习框架，使LLM代理仅在不确定性高时自适应探索，从而提升在基于文本和基于GUI的基准测试上的性能。
本文介绍了结构化角色感知策略优化（SRPO），该方法通过在大视觉-语言模型的强化学习框架内，根据感知和推理的不同角色分配令牌级信用，从而提升多模态推理能力。
本文介绍了基于梯度外推的策略优化（GXPO），这是一种仅使用三次反向传播即可在大型语言模型（LLM）的强化学习训练中近似多步前瞻的方法。它在保持固定活跃阶段成本的同时，在数学基准测试上展示了优于标准 GRPO 的推理性能。
本文提出无监督过程奖励模型（uPRM），通过利用LLM的下一个令牌概率识别错误推理步骤，从而消除人工标注需求，在准确率上相比LLM-as-a-Judge提升高达15%，并且作为验证器和奖励信号时表现与有监督PRM相当。