标签
本文提出 MRTPO，通过基于回放的相关性度量将每个奖励的优势只分配给相关词元，从而改进多奖励强化学习训练，加速收敛，并提升在文本到 SQL、多约束指令遵循和工具调用任务上的性能。
本文提出了面向密度的奖励聚合方法（Density-Aware Reward Aggregation，DARA），它基于活跃组密度采用平方根倒数密度加权，对逐奖励归一化的多奖励强化学习进行校正，从而减少不同奖励之间的信号失衡。在工具调用和数学推理上的实验表明，DARA 分别在比 GDPO 最多减少 26% 和 65% 的训练步数内达到了较高的格式/长度合规率。
CorrGRPO 提出了一种相关性归一化的 GRPO 方法，将成对奖励协方差转换为 Pearson 相关系数，避免大规模奖励在多奖励归一化中占据主导地位，并在 0.5B 至 8B 参数模型上改善了代码生成、工具调用和智能体安全任务的性能。
提出自适应奖励路由（Adaptive Reward Routing），在联合音频-视频扩散模型的前向过程强化学习（DiffusionNFT）中动态调整更新位置与奖励权重：利用双向跨注意力响应定位跨模态影响，并以偏好先验加残差修正的方式协调多个竞争奖励，从而提升模态质量、语义一致性与音视频同步。
本文在大型语言模型的多奖励强化学习中识别出聚合引发的奖励黑客行为，并提出一种自适应投影方法 AMRP，以动态调整权重，实现更好的奖励平衡和性能。
SA-MRPO 引入了一种饱和感知的优势重加权技术，用于强化学习中的多奖励策略优化，通过聚焦于未优化目标，提高了在数学推理、自适应推理和编程基准测试上的性能。
GD^2PO引入了一种冲突感知过滤机制，以缓解大型语言模型强化学习中的多奖励冲突，防止信号抵消并加速训练效率。
UniDoc-RL 提出了一种面向大型视觉-语言模型的强化学习框架，通过层次化决策与密集多奖励监督来优化检索、重排序和视觉推理，在视觉RAG任务上相较此前基于RL的方法实现了高达17.7%的性能提升。