标签
本文介绍了对比策略优化（CPO），该方法利用参考引导和普通生成分布之间的token级对比差异，在具有可验证奖励的强化学习中进行正确性感知的优势塑造。CPO在域内和域外基准测试中均优于基于熵的RLVR方法。
本文揭示了PPO-Clipping使用欧几里得度量导致LLM强化学习中的探索崩溃，并提出了黎曼等距策略优化（RIPO）以确保几何一致的策略更新，在AIME24上比GRPO提升了高达60%。
提出了IGRPO框架，该框架基于中间状态的信息性为多轮LLM智能体自适应分配展开预算，将自适应树结构探索与策略学习相统一。在七个搜索增强型问答基准上的实验表明，该框架一致优于基线方法。
介绍了ACPO，一种用于大型语言模型强化学习的token级信用分配框架，利用细粒度替代熵提升数学和编码基准的推理性能，优于DAPO、GTPO、SAPO等强基线。
TREK是一种分阶段方法，利用蒸馏扩展探索支持以优化策略，在数学推理和智能体任务上超越标准GRPO的性能。
本文证明 GRPO、Dr. GRPO 和 DAPO 是同一底层机制的三种表述：调整一组采样答案中奖励的标准差。组标准差恒等式表明，一致的组不提供任何学习信号，而分裂的组驱动学习，揭示了训练语言模型推理的统一旋钮。
ReGRPO 提出了一种反思增强的策略优化框架，用于工具使用的视觉语言智能体，通过利用结构化的失败观测以及反思令牌与动作的联合优化，来改善从工具故障中的恢复能力，在 GTA 和 GAIA 基准测试上取得了最先进的结果。
本文扩展了摩擦策略优化（FPO）以处理对话中的感知性不对称，即参与者持有不对称的部分信息。研究表明，从每个参与者的视角评估摩擦比全知访问更有效，并提出了针对共同基础状态的标注改进。
VideoSearch-R1 引入了一种智能体框架，该框架通过连续潜在空间优化和策略优化，迭代式地检索视频并优化搜索查询，在视频语料库时刻检索和时间定位任务上取得了最先进的性能。
JERP 提出了一种方法，让LLM智能体从相同的交互轨迹中联合学习可解释的自然语言规则并更新策略参数，在AlfWorld和WebShop上提升了性能，同时保持了可检查性。
BiPACE提出了一种即插即用的优势估计器，用于修复LLM智能体逐步分组强化学习中的状态-动作信用分配错配问题。该方法利用双模拟引导的状态聚类和动作反事实估计，在ALFWorld、WebShop和TextCraft基准上，配合Qwen2.5模型实现了显著的性能提升。
介绍了针对大模型推理的Strategy-Guided Policy Optimization（SGPO），该方法用策略蒸馏替代轨迹模仿，提升了数学基准测试上的泛化能力。
自重置策略优化 (SRPO) 通过在多步推理强化学习后训练中定位第一个错误的推理步骤并从中学习反事实延续，而无需外部监督，来解决信用分配问题。
DR-MV3D 提出了一种基于地图的强化学习框架，通过密集奖励来改进多视角3D视觉问答能力，其核心包括全局地图构建、视角轨迹规划和自我中心定位。
PolicyTrim是一种基于强化学习的后训练框架，能将视觉-语言-动作模型的动作块利用率提升3倍，并将物理执行步骤减少51.4%，实现高达5.83倍的部署加速。
提出独立组合令牌（ICT）框架，利用令牌logit分布之间的Jensen-Shannon散度识别关键分支点，防止RLVR在LLM推理中的熵坍缩和熵爆炸。在Qwen模型上实现了高达14.9%的pass@4改进。
ZPPO在LLMs/VLMs的强化学习中为难题引入了回放缓冲区，允许反复接触，逐步提高rollout准确性，而不会导致策略漂移。该方法比GRPO解决了更多难题，尤其是那些初始准确率接近零的问题。
GraphPO 是一种新颖的基于图的强化学习框架，它将轨迹表示为一个有向无环图，合并语义等价的推理路径，以减少冗余探索并改进大型推理模型的信用分配。
MobileForge提出了一种针对移动GUI智能体的免标注适配系统，该系统利用真实应用交互和分层反馈引导的策略优化来提升性能，在AndroidWorld上使用开放数据取得了接近最优的结果。
NVIDIA GEAR lab introduces ENPIRE, a framework for autonomous real-world robot policy self-improvement that achieves 99% success on dexterous manipulation tasks like GPU insertion and zip-tying, with multi-robot parallel learning and open-source release.