标签
自重置策略优化 (SRPO) 通过在多步推理强化学习后训练中定位第一个错误的推理步骤并从中学习反事实延续，而无需外部监督，来解决信用分配问题。
DR-MV3D 提出了一种基于地图的强化学习框架，通过密集奖励来改进多视角3D视觉问答能力，其核心包括全局地图构建、视角轨迹规划和自我中心定位。
PolicyTrim是一种基于强化学习的后训练框架，能将视觉-语言-动作模型的动作块利用率提升3倍，并将物理执行步骤减少51.4%，实现高达5.83倍的部署加速。
提出独立组合令牌（ICT）框架，利用令牌logit分布之间的Jensen-Shannon散度识别关键分支点，防止RLVR在LLM推理中的熵坍缩和熵爆炸。在Qwen模型上实现了高达14.9%的pass@4改进。
ZPPO在LLMs/VLMs的强化学习中为难题引入了回放缓冲区，允许反复接触，逐步提高rollout准确性，而不会导致策略漂移。该方法比GRPO解决了更多难题，尤其是那些初始准确率接近零的问题。
GraphPO 是一种新颖的基于图的强化学习框架，它将轨迹表示为一个有向无环图，合并语义等价的推理路径，以减少冗余探索并改进大型推理模型的信用分配。
MobileForge提出了一种针对移动GUI智能体的免标注适配系统，该系统利用真实应用交互和分层反馈引导的策略优化来提升性能，在AndroidWorld上使用开放数据取得了接近最优的结果。
NVIDIA GEAR lab introduces ENPIRE, a framework for autonomous real-world robot policy self-improvement that achieves 99% success on dexterous manipulation tasks like GPU insertion and zip-tying, with multi-robot parallel learning and open-source release.
本文提出了轨迹增强策略优化（TAPO），该方法利用模型自身正确和错误的展开构建微反思修正轨迹，以提高大型语言模型的推理能力，在数学基准测试上优于标准自蒸馏方法。
提出REVES，一种两阶段迭代框架，交替进行数据增强与策略优化，通过利用中间修正步骤提升LLM推理能力，在编程基准测试和约束满足问题上取得更优性能。
最近发展区策略优化（ZPPO）通过使用重新构建的提示来改进知识蒸馏，帮助学生从正确和错误的回答中学习，尤其在小模型规模下提升了性能。
GAGPO提出了一种无评论家的强化学习方法，在多方交互的自主任务中，利用非参数分组价值代理进行步级信用分配，在ALFWorld和WebShop上超越了强基线模型。
本文提出约束敏感策略优化（CSPO），一种用于安全强化学习的一阶原始-对偶方法，该方法融合局部约束灵敏度以改善安全恢复并减少安全边界附近的振荡，在导航和运动基准上实现了更高的约束回报。
本文介绍了一种简单而强大的方法，用于效用约束马尔可夫决策过程（UCMDPs），该方法无需预先固定约束界限即可实现风险敏感约束，在Safety Gymnasium基准测试中优于基线方法。
本文分析了RLVR训练中的token级梯度动态，揭示了优势符号与token概率如何共同影响更新稳定性，并提出了Winner Advantage Policy Optimization（WAPO），该方法仅在正优势的完成序列上执行裁剪更新，以提高稳定性。
GD^2PO引入了一种冲突感知过滤机制，以缓解大型语言模型强化学习中的多奖励冲突，防止信号抵消并加速训练效率。
提出认知相对策略优化（CRPO），一种用于对齐大语言模型在心理健康评估中推理的强化学习框架，在加权F1分数上比现有基线平均提高10.4个百分点。
本文介绍了IAPO，一种通过将输入归因与更强大的教师模型对齐，来提升多模态小语言模型工具调用能力的强化学习算法。在Qwen2.5-VL-3B上的实验表明，在六个测试集上，视觉问答准确率平均提升了3%。
APPO通过使用细粒度决策点和过程级优势缩放来改进分支决策和信用分配，从而提升LLM智能体的多轮工具使用能力，在13个基准测试中比基线高出近4个百分点。
SocraticPO通过苏格拉底式自然语言指导和奖励衰减增强强化学习（RL）的展开过程，以提升大语言模型（LLM）的科学推理能力，在SciKnowEval基准测试中超越强基线。