标签
本文提出了轨迹增强策略优化（TAPO），该方法利用模型自身正确和错误的展开构建微反思修正轨迹，以提高大型语言模型的推理能力，在数学基准测试上优于标准自蒸馏方法。
提出REVES，一种两阶段迭代框架，交替进行数据增强与策略优化，通过利用中间修正步骤提升LLM推理能力，在编程基准测试和约束满足问题上取得更优性能。
最近发展区策略优化（ZPPO）通过使用重新构建的提示来改进知识蒸馏，帮助学生从正确和错误的回答中学习，尤其在小模型规模下提升了性能。
GAGPO提出了一种无评论家的强化学习方法，在多方交互的自主任务中，利用非参数分组价值代理进行步级信用分配，在ALFWorld和WebShop上超越了强基线模型。
本文提出约束敏感策略优化（CSPO），一种用于安全强化学习的一阶原始-对偶方法，该方法融合局部约束灵敏度以改善安全恢复并减少安全边界附近的振荡，在导航和运动基准上实现了更高的约束回报。
本文介绍了一种简单而强大的方法，用于效用约束马尔可夫决策过程（UCMDPs），该方法无需预先固定约束界限即可实现风险敏感约束，在Safety Gymnasium基准测试中优于基线方法。
本文分析了RLVR训练中的token级梯度动态，揭示了优势符号与token概率如何共同影响更新稳定性，并提出了Winner Advantage Policy Optimization（WAPO），该方法仅在正优势的完成序列上执行裁剪更新，以提高稳定性。
GD^2PO引入了一种冲突感知过滤机制，以缓解大型语言模型强化学习中的多奖励冲突，防止信号抵消并加速训练效率。
提出认知相对策略优化（CRPO），一种用于对齐大语言模型在心理健康评估中推理的强化学习框架，在加权F1分数上比现有基线平均提高10.4个百分点。
本文介绍了IAPO，一种通过将输入归因与更强大的教师模型对齐，来提升多模态小语言模型工具调用能力的强化学习算法。在Qwen2.5-VL-3B上的实验表明，在六个测试集上，视觉问答准确率平均提升了3%。
APPO通过使用细粒度决策点和过程级优势缩放来改进分支决策和信用分配，从而提升LLM智能体的多轮工具使用能力，在13个基准测试中比基线高出近4个百分点。
SocraticPO通过苏格拉底式自然语言指导和奖励衰减增强强化学习（RL）的展开过程，以提升大语言模型（LLM）的科学推理能力，在SciKnowEval基准测试中超越强基线。
本文介绍了Visual-SDPO，一种自我蒸馏策略优化框架，该框架利用渲染后的视觉反馈作为特权上下文来训练代码生成型大语言模型，在图表、用户界面和幻灯片生成基准测试中提升了视觉制品的质量。
新论文展示了如何通过用单位矩阵近似流去噪过程的雅可比矩阵来优化用于强化学习的流匹配行动者，使训练变得可行。
TRACE是一个统一的展开预算分配框架，通过基于前缀信息性在树状展开中动态分配资源，增强多轮智能体强化学习中的奖励对比。它在Multi-Hop QA等智能体基准测试上提升了效率和准确性。
N-GRPO 在 GRPO 框架中引入语义邻居混合，以增强数学推理多样性并保持语义一致性，在数学基准和分布外任务上均取得了提升。
本文介绍了CPPO，这是一种通过使用位置加权阈值和累积前缀预算来改进基于可验证奖励的LLM强化学习方法，旨在解决统一令牌级信任区域的局限性。
QGF 是一种强化学习算法，通过使用价值梯度来指导预训练的流策略，在测试时改进策略，避免了训练时的不稳定性，同时保持了竞争力的性能。
Flow-DPPO 在流匹配模型中使用散度近端约束替代比率裁剪，通过精确计算 KL 散度，提升了训练稳定性与多目标优化效果。
本文提出PTD-PO，一种特权引导式蒸馏框架，可在多模态推理任务中为基于可验证奖励的强化学习提供密集的token级监督，且不暴露答案。该框架利用结构化提示和Top-K JS散度目标以稳定训练，在2B-8B LVLMs上持续优于现有方法。