标签
DAPO是一个为大型语言模型设计的开源强化学习系统，由字节跳动Seed和清华AIR开发，使用Qwen2.5-32B模型在AIME 2024基准测试中实现了最先进的性能。
RewardVerse 提出了一种基于评分标准的视频奖励建模框架，以缓解标量漂移并提供稳定的评估标准，从而增强视频生成中的强化学习。
本文介绍了 BATON，这是一个用于 LLM 代理的双轴策略优化框架，采用 Bayesian Feedback Attribution 和 Trajectory Mass Normalization，在强化学习实验中展示了性能提升。
这篇研究论文探讨了使用参考策略有意引导双人零和博弈中正则化自我对弈的均衡选择，并在可解博弈上提供了实验结果和理论分析。
本文提出PIVOT，一个双层学习框架，通过自校准经验回放和视觉引导优势分配优化强化学习，以增强大型视觉语言模型中的视觉基础推理。
TIAO是一种面向文本摘要的令牌重要性感知强化学习策略，它基于令牌依赖性重新加权轨迹，在真实世界数据集上实现了与GPT-4和GPT-5-nano相媲美的结果。
EvolveTrade 引入了一个针对 LLM 交易代理的自我进化框架，该框架利用决策轨迹和投资组合反馈来优化工具使用策略，在不同市场状态下改善夏普比率和累计收益率。
贝尔曼策略优化 (BPO) 是一种无评论家的强化学习方法，它利用贝尔曼方程重新表述策略镜像下降 (PMD)，用于具有终端奖励的自回归生成，从而提升大语言模型的数学推理能力。
论文提出了FGPO，这是一种基因组工具选择中的精确策略优化方法，通过枚举所有可能的工具子集来优于基于采样的方法如GRPO。
VERPO 引入了一个框架，用于在语言模型中进行验证证据正则化策略优化，通过将证据视为策略修正的提议，同时保持目标结果，以提高在科学推理和工具使用任务上的性能。
论文提出了DATPO，一种基于难度适应的树结构策略优化方法，通过句子熵引导的分支和多样性感知优化来增强大模型中的推理覆盖，在pass@k指标上优于基线方法。
一位开发者探讨了为何即便初始策略对目标行为的覆盖度不佳，尾部强化学习依然能够保持有效性。
TIGPO提出了一种时间实例图策略优化方法，通过持久转移图和重访槽，扩展了基于图的信用分配跨策略更新，用于长视域LLM智能体，以改善优势估计和在ALFWorld和WebShop等基准测试上的性能。
DMRL 是一种文档介导强化学习框架，通过结构化编辑动作、策略优化和长期奖励预测来优化广告推荐中的技能文档，并在大规模部署中展示了优于基线的性能。
PGPO 提出势引导策略优化用于多轮智能体任务，使得在 LLM 后训练中实现更细粒度的信用分配，并在 ALFWorld 和 WebShop 基准测试上展示出强劲结果。
本文提出群组自适应裁剪策略优化（GAPO），这是一种对GRPO方法的插件式修改，通过根据rollout优势自适应调整裁剪边界，在数学推理和编程基准测试中提升了Pass@1和Pass@k的表现。
本文提出了一种新的偏好提取算法，通过成对比较学习效用函数，应用于心脏移植分配，以使策略与人类价值观对齐，显著优于现有方法。
CAST是一个批判感知的训练框架，通过从稀疏结果生成结构化的动作级别理由来提高LLM代理的可靠性，在工具调用基准测试中超越了GPT-OSS-120B。
CBPO引入了一种对比分支策略优化方法，用于具有可验证奖励的强化学习中的细粒度信用分配，提升了语言模型在多个基准测试中集成工具的推理任务的性能。
CoDrift是一种用于离线强化学习的组合框架，它将行为目标和价值目标结合成一个统一的策略场，在OGBench和D4RL等基准测试中达到了最先进的性能。