标签
ESCRAG-R1是一个统一框架，通过将基于检索的心理指导整合到群组相对策略优化（GRPO）中，来增强情感支持对话，从而减轻表面拼接，实现专业指导与共情的自然融合。
提出HiDiffTIR，一种面向LLM代理中多轮工具集成推理的层次难度感知策略优化框架，通过细粒度信用分配提升性能和工具调用准确性。
本文介绍了ERPO，一种通过控制查询分布将正则化从动作侧转移到输入侧的方法，解决了LLM策略优化中的稳定性-探索困境，并在数学推理基准测试中展示了改进。
MileGPO提出了一种用于长期LLM代理信用分配的方法，该方法利用基于局部证据的里程碑推理，并在ALFWorld和WebShop基准测试中实现了最先进的性能。
SAPO 是一种用于智能体强化学习的低内存、高计算效率框架，它在单个自回归骨干中共享策略和价值函数，在 ALFWorld 和 WebShop 的实验中表现优于 PPO 和 GRPO。
论文提出了反序回合策略优化（RTPO）来稳定多轮智能体强化学习训练，通过将展开组织为反序树并按反序执行回合级更新，展示了相较于基线的改进。
本文提出了GUPO，一种梯度不确定性感知策略优化方法，通过使用贝叶斯方法建模梯度不确定性来处理组间梯度冲突，从而改进大语言模型的后训练。
PlanPO是一种强化学习方法，它为多轮代理式大语言模型引入了从粗到细的优势信号，在ALFWorld、WebShop和SciWorld等基准测试中，性能比GRPO提高了27.2%。
SA-MRPO 引入了一种饱和感知的优势重加权技术，用于强化学习中的多奖励策略优化，通过聚焦于未优化目标，提高了在数学推理、自适应推理和编程基准测试上的性能。
介绍 I-SDPO，一种实例级自适应自蒸馏策略优化方法，根据 rollout 组中是否包含任何成功响应，在 GRPO 与特权自蒸馏之间切换，从而提升 SciKnowEval 上的推理性能。
本文提出GCPO，一种用于诊断和约束基于rollout的大语言模型强化学习中的子空间几何的方法，在推理、编程和工具使用任务上相较于GRPO及其变体提升了稳定性和性能。
本文介绍了扰动参数策略优化（3PO），这是一种用于LLM强化学习的参数空间探索方法族，展示了在数学和代码任务上相较于GRPO的一致改进。
一篇新的研究论文将 LLM 代理训练重新定义为跨回合的 Meta-RL 问题，使用无评论家策略梯度实现在上下文中的适应，而无需梯度更新。LAMER 框架在长时程任务上相比标准 RL 基线将测试时性能提升了 11-19%，并且能更好地泛化到未见过的环境。
本文形式化了在概率非确定性因果模型下马尔可夫决策过程的反事实策略优化，该模型将潜在混杂因素与固有随机性分开，并提出了一种实用的优化程序来推导鲁棒的反事实策略。该方法在脓毒症治疗模拟器上得到验证，其中糖尿病状态作为未观测的全局混杂因素。
本文提出 OM-GRPO，一种无标签 RLVR 框架，通过对答案片段上的梯度进行掩码，将奖励估计与策略优化解耦，并引入对比增强奖励（Contrast-Augmented Reward），无需额外采样即可细化奖励估计。该框架在多种推理基准上持续优于现有无标签方法，并与有监督的 ground-truth 奖励训练表现相当。
提出了Q-Steer，一种用于分子策略优化的 rollout 时间动作价值引导方法，它使用冻结的前缀动作价值评分器来改进采样，而不改变在线 oracle 预算。
本文介绍了β-OPSD，它是同策略自蒸馏（OPSD）的一种泛化形式，将其构建为一个具有可控KL惩罚的策略优化家族。该方法利用蒸馏来近似昂贵的策略优化，在数学基准上提升了稳定性和推理性能。
提出进度条件组策略优化（ProGPO），通过在组内所有样本均失败时使用首次访问的观察覆盖率，克服长周期代理任务中的信用分配问题，在ALFWorld和WebShop上提升了性能。
本文识别出GRPO在多轮证据读取智能体中的奖励方差崩溃故障模式，并提出CIGPO方法，该方法使用每轮上下文信息增益奖励来维持梯度信号，在HotpotQA上实现了+105%的F1性能提升。
本文提出组熵控制策略优化（GEPO），一种轻量级扩展GRPO的方法，利用组熵进行熵条件非对称优势塑造，解决了基于强化学习的大语言模型对齐过程中不同任务间的异质熵区域问题。实验表明，相比GRPO和近期熵控制方法，GEPO在多项基准测试中均取得一致提升。