标签
提出隐式行为策略优化（IBPO），一种基于反事实比较的信用分配框架，通过将稀疏的终端奖励转化为对步骤敏感的学习信号，提升了大型语言模型在多步推理任务中的训练稳定性和性能。
CEPO通过使用来自拒绝轨迹的对比信号来区分关键推理步骤和填充令牌，从而改进了基于可验证奖励的强化学习，在多模态数学推理基准上相比GRPO获得了更高的准确率。
提出了面向纠正的策略优化（CIPO），这是对RLVR的一种扩展，它将失败轨迹转化为面向纠正的监督信号，从而在数学和代码基准测试中提升LLM的推理与纠错能力。
Flash-GRPO 通过等时间分组和时间梯度校正解决时间方差和梯度不一致问题，从而提升了视频扩散模型的训练效率，实现了最先进的对齐质量和显著的训练加速。
介绍了ODRPO，一个将离散奖励分解为序数二元指标的框架，旨在提升LLMs中基于AI反馈的强化学习（RLAIF）策略优化的鲁棒性，在最小开销下实现了高达14.8%的相对改进。
本文介绍了轨迹匹配策略优化（TMPO），这是一种扩散模型对齐方法。它通过匹配轨迹级奖励分布而非最大化标量奖励，解决了奖励黑客攻击和视觉模态崩溃问题。
本文提出了一种协方差感知的组相对策略优化（GRPO）变体，该方法利用高斯核优势重权重技术来稳定训练熵，并提升大语言模型的推理性能。
HölderPO 引入了一种通用策略优化框架，利用 Hölder 均值进行 GRPO 中的词元级概率聚合，并采用动态退火策略来平衡梯度集中与方差。该方法在数学基准测试中取得了最先进的结果（平均 54.9%，相对 GRPO 提升 7.2%），并在 ALFWorld 上实现了 93.8% 的成功率。
本文提出一种探索感知的强化学习框架，使LLM代理仅在不确定性高时自适应探索，从而提升在基于文本和基于GUI的基准测试上的性能。
本文介绍了结构化角色感知策略优化（SRPO），该方法通过在大视觉-语言模型的强化学习框架内，根据感知和推理的不同角色分配令牌级信用，从而提升多模态推理能力。
本文介绍了基于梯度外推的策略优化（GXPO），这是一种仅使用三次反向传播即可在大型语言模型（LLM）的强化学习训练中近似多步前瞻的方法。它在保持固定活跃阶段成本的同时，在数学基准测试上展示了优于标准 GRPO 的推理性能。
本文提出无监督过程奖励模型（uPRM），通过利用LLM的下一个令牌概率识别错误推理步骤，从而消除人工标注需求，在准确率上相比LLM-as-a-Judge提升高达15%，并且作为验证器和奖励信号时表现与有监督PRM相当。
本文提出保留感知策略优化（RaPO），通过强化微调缓解视觉连续学习中的灾难性遗忘。RaPO采用轨迹级奖励塑形和跨任务优势归一化，缩小了类增量学习和域增量学习中强化微调与监督微调之间的差距。
本文介绍了 SGRPO，这是一种策略优化框架，通过结合集合级多样性奖励和效用来提升生物分子的生成能力。它在小分子和蛋白质设计等任务中展示了改进的效用-多样性权衡。
本文引入了近似下一策略采样（ANPS）作为深度强化学习中保守策略更新的替代方案。它提出了稳定值近似策略迭代（SV-API）和 SV-RL，通过将训练数据与下一策略的状态分布对齐，从而实现更大且更安全的策略更新。
本文介绍了 POISE，一种通过利用模型自身内部状态来估计基线，从而在大型推理模型中实现稳定策略优化的方法，与 PPO 和 GRPO 相比，该方法降低了计算开销。
本文介绍了 A^2TGPO，这是一种针对代理式大语言模型（LLMs）的强化学习方法，它利用自适应回合级裁剪和信息增益归一化来改善多轮交互中的过程信用分配。
提出近未来策略优化（NPO），一种混合策略强化学习方法，通过在同一训练运行中利用更晚的 checkpoint 学习，加速收敛，将 Qwen3-VL-8B-Instruct 性能从 57.88 提升至 62.84。
# 论文页面 - DiPO：基于解耦困惑度的策略优化，实现细粒度探索-利用权衡 来源：[https://huggingface.co/papers/2604.13902](https://huggingface.co/papers/2604.13902) 作者：,,,,,,,,,, ## 摘要 一种面向大语言模型的新型强化学习方法，通过基于困惑度的样本划分与双向奖励分配机制，解决探索-利用权衡问题。[强化学习](https: