标签
本文提出 Multiscale Policy Optimization（MPO），通过在轮次尺度上对齐信用分配与策略更新（结合多尺度优势估计 MAE 和轮次级重要性采样）来改进长时程 LLM 智能体的训练，在搜索、工具使用和自动化任务上对 4B 和 30B-A3B 模型均取得一致增益。
该论文提出了 Doob 策略优化（DoobPO），这是一种面向扩散和流式生成策略的无似然强化学习微调框架。该框架利用 Doob 的 h 变换学习比率模型，并通过条件漂移匹配蒸馏倾斜后的目标策略，在 MuJoCo 连续控制基准测试中取得了优异成绩，同时支持 PPO 和 GRPO 风格的更新。
论文提出 Gibbs-Gap 策略优化（GGPO），一种针对可验证奖励的离线/异步强化学习方法，通过最小化经 KL 调整的奖励的对数均值指数对比来避免高方差重要性权重，并在数学推理基准上优于 GRPO 和 AGRO。
LM2LM 通过强化学习训练 LLM 提出有效的语言模型改进方案，以一个冻结的研究世界模型作为可扩展的奖励信号，并周期性地进行真实执行以保证可靠性，使 Qwen3.8-27B 在数据生成成本降低 33% 的情况下超越 GPT-6-sol。
VASPO 将自蒸馏教师与 PPO 中的 critic 结合，通过 token 级优势与有界概率比率改进推理训练，在六个数学推理基准上相比 PPO 显著提升 Qwen3-4B 与 OLMo3-7B 的准确率。
提出了跨行为策略优化（CBPO），通过共享的固定参考回归目标，将离线示范数据与在线/离线策略生成的轨迹统一到单一损失函数中，用于大语言模型的推理能力后训练，在数学推理基准上显著优于监督微调（SFT）→解耦裁剪与动态采样策略优化（DAPO）的两阶段流程。
提出了RSIPO框架，通过技能与策略的协同演化实现智能体强化学习的递归自我优化，在ALFWorld上以Qwen2.5-7B达到98.6%的成功率，显著超越GRPO等基线。
该论文提出 Adaptive Reference Guidance (ARG)，通过分析前缀续写的 KL 散度来平衡参考解引导与自由生成，用于 GRPO 中全失败组的轨迹构建，在 Qwen3-4B/8B 上取得最高的聚合 pass@12。
该论文提出Convex-Concave RL (CCRL)，在对数密度比坐标下将策略迭代的精确目标建模为DC约束的DC程序，从而超越凸代理近似，恢复CPI、NPG、TRPO、AWR为特例，并在诊断性MDP和医疗模拟领域相较调优的PPO取得更优表现。
LASER提出了一种基于潜在空间伴随匹配（latent space adjoint matching）的离线强化学习算法，通过熵正则化避免潜在空间策略坍缩和利用critic伪影，在40个OGBench任务上以固定超参数取得SOTA性能。
分析表明，在理想条件下，RL 后训练中的 BPO 与 Score Centering 收敛到相同的全词表 token 梯度，其中 Score Centering 的作用是针对 off-policy 漂移的偏差校正，而非方差缩减。
提出 KL 正则化策略优化（KLPO）框架，通过将 KL 正则项锚定在采样器处，实现无 critic、无重要性权重的异步 RL 更新：每个 prompt 仅需一次 rollout，并证明 SPPO、GPO、REBEL 和 BPO 均为 KLPO 的特例。
该论文针对有限MDP中将连续行混合策略舍入为稀疏二值策略的问题，推导了Bellman认证的敏感性包络，证明了不可避免的线性维度依赖性，同时表明针对候选策略的具体界以及局部曲率积分能够显著收紧部署前的回报保证。
iADD 提出了一种基于增量 Feynman-Kac 的训练方法用于扩散策略优化，在对齐与多样性之间实现了更好的权衡，并从理论上证明：只有反向扩散的后段时间步更新才可能损害多样性，这与先前工作的结论相反。
本文提出了Semifactual Credit-Augmented Policy Optimization (SCAPO)，这是一种GRPO变体，利用半事实稳定性分数在可验证奖励的强化学习中实现更细粒度的token级信用分配，在Qwen3模型上将AIME准确率提升了最多5.63个百分点。
本文提出DEEPO，一种双阶段强化学习优化方法，通过解决从奖励到参数更新的纠正链中的弱点，以减少多模态大语言模型中的幻觉。
本文介绍了基于分解子任务的强化学习（RLDS），该方法将轨迹奖励分解为每个子任务的优势，以改进语言模型智能体强化学习中的信用分配，并在高异质性智能体基准测试上显示出显著提升。
本文介绍SCOPE，一种用于计算机使用智能体的联合训练方法，它利用合成数据集，提升了任务完成度和安全性，并在基准测试OSWorld和OS-BLIND上取得了优异性能。
本文介绍GVPO++，一种用于LLM的新型后训练方法，该方法集成了KL约束的奖励最大化，增强了训练稳定性并实现了在策略蒸馏。