标签
本文介绍了DRPO，它用平滑的优势加权二次正则化器替代了DPPO中的硬掩码，通过提供信任区域边界之外的连续梯度校正，提高了LLM强化学习的稳定性和效率。
全面指南：2026年重要的15种策略优化和偏好优化技术，包括GRPO、DPO、REINFORCE++及众多新变体，描绘推理强化学习方法论的图景。
StepPO 引入了一种面向智能体强化学习的步骤中心范式，该范式将策略优化与智能体决策粒度对齐，在多轮交互任务中优于以令牌为中心的方法。
哈佛大学的研究人员挑战了标准的LLM训练流程，证明强化学习可以在预训练期间有效应用，而不仅仅是在SFT之后。他们发现数据组成比模型规模更重要，并提出并行平均RL和SFT目标的方法，该方法在所有讨论的其他训练方法中表现出色，跨所有指标均优于它们，同时保持了通用能力。
本文介绍了一对多时序定位（OMTG）这一新任务，用于从单个文本查询中定位多个不连续的视频片段，同时提供了基准、评估指标、包含56k样本的数据集以及新颖的奖励函数，取得了最新最优的结果，优于Gemini 2.5 Pro和Seed-1.8。
本文介绍了提示引导的多样化策略优化（HDPO），这是一个两阶段强化学习框架，鼓励LLMs首先生成多个候选解决方案大纲（提示），然后选择最可靠的一个进行详细推理，从而提升推理的多样性和可靠性。
公平强化学习引入了民主对齐，以整合来自不同代理的多个竞争性价值集，克服了传统RLHF的局限性，并通过黑盒策略包装器实现了数量级更快的优化。
本文介绍了后验混合贝叶斯信念（PhyB），这是一个将贝叶斯强化学习中的期望重新表述为动力学模型的凸组合的框架，从而能够实现具有有界目标差异和最新性能的高效正则化离线策略优化。
矩匹配Q学习（MoMa QL）利用最大均值差异来匹配所有阶矩统计量，实现离线强化学习中的分布级收敛，在D4RL任务上兼具计算效率和强劲性能。
本文提出引导对比策略优化（GCPO），这是一种新颖的算法，通过对比正负提示下的模型预测，在强化学习中实现每个Token的信用分配，在文本到图像生成和思维链推理基准测试中持续优于GRPO和DAPO基线。
介绍了Belief Entropy和Metacognitive Memory Policy Optimization (MMPO)，以提高长周期LLM代理的记忆质量，优于现有方法，并在长上下文中保持性能。
提出模型基扩散策略优化（MBDPO）框架，该框架通过扩散策略表示统一了世界模型中的搜索与策略优化，在离线与在线强化学习任务中实现一致的扩展行为和卓越性能。
RICE-PO 是一个无需评判器的策略优化框架，它将检索交互转化为局部化信用信号，用于训练推理代理。在相同检索器设置下，该框架在 BRIGHT 和 BEIR 基准测试中持续优于基于提示的代理和基于组的强化学习基线。
介绍 GORMPO，一种密度正则化的离线强化学习算法，使用生成式密度建模将策略更新限制在高密度区域，在真实世界医疗数据集上实现17%的提升，并超越最先进的基线模型。
提出了在可验证奖励的强化学习（RLVR）中为信用分配标准引入时间调度，表明调度学习信号的施加时机可改善策略演化与稳定性。
本文介绍了一种名为向量策略优化（Vector Policy Optimization, VPO）的强化学习算法，该算法通过优化多个奖励维度来训练大语言模型生成多样化的解决方案，与标量强化学习基线相比，显著提升了测试时搜索性能。
引入向量策略优化（VPO），用于训练模型使用向量值奖励而非标量奖励，从而为测试时搜索生成多样化的答案集合。
提出TEMPO，一种策略优化方法，通过使用双模式奖励和基于GRPO的训练，训练大语言模型仅依据截止日期前的信息进行推理，将知识泄露降低2–13%，同时将任务性能提升6–13%。
引入LambdaPO，一种新颖的强化学习框架，它通过将优势估计分解为成对偏好比较并添加语义密度奖励来改进GRPO，从而在数学推理任务上取得了更好的性能。
本文指出了现有扩散语言模型强化学习方法中的弱点——缺乏时间信用分配和偏差似然估计——并提出了DACA-GRPO，一种即插即用的增强方案，引入了去噪进度分数和分层掩码似然，在推理、代码生成和受约束生成等多个基准上取得了一致的改进。