标签
本文介绍了Visual-SDPO，一种自我蒸馏策略优化框架，该框架利用渲染后的视觉反馈作为特权上下文来训练代码生成型大语言模型，在图表、用户界面和幻灯片生成基准测试中提升了视觉制品的质量。
新论文展示了如何通过用单位矩阵近似流去噪过程的雅可比矩阵来优化用于强化学习的流匹配行动者，使训练变得可行。
TRACE是一个统一的展开预算分配框架，通过基于前缀信息性在树状展开中动态分配资源，增强多轮智能体强化学习中的奖励对比。它在Multi-Hop QA等智能体基准测试上提升了效率和准确性。
N-GRPO 在 GRPO 框架中引入语义邻居混合，以增强数学推理多样性并保持语义一致性，在数学基准和分布外任务上均取得了提升。
本文介绍了CPPO，这是一种通过使用位置加权阈值和累积前缀预算来改进基于可验证奖励的LLM强化学习方法，旨在解决统一令牌级信任区域的局限性。
QGF 是一种强化学习算法，通过使用价值梯度来指导预训练的流策略，在测试时改进策略，避免了训练时的不稳定性，同时保持了竞争力的性能。
Flow-DPPO 在流匹配模型中使用散度近端约束替代比率裁剪，通过精确计算 KL 散度，提升了训练稳定性与多目标优化效果。
本文提出PTD-PO，一种特权引导式蒸馏框架，可在多模态推理任务中为基于可验证奖励的强化学习提供密集的token级监督，且不暴露答案。该框架利用结构化提示和Top-K JS散度目标以稳定训练，在2B-8B LVLMs上持续优于现有方法。
本文介绍了DRPO，它用平滑的优势加权二次正则化器替代了DPPO中的硬掩码，通过提供信任区域边界之外的连续梯度校正，提高了LLM强化学习的稳定性和效率。
全面指南：2026年重要的15种策略优化和偏好优化技术，包括GRPO、DPO、REINFORCE++及众多新变体，描绘推理强化学习方法论的图景。
StepPO 引入了一种面向智能体强化学习的步骤中心范式，该范式将策略优化与智能体决策粒度对齐，在多轮交互任务中优于以令牌为中心的方法。
哈佛大学的研究人员挑战了标准的LLM训练流程，证明强化学习可以在预训练期间有效应用，而不仅仅是在SFT之后。他们发现数据组成比模型规模更重要，并提出并行平均RL和SFT目标的方法，该方法在所有讨论的其他训练方法中表现出色，跨所有指标均优于它们，同时保持了通用能力。
本文介绍了一对多时序定位（OMTG）这一新任务，用于从单个文本查询中定位多个不连续的视频片段，同时提供了基准、评估指标、包含56k样本的数据集以及新颖的奖励函数，取得了最新最优的结果，优于Gemini 2.5 Pro和Seed-1.8。
本文介绍了提示引导的多样化策略优化（HDPO），这是一个两阶段强化学习框架，鼓励LLMs首先生成多个候选解决方案大纲（提示），然后选择最可靠的一个进行详细推理，从而提升推理的多样性和可靠性。
公平强化学习引入了民主对齐，以整合来自不同代理的多个竞争性价值集，克服了传统RLHF的局限性，并通过黑盒策略包装器实现了数量级更快的优化。
本文介绍了后验混合贝叶斯信念（PhyB），这是一个将贝叶斯强化学习中的期望重新表述为动力学模型的凸组合的框架，从而能够实现具有有界目标差异和最新性能的高效正则化离线策略优化。
矩匹配Q学习（MoMa QL）利用最大均值差异来匹配所有阶矩统计量，实现离线强化学习中的分布级收敛，在D4RL任务上兼具计算效率和强劲性能。
本文提出引导对比策略优化（GCPO），这是一种新颖的算法，通过对比正负提示下的模型预测，在强化学习中实现每个Token的信用分配，在文本到图像生成和思维链推理基准测试中持续优于GRPO和DAPO基线。
介绍了Belief Entropy和Metacognitive Memory Policy Optimization (MMPO)，以提高长周期LLM代理的记忆质量，优于现有方法，并在长上下文中保持性能。
提出模型基扩散策略优化（MBDPO）框架，该框架通过扩散策略表示统一了世界模型中的搜索与策略优化，在离线与在线强化学习任务中实现一致的扩展行为和卓越性能。