标签
推荐 HuggingFace 博客文章系列《Score Function Centering》，从直觉出发系统讲解 LLM 异步强化学习中的 trainer-generator 失配问题以及分数函数中心化（SFC）如何修复策略梯度中零期望性质，只需了解 GRPO 即可阅读。
这是一篇三部分系列文章的第一篇，论证了 on-policy RL、蒸馏（distillation）以及近策略 SFT 更新是稀疏的：由于在采样器分布下 score 的期望为零，期望梯度是一个协方差，而 Fisher 信息矩阵是一个方差，这就对任何 reward 下的更新幅度给出了上界。
该论文提出了不动点流匹配（Fixed-point Flow Matching，FFM），这是一种无需数据的方法，用于在在线强化学习中训练和微调基于流的策略。该方法将演员更新表述为不动点迭代，其中评论家的动作梯度作为流匹配的回归目标，并在离线到在线的微调和从零开始的训练中展现了有效性。
ReSPO 提出一种重塑的序列策略优化方法，用平滑的双分支 α-散度核替代裁剪机制，解决 RLVR 中离策略学习的梯度饥饿问题，并在 Qwen3 密集与 MoE 模型上验证了更优的训练分数和基准性能。
这篇博客文章视觉化地解释了大型语言模型中的策略梯度，通过一个数学问题的例子从头开始推导概念，以说明强化学习如何提升模型性能。
该论文为大型语言模型强化学习中的令牌级信用制定了正则条件，并介绍了策略对齐评论家训练（PACT），该方法在数学推理和编码基准测试中优于GRPO和PPO。
论文提出了在线策略逆蒸馏（OPRD）方法，该方法通过沿教师策略偏移方向放大验证器支持的策略梯度，使更强的AI模型能够超越较弱的监督者，在蒸馏场景中以更少的更新次数获得更高性能。
本文提出了基于可验证奖励的收缩基线方法，用于强化学习领域，以此降低策略梯度估计器的方差并提升训练稳定性。
该论文提出了一种名为 Tail-Likelihood Reinforcement Learning (TailRL) 的优化方法，该方法专注于奖励分布的上尾部分，以改善生成任务中的策略性能，并在多种应用中进行了演示。
本文揭示了并行强化学习中的价值不匹配现象：共享评论家会混合环境特定价值，导致性能下降。为此，提出基于环境索引条件化评论家，从而在Procgen等基准测试中提升学习稳定性和回报。
本文分析了一种单循环、熵正则化的自然演员-评论家算法，并在随机和确定性环境下，针对线性函数逼近，证明了非正则化目标的加速收敛率。
本文介绍向量符号策略梯度（VSPG），一种新颖的方法，采用向量符号架构处理强化学习中的离散动作策略梯度，可在边缘系统中实现竞争性性能，并在噪声下保持鲁棒退化。
Introduces Boundary-Seeking Policy Gradient (BSPG), a first-order method for safe reinforcement learning that actively drives the policy toward the constraint boundary, with convergence guarantees and improved reward/boundary tracking on a Safety-Gymnasium task.
This paper proves that using error-penalized scoring rules with abstention as a discrete action can kill both the reward gradient and the KL anchor, causing models to collapse toward refusing everything. It proposes a structural repair — training a mandatory confidence report — and validates the mechanism with simulations and language model experiments.
介绍了策略梯度引导（PGS），一种将激活引导形式化为强化学习问题的方法，利用策略梯度从行为目标中构建可移除、可组合的引导向量。在网格世界、国际象棋谜题和足球环境中进行了验证。
介绍Hindsight Policy Optimization (HPO)，一种新颖的策略梯度方法，它利用意图空间和Wasserstein距离来减少长周期语言智能体训练中的方差，显示出比GRPO和PPO更好的稳定性。
安全探索者（SafeExplorer）引入了一种用于带有恢复干预的强化学习的无偏策略梯度估计器，在机器人任务上显著减少了训练期间的跌倒次数，同时达到或超过了标准PPO的最终奖励。
提出用于LLM强化学习的预测性散度掩码，通过预测下一步策略梯度步骤将增加还是减少信任区域所使用的散度，改进了PPO的方向准则，从而带来更好的对齐，并提升了不同模型规模下的强化学习训练效果。
本文介绍了FADE（Focal Advantage with Dynamic Entropy），一种自适应优势函数，能在大型语言模型的强化学习后训练过程中动态调度梯度权重，与静态基线相比，实现了更快的收敛和更好的准确率-多样性平衡。
EMAgnet针对大型两人零和游戏中的策略梯度自我博弈引入了参数空间指数移动平均正则化，与均匀正则化目标相比，实现了更低的可利用性。