标签
本文提出了一项横断面研究，比较了在混合离散-连续动作空间中三种强化学习算法家族（PPO、SAC、DQN）上的各种动作分解方法（独立网络、共享编码器、VDN、QPLEX、联合、自回归），并引入了两个新的轻量级环境以及变体VDN-PPO和PPO-MIX。
本文表明，近端策略优化(PPO)中裁剪替代目标的梯度可以被一个具有可变系数的逐样本KL散度惩罚项精确重现，揭示了裁剪替代目标的结构特性，并提出了新的设计方向。
文章讲述了PPO算法作为ChatGPT核心对齐算法之一，曾在2017年被顶级AI会议NIPS拒稿，理由是创新性有限和提升不显著，揭示了学术界同行评审的弊端。
本文揭示了PPO和GRPO中的裁剪机制在LLM的RLVR中引入了熵偏差：低裁剪增加熵，高裁剪减少熵。作者证明，即使在随机奖励的情况下，标准裁剪也会降低熵，并表明调整低裁剪可以防止熵塌陷并促进探索。
推荐一个由@sheriyuo整理的RL面试问题合集，覆盖PPO、GRPO、MoE、vLLM等算法与基础设施，适合准备LLM RL方向面试与研究者。
本文介绍了 CAPR（缓存摊销路径精化），一种用于扩散大语言模型的强化学习算法。该算法无需完整树展开的计算开销，即可从去噪轨迹中提取类树状监督信号。CAPR 在 GSM8K、Math500、数独和倒计时等推理基准测试上达到了最先进的性能，计算成本仅为平坦展开方式的约 0.75 倍。
本文将LLM生成的奖励塑形视为稀疏结构化强化学习中的调试问题，识别出奖励泛滥和语义误解等失败模式。作者提出诊断驱动的迭代细化，与一次性生成相比，取得了显著的成功率提升（例如，DoorKey-8×8从2.3%提升至97.6%）。
本文提出了一个针对四人制不完美信息纸牌游戏Big 2的自我对弈强化学习框架，比较了策略梯度和基于价值的方法，并发现带有熵正则化的PPO优于其他方法。
提出了一种统一Python框架，采用基于PPO的深度强化学习来优化带经济器逻辑与CO2约束通风的暖通空调控制，展示了比传统PID控制器更优的能效和温度稳定性。
本文研究了使用PPO进行在线强化学习中的时间相关性问题，表明从轨迹中随机丢弃固定比例的转换可以减少梯度冗余并稳定训练，而不会降低性能。
本文提出了价值梯度假说，用以解释为何像PPO和GRPO这类无评论家（critic-free）的RL方法在LLM上表现良好，揭示了演员网络的反向传播携带了类似价值梯度的信号。本文还推导出一个预测性准则，用于判断在预训练轨迹中何时RL最为有效。
OpenAI 证明在模拟 3D 机器人环境中进行竞争性自我对弈，能够使 AI 智能体在没有明确指导的情况下发现复杂的物理行为，如铲球、躲闪和虚晃等，表明自我对弈将成为未来强大 AI 系统的基础。
# 近端策略优化 来源: [https://openai.com/index/openai-baselines-ppo/](https://openai.com/index/openai-baselines-ppo/) OpenAI 我们推出了一类新的强化学习算法——近端策略优化（PPO），其性能与最先进的方法相当或更优，同时实现和调优都要简单得多。由于易用性和良好的性能，PPO 已成为 OpenAI 的默认强化学习算法。[策略梯度