ppo

这篇论文在统一实验协议下，用统计方法系统比较了六种深度强化学习处理（PPO、A2C、DQN，各含/不含动作掩码）与传统启发式算法及随机对照在HPC作业调度上的表现，发现MaskablePPO在异构负载上优于对照，但多数情况下DRL并未显著超越动作掩码带来的收益。

该论文通过反事实干预可视化PPO智能体在Crafter环境中的价值函数，发现模型无关的RL算法在优化奖励的同时隐式学习了环境的世界模型，如物品收集规则和健康机制，并讨论了其安全与对齐含义。

VASPO 将自蒸馏教师与 PPO 中的 critic 结合，通过 token 级优势与有界概率比率改进推理训练，在六个数学推理基准上相比 PPO 显著提升 Qwen3-4B 与 OLMo3-7B 的准确率。

腾讯 ARC 的论文提出了 Player-1，一套面向游戏控制的后训练框架。该框架通过扩展动作空间、在 6,044 条游戏轨迹上进行监督微调（SFT）初始化，并利用 16 个可通过程序验证的合成环境进行近端策略优化（PPO）多环境强化学习，显著超越监督学习基线与现有最强基线。

该论文提出 Tracking-Value PPO（TPPO），通过在对数几率空间对前缀值进行贝叶斯分解，构建累积值参数化以更好地跟踪语言模型推理中的值演化。TPPO 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上分别比 PPO 提升 7.0 和 8.4 个数学推理分数点，并改善了分布外泛化能力。

一篇论文提出了MFPG-PPO，这是一种多保真策略梯度方法，利用低成本的低保真模拟器数据作为控制变量，在高保真真实数据稀缺时稳定on-policy强化学习。论文在模拟机器人运动任务以及实体Franka机械臂上验证了该方法的稳定性，在每次更新仅有4条真实轨迹的情况下仍能实现稳定学习。

本文提出将复值酉递归网络（uRNNs）作为递归 PPO 架构的即插即用替代方案，利用受量子态测量启发的保相位动力学来应对部分可观测性问题。作者报告称，在 rocksample 和 Craftax 等可通过记忆改进的任务上，其方法的奖励最高可达基线的 3 倍，代码已公开发布。

EasyPPO 通过仅使用演员的超长过滤和噪声归一化回归来解决评价器的不稳定性，从而稳定大型语言模型的近端策略优化，相比基线方法实现性能提升。

ClashRoyaleAi 是一个开源、确定性的 Clash Royale 模拟器，专为强化学习设计，具有前瞻搜索和专家迭代的 PPO 智能体，通过简单的前瞻技术展示了胜率的提升。

RefinePPO 引入迭代动作细化以改进连续控制策略，在基准任务中达到与标准PPO相当或更优的性能，并且收敛更快。

本文识别出价值平坦化是PPO评论家学习在LLMs中的一种失败模式，并引入SP3O，一种稀疏监督方法，来缓解它，实验中显示持续改进。

Jerry Tworek 讨论了将强化学习应用于扩展 AI 模型（如 o1）的技术见解和挑战，强调了简单性和多次运行等技术的重要性。

这篇文章阐述了强化学习的数学基础，推导了策略梯度、PPO和GRPO等算法，并探讨了这些算法通过RLHF和RLVR等技术在对齐大型语言模型中的应用。

DelveRL 是一款开源、回合制 roguelike 游戏，设计为训练游戏代理的基准，包括基于 Godot 的界面和一个用于研究和开发的循环 PPO 训练器。

本文提出了一种统一的黑箱强化学习框架，通过沙箱执行与轨迹重建，实现了代理在复杂工具链中稳定、可扩展的优化，并在ClawGym-Bench等基准测试中取得了性能提升。

本文提出了JUROR，一种基于强化学习的框架，在集中训练与分散执行的模式下，联合优化时延容忍网络中的无人机飞行路径和分散式机会路由。

介绍SP3O，一种新颖的无需奖励模型、无需评论家的基于梯度的偏好强化学习算法，利用片段级偏好，在机器人控制和LLM微调中展现出改进的性能，尤其是在长时程任务中。

在 Atari Breakout 上进行了 123 次失败的 PPO 实验后，添加一个简单的接近奖励来追踪球的下落，最终实现了反应式的、非脚本化的玩法，并且能够迁移到不熟悉的砖块布局上。

本文系统研究了面向小规模语言模型智能体（70-500M参数）的强化学习不稳定性问题，识别出三种失效模式，并提出了稳健技术，包括合并并重新初始化适配器方法及安全机制；该方法实现了稳定收敛并提升了胜率。

本文提出一种基于图的交通信号控制接口，使用共享图神经网络为各个交通流向分配分数，并通过关联矩阵确定性地构造相位。实验评估了在合成和城市道路网络上的迁移效果，结果表明可行性，但对分布偏移敏感。