标签
Jerry Tworek 讨论了将强化学习应用于扩展 AI 模型（如 o1）的技术见解和挑战，强调了简单性和多次运行等技术的重要性。
这篇文章阐述了强化学习的数学基础，推导了策略梯度、PPO和GRPO等算法，并探讨了这些算法通过RLHF和RLVR等技术在对齐大型语言模型中的应用。
DelveRL 是一款开源、回合制 roguelike 游戏，设计为训练游戏代理的基准，包括基于 Godot 的界面和一个用于研究和开发的循环 PPO 训练器。
本文提出了一种统一的黑箱强化学习框架，通过沙箱执行与轨迹重建，实现了代理在复杂工具链中稳定、可扩展的优化，并在ClawGym-Bench等基准测试中取得了性能提升。
本文提出了JUROR，一种基于强化学习的框架，在集中训练与分散执行的模式下，联合优化时延容忍网络中的无人机飞行路径和分散式机会路由。
介绍SP3O，一种新颖的无需奖励模型、无需评论家的基于梯度的偏好强化学习算法，利用片段级偏好，在机器人控制和LLM微调中展现出改进的性能，尤其是在长时程任务中。
在 Atari Breakout 上进行了 123 次失败的 PPO 实验后，添加一个简单的接近奖励来追踪球的下落，最终实现了反应式的、非脚本化的玩法，并且能够迁移到不熟悉的砖块布局上。
本文系统研究了面向小规模语言模型智能体（70-500M参数）的强化学习不稳定性问题，识别出三种失效模式，并提出了稳健技术，包括合并并重新初始化适配器方法及安全机制；该方法实现了稳定收敛并提升了胜率。
本文提出一种基于图的交通信号控制接口，使用共享图神经网络为各个交通流向分配分数，并通过关联矩阵确定性地构造相位。实验评估了在合成和城市道路网络上的迁移效果，结果表明可行性，但对分布偏移敏感。
本文系统性地研究了使用PPO对小型语言模型（7000万至5亿参数）进行强化学习时的失败模式，识别出静默LoRA参数冻结、数值溢出和灾难性策略崩溃等问题，并提出了一种鲁棒系统，采用合并并重新初始化适配器、float32精度和安全机制。该方法收敛稳定，且使用更少的数据即超越基线。
PPO-HSC引入了一种高阶采样覆盖奖励，以鼓励在LLM的强化学习微调中探索多样化的推理模式，从而在数学和代码任务上提升解决方案的多样性和状态空间覆盖。
本文介绍了CARE-PPO，一种将置信度估计与PPO微调相结合的强化学习框架，用于基于语言的定量预测，使模型能够同时产生准确的数值估计和可靠的置信度信号，并在医疗和金融任务中进行了展示。
安全探索者（SafeExplorer）引入了一种用于带有恢复干预的强化学习的无偏策略梯度估计器，在机器人任务上显著减少了训练期间的跌倒次数，同时达到或超过了标准PPO的最终奖励。
提出用于LLM强化学习的预测性散度掩码，通过预测下一步策略梯度步骤将增加还是减少信任区域所使用的散度，改进了PPO的方向准则，从而带来更好的对齐，并提升了不同模型规模下的强化学习训练效果。
解释RLHF/PPO中的token级别拒绝采样，其中重要性比率M_t是词汇表上的最大值，token根据w_t / M_t进行伯努利采样接受。
本文介绍了一种在强化学习智能体中诱导七种心理障碍的可控剂量方法，通过操作基于评估引导的PPO智能体中的认知评估信号。这些障碍自组织成一个二维情感空间，该框架可对障碍诱导和治疗进行建模。
本文提出了一种基于近端策略优化（PPO）的深度强化学习框架，用于仓库中自主移动机器人的动态电池充电，与基线方法相比，最高可实现6%的订单完成率提升。
本文引入频谱有效秩熵作为度量指标，用于在演员-评论家强化学习中测量和控制评论家复杂性，并在TD3和PPO实验中证明了其可测量性和可控性。