exploration

研究人员提出了 SPS（概率挤压引导），这是一种结合强化学习与逆强化学习的训练范式，旨在解决大语言模型推理训练中的概率挤压问题。该问题表现为概率质量过度集中于高奖励轨迹，导致探索空间受限及多样本性能（Pass@k）下降。在五个推理基准上的实验表明，该方法有效提升了模型的探索能力与 Pass@k 指标。

OpenAI 提出 POLO（在线规划，离线学习）框架，结合基于模型的控制、价值函数学习和协调探索，能够在人形机器人运动和灵巧手部操纵等复杂控制任务中实现高效学习，同时最小化真实世界经验需求。

OpenAI 推出随机网络蒸馏 (RND)，一种基于预测的方法，通过好奇心驱动强化学习智能体进行探索，无需演示或获取游戏状态信息就能在 Montezuma's Revenge 上达到人类水平的性能。

OpenAI研究人员引入了E-MAML和E-RL²两种元强化学习算法，旨在改进需要大量探索来发现最优策略的任务中的探索性能。该工作展示了这些算法在包括Krazy World和迷宫任务在内的新颖环境中的有效性。

OpenAI 提出了参数噪声技术，该方法向神经网络策略参数添加自适应噪声，而不是向动作空间添加噪声，使得智能体能够比传统动作噪声方法快得多地学习任务。该方法在 HalfCheetah 上实现了 2 倍的学习速度提升，代表了进化策略与 TRPO、DDPG 等深度强化学习方法之间的平衡点。

OpenAI提出了一种针对深度强化学习的新型探索策略，使用具有上置信界(UCB)的Q函数集合，在Atari基准上展现了显著的性能提升。

OpenAI研究人员展示了一种使用哈希码的简单计数型探索方法，在高维深度强化学习基准测试中可以达到近似最优性能，这挑战了计数型方法无法扩展到连续状态空间的传统假设。