深度强化学习中的安全探索基准测试

# 深度强化学习中的安全探索基准测试 来源：https://openai.com/index/benchmarking-safe-exploration-in-deep-reinforcement-learning/ ## 摘要 强化学习（RL）智能体需要探索其环境，以便通过试错学习最优策略。在许多环境中，安全是一个关键问题，某些错误是不可接受的：例如，与人类互动的机器人系统在探索时绝不应该伤害人类。虽然目前通常在模拟中训练 RL 智能体，安全问题最少，但我们预计模拟现实世界复杂性的挑战（如人工智能与人类的互动）将导致转向直接在现实世界中训练 RL 智能体，其中安全问题至关重要。因此，我们认为安全探索应该被视为 RL 研究的关键重点领域，在这项工作中我们做出三项贡献来推进安全探索的研究。首先，基于关于安全强化学习的广泛前期工作，我们提议将约束 RL 标准化为安全探索的主要形式化方法。其次，我们提出了 Safety Gym 基准套件，这是一套新的高维连续控制环境，用于衡量约束 RL 研究的进展。最后，我们在 Safety Gym 环境上对多个约束深度 RL 算法进行基准测试，建立未来工作可以基于的基线。