从人类偏好中学习

# 从人类偏好中学习 Source: https://openai.com/index/learning-from-human-preferences/ 我们的 AI 智能体首先在环境中随机行动。定期地，会向人类展示两个视频片段，记录其行为，人类决定这两个片段中哪一个最接近完成其目标——在这个案例中，是后翻（backflip）。AI 通过找到最能解释人类判断的奖励函数，逐步建立任务目标的模型。然后它使用强化学习（RL）来学习如何实现该目标。随着行为的改进，它继续在最不确定哪个更好的轨迹对上请求人类反馈，进一步完善对目标的理解。 我们的方法展示了很有前景的样本效率——如前所述，后翻视频只需要不到 1000 比特的人类反馈。这耗时不到一个小时的人类评估员时间，而在后台，策略积累了大约 70 小时的总体经验（模拟速度远快于实时）。我们将继续致力于减少人类需要提供的反馈量。您可以在以下视频中看到训练过程的加速版本。