大规模好奇心驱动学习研究

# 大规模好奇心驱动学习研究 来源: https://openai.com/index/large-scale-study-of-curiosity-driven-learning/ OpenAI ## 摘要 强化学习算法依赖于精心设计的、外部于智能体的环境奖励。然而，为每个环境手动设计密集奖励并不可扩展，这促使我们需要开发智能体内部的奖励函数。好奇心是一种内部奖励函数，它使用预测误差作为奖励信号。在本论文中：(a) 我们在 54 个标准基准环境（包括 Atari 游戏套件）上进行了首次大规模纯好奇心驱动学习研究，即完全没有任何外部奖励。我们的结果显示出令人惊讶的良好表现，以及内部好奇心目标与许多游戏环境手动设计的外部奖励之间的高度一致性。(b) 我们调查了使用不同特征空间计算预测误差的效果，结果表明随机特征对于许多流行的强化学习游戏基准足够，但学习的特征似乎能更好地泛化（例如泛化到超级马里奥兄弟中的新游戏关卡）。(c) 我们演示了预测型奖励在随机设置中的局限性。游戏视频和代码位于 https://pathak22.github.io/large-scale-curiosity/。