用于分层强化学习的随机神经网络

# 用于分层强化学习的随机神经网络 来源: https://openai.com/index/stochastic-neural-networks-for-hierarchical-reinforcement-learning/ OpenAI ## 摘要 深度强化学习近年来取得了许多令人印象深刻的成果。然而，稀疏奖励或长期视野的任务仍然构成重大挑战。为了解决这些重要问题，我们提出了一个通用框架，该框架首先在预训练环境中学习有用的技能，然后利用所获得的技能在下游任务中更快地学习。我们的方法结合了内在动机和分层方法的一些优势：有用技能的学习由单个代理奖励指导，其设计仅需要关于下游任务的最少领域知识。随后在这些技能基础上训练高级策略，显著改善了探索能力，使得能够处理下游任务中的稀疏奖励问题。为了高效地预训练大范围的技能，我们使用了随机神经网络结合信息论正则化器。我们的实验表明，这种组合在以样本高效的方式学习大范围可解释技能方面是有效的，并且可以在各种下游任务中显著提升学习性能。