学习层级结构

# 学习层次结构 来源：https://openai.com/index/learning-a-hierarchy/ 人类通过将复杂挑战分解成小的、可管理的组件来解决问题。煎pancakes 由一系列高级行动组成，例如称量面粉、打鸡蛋、将混合物转移到平底锅、打开炉灶等等。人类能够通过将这些已学会的组件按顺序组合在一起来快速学习新任务，即使该任务可能需要数百万个低级行动，即单个肌肉收缩。 相比之下，当今的强化学习方法通过对低级行动的蛮力搜索来运作，需要大量的尝试才能解决新任务。这些方法在解决需要大量时间步长的任务时效率非常低。 我们的解决方案基于分层强化学习的思想，其中智能体将复杂的行为表示为短序列的高级行动。这使我们的智能体能够解决更难的任务：虽然解决方案可能需要 2000 个低级行动，但分层策略将其转化为 10 个高级行动的序列，搜索 10 步序列比搜索 2000 步序列要高效得多。