生成对抗网络、逆强化学习和基于能量模型之间的联系

# 生成对抗网络、逆强化学习和基于能量模型之间的联系 来源：https://openai.com/index/a-connection-between-generative-adversarial-networks-inverse-reinforcement-learning-and-energy-based-models/ ## 摘要 生成对抗网络（GAN）是一类最近提出的生成模型，其中生成器被训练来优化一个由判别器同时学习的成本函数。虽然学习成本函数的想法在生成建模领域相对较新，但学习成本在控制和强化学习（RL）领域已被长期研究，通常用于从演示数据进行模仿学习。在这些领域中，学习观察行为背后的成本函数被称为逆强化学习（IRL）或逆最优控制。虽然乍看之下 RL 中的成本学习和生成建模中的成本学习之间的联系可能只是表面上的，但我们在本文中表明某些 IRL 方法实际上在数学上等价于 GAN。特别地，我们演示了最大熵 IRL 的样本采集算法与 GAN 之间的等价性，其中生成器的密度可以被评估，并作为额外输入提供给判别器。有趣的是，最大熵 IRL 是基于能量模型的特殊情况。我们讨论了将 GAN 解释为训练基于能量模型的算法的观点，并将这一解释与其他寻求连接 GAN 和 EBM 的最近工作相关联。通过正式突出 GAN、IRL 和 EBM 之间的联系，我们希望这三个社区中的研究人员能够更好地识别和应用可从一个领域转移到另一个领域的想法，特别是为了开发更稳定和可扩展的算法：这是所有三个领域面临的主要挑战。