策略梯度与软Q学习之间的等价性

# 策略梯度与软Q学习的等价性 来源: https://openai.com/index/equivalence-between-policy-gradients-and-soft-q-learning/ OpenAI ## 摘要 无模型强化学习的两大主流方法是策略梯度方法和Q学习方法。Q学习方法在有效时可以很好地工作，样本效率也很高，然而其工作原理还不够清楚，因为实证上它们估计的Q值往往非常不准确。一个可能的部分解释是Q学习方法实际上是在进行策略梯度更新：我们证明了在熵正则化强化学习的设定下，Q学习和策略梯度方法之间存在精确的等价性，即"软"（熵正则化）Q学习完全等价于一种策略梯度方法。我们还指出了Q学习方法与自然策略梯度方法之间的联系。在实验中，我们探索了Q学习和策略梯度的熵正则化版本，发现它们在Atari基准测试中的表现与标准变体一样好（或略好一些）。我们还通过构造一种Q学习方法来证明等价性在实际设定中成立，该方法在不使用目标网络或ε-贪心探索策略的情况下，能够紧密匹配A3C的学习动态。