使用动作相关分解基线的策略梯度方差缩减

# 带有动作相关因子化基线的策略梯度的方差缩减 来源: https://openai.com/index/variance-reduction-for-policy-gradient-with-action-dependent-factorized-baselines/ OpenAI ## 摘要 策略梯度方法在深度强化学习中取得了巨大成功，但梯度估计的方差很高。在长时间视界或高维动作空间的问题中，高方差问题尤为严重。为了缓解这个问题，我们推导了一个无偏的动作相关基线，用于方差缩减，它充分利用了随机策略本身的结构形式，不对马尔可夫决策过程（MDP）做任何额外假设。我们通过理论分析和数值结果演示并量化了动作相关基线的优势，包括对最优状态相关基线次优性的分析。结果是一个计算效率高的策略梯度算法，可扩展到高维控制问题，正如一个综合的2000维目标匹配任务所展示的那样。我们的实验结果表明，动作相关基线可以在标准强化学习基准测试以及高维手部操纵和综合任务上实现更快的学习。最后，我们证明了在基线中包含额外信息以改进方差缩减的一般想法可以扩展到部分可观测和多智能体任务。