延迟校正的Bellman算子与约束强化学习在未知随机延迟下的收缩证明及因果归因 [R]

Reddit r/MachineLearning 论文
constrained-rl delayed-consequences causal-inference bellman-operator safe-rl research

摘要

介绍CCPL，一种在约束强化学习中处理延迟和随机后果的方法，使用延迟校正的Bellman算子和干预后果网络进行因果归因，并在未知延迟下提供收缩证明。

标准的约束强化学习假设后果是即时的并归因于当前动作。当违反是延迟和随机的时候，这在大多数现实世界设置中都会失效，最终你惩罚的是恰好在观察到的违反之前发生的动作，而不是导致违反的动作。 正在开发CCPL（因果后果惩罚学习）来解决这个问题： - 一个延迟校正的Bellman算子，使用从后果延迟分布中学习的自适应有效折扣。在未知随机延迟下收缩证明成立。 - 一个干预后果网络（ICN），在结构因果模型标签上预训练，估计每个动作的边际因果贡献用于归因，而不是基于时间接近性进行惩罚。 局限性，坦率地说： - ICN目前需要访问环境的结构因果模型来生成预训练标签，它不能仅从观测或干预数据中端到端学习。这在SCM已知或可以合理指定的基准设置之外是真正适用性的限制。 欢迎贡献和合作者，特别是如果你在约束/安全强化学习或因果推断领域工作，请随时提出问题或直接联系。
查看原文

相似文章

因果强化学习导论

arXiv cs.AI

本文介绍了因果强化学习（CRL），在结构因果模型框架下统一了因果推断和强化学习，并探讨了诸如广义策略学习和反事实学习等新颖的学习设置。