标签
本文提出了一种用于强化学习的性能驱动的状态抽象方法，直接优化决策质量，采用多时间尺度框架共同调整策略和树状结构抽象。该算法基于Q值差异细化或聚合状态空间，相比基线实现了更好的样本效率和更快的重新规划。
本文指出了代理劫持和时间不确定性是多时间尺度强化学习中的失败模式，并提出了一种目标解耦架构，该架构从Actor中移除路由，利用Critic进行辅助表征学习。该方法消除了LunarLander-v2基准上的策略崩溃，并稳定地超越了'环境已解决'阈值，而无需超参数劫持。