标签
VPFlow 认为，离线规划真正需要的是价值预测而非精确的状态预测：其在闭式蒙特卡洛回报上训练隐空间世界模型，并通过一步流策略在噪声空间中利用进化搜索进行规划。在状态与像素 OGBench 基准上，它分别以 30.3 和 10.1 个百分点的优势超越无模型基线，同时优于 TD-MPC2 等隐空间规划方法。
论文提出 World-Model Policy Arbiter (WMPA)，一个测试时框架，通过在学习到的世界模型中推演多个冻结的目标条件策略并用共享价值函数进行评分，在 OGBench 上将宏平均成功率从 44% 提升至 58%。
论文提出了 Generalized Implicit Temporal Abstraction（GITA），这是一种用于离线目标条件强化学习的方法，在多个时间抽象尺度上训练单个 k 条件价值函数，从而解决了长程价值信号与局部分辨率之间的权衡问题。GITA 在 OGBench 上超越了 HIQL 和 OTA 等离线 GCRL 基线方法，相比 HIQL 将平均成功率提升了 25 个百分点。
该论文提出了RSIQL，一种非层次化的离线目标条件强化学习方法，通过使用选择性奖励刺激来提升在D4RL等基准测试上的性能。
PathBridger提出了一种分层离线目标条件强化学习方法，该方法通过逆动力学建模显式地将子目标选择与短期执行连接起来，在基准任务上实现了强大性能。
本文介绍了安全对比强化学习（Safe-CRL），以解决失败终止条件下目标条件策略学习中的高估偏差问题，利用一位失败信号来提升机器人导航和运动任务的安全性和性能。
本文提出NFTR，一种用于离线目标条件强化学习的方法，该方法使用归一化流作为子目标策略，并采用三角松弛重新加权以解决层次隐式Q学习中的乐观偏差和模式坍缩问题。