通过选择性奖励刺激改进离线目标条件强化学习

# 通过选择性奖励刺激改进离线目标条件强化学习
来源: https://arxiv.org/html/2609.19414  
Jing ZHANG jzhanggy@connect\.ust\.hk

###### 摘要
目标条件强化学习旨在学习达到指定目标的策略，但在离线设置中，由于奖励稀疏和长程依赖性，这一任务仍然充满挑战。在这种设置下，目标完成信息可能与早期的成功决策在时间上相距甚远，而离线价值估计又引入了额外的误差。我们从奖励传播的视角研究了这个问题，并在一个简化的延迟目标设置中表明，目标导向的价值分离相对于局部估计误差可能会变得很小。基于此分析，我们提出了奖励刺激隐式Q学习，这是一种简单的非分层方法，它在离线轨迹中取得进展的中间状态引入额外的奖励信号。RSIQL使用一个辅助的目标条件价值函数来识别估计向目标取得进展的中间状态，并应用奖励刺激来提供延迟更少的训练监督。与分层方法不同，RSIQL不学习单独的高层子目标策略。在D4RL目标到达基准测试和OGBench上的实验表明，RSIQL平均上优于目标条件IQL，并且其性能与分层离线目标条件方法具有竞争力，同时保持了简单的扁平策略结构。

## 1 引言
目标条件强化学习旨在通过序贯决策学习达到指定目标的策略。许多实际问题可以自然地表述为这种形式，包括机器人操作、导航、自动驾驶和具身决策。在这些任务中，智能体不仅需要学习在当前状态下如何行动，还需要学习如何适应不同的期望目标。这使得目标条件强化学习成为多任务和长程控制的灵活框架。
目标条件强化学习的一个主要挑战是延迟的目标完成监督。在许多目标到达的表述中，非目标转换提供的任务特定信息很少，而信息性的奖励改进只发生在到达目标时。例如，在我们分析中使用的0/−1约定下，所有非目标转换获得相同的步长成本，目标完成则通过从−1到0的变化来体现。因此，学习必须从时间上延迟的目标完成信息中推断出哪些早期的行动对最终的成功做出了贡献。随着时程的增加，这种困难变得更加严重：远离目标的决策只能收到微弱且间接的反馈，即使它们对于最终的成功是必要的。
离线目标条件强化学习进一步放大了这一挑战。在离线设置中，智能体必须完全从固定数据集学习，而无需与环境进行额外的交互。这使得该问题在在线探索不安全、昂贵或不切实际的应用中具有吸引力。然而，它也引入了收集数据的行为策略与学习到的策略之间的分布偏移。因此，价值学习必须同时处理稀疏的长程监督和来自分布外动作的外推误差风险。
常见的策略是将长期目标条件问题分解为中间子目标。早期的目标条件方法通过通用价值函数近似将目标作为条件变量纳入价值函数，但这本身并不能解决长程奖励传播的困难。最近的离线GCRL方法通常依赖于分层强化学习，其中高层策略预测中间子目标，低层策略旨在到达这些子目标。这些方法利用短时程子目标，但仍然依赖于学习到的价值来训练或评估高层策略。最近，OTA将选项感知的时序抽象直接引入价值学习，更新时间扩展选项上的高层价值函数，以改进长期优势估计。因此，OTA改变了价值更新的时序尺度，同时保留了分层的高层子目标策略。我们的问题是互补的：在保留标准的一步贝尔曼更新和扁平原语策略的同时，能否增强训练信号本身？其他方法使用规划或基于图的抽象来识别中间状态，但在连续高维空间中构建和搜索这种结构可能很困难。这就引出了一个更简单的问题：中间结构能否在不学习显式分层策略的情况下改进长期离线目标条件学习？
在本文中，我们从奖励传播的视角回答了这个问题。在0/−1目标到达约定下，我们分析了延迟的目标完成信息如何在离线轨迹中反向传播，并在一个简化的延迟目标设置中表明，早期状态的有用价值分离相对于价值估计误差可能会变得很小。这一视角表明，改进离线目标条件学习的一种方法不一定是学习单独的子目标策略，而是加强离线数据中已存在的信息性中间状态的训练信号。基于这一观察，我们提出了奖励刺激隐式Q学习，这是一种用于离线目标条件强化学习的简单非分层方法。RSIQL首先使用一个辅助的目标条件价值函数来估计沿同一轨迹的未来状态是否代表朝向最终目标的进展。当识别出这样的状态时，RSIQL会引入额外的奖励刺激，从而提供延迟更少的训练信号。然后，使用IQL风格的离线RL目标，使用刺激后的奖励来训练策略和价值函数。与分层目标条件方法不同，RSIQL在测试时不训练高层策略来预测子目标。中间状态仅在训练期间用于为价值学习提供额外监督。这使得学习到的策略保持扁平，并避免了在部署期间显式的子目标生成。同时，奖励刺激使该方法能够从离线数据集中的中间轨迹结构中受益。我们在D4RL和OGBench目标条件基准测试上评估了RSIQL，包括稀疏奖励的运动、操作、基于状态和基于像素的任务。结果表明，RSIQL平均上优于目标条件IQL，并且在许多长期稀疏奖励任务上表现更佳，同时其性能与分层离线目标条件方法具有竞争力。这些发现表明，奖励刺激可以为长期离线目标条件强化学习中显式的子目标预测提供一种简单有效的替代方案。我们的主要贡献如下：
- • 我们从奖励传播的视角分析了离线目标条件强化学习。该分析确定了目标到达消息的依赖于时程的缩放，并在一个延迟目标设置中表明，有用的价值分离相对于局部价值估计误差可能会变得很小。
- • 我们提出了奖励刺激隐式Q学习，这是一种简单的扁平离线GCRL算法，在估计向最终目标取得进展的中间状态添加奖励刺激。
- • RSIQL为显式分层子目标预测提供了一种替代方案。它不学习高层策略，而是使用一个辅助的目标条件价值函数来识别取得进展的状态，并通过修改后的奖励来强化价值学习信号。
- • 我们在D4RL和OGBench目标条件基准测试上评估了RSIQL。结果表明，平均而言，它优于目标条件IQL，并且性能与分层离线GCRL基线具有竞争力，尤其是在几个长期稀疏奖励任务上。

本文其余部分的组织如下。第2节回顾了相关工作。第3节提供了背景。第4节提供了延迟目标完成监督和局部价值估计误差的机制级分析。第5节介绍了我们的方法。第6节报告了一系列基准测试上的实验结果。最后，第7节和第8节以贡献总结、局限性和更广泛的影响结束了本文。

## 2 相关工作
### 2.1 目标条件强化学习
目标条件强化学习研究如何学习达到指定目标的策略。与标准控制任务相比，目标条件任务通常更具挑战性，因为奖励通常是稀疏的，只有在达到目标时才会被观察到。这些挑战在多目标设置中变得更加突出，策略必须跨目标分布进行泛化。先前的工作从数据和算法两个角度来解决这些挑战。在数据层面，一个重要的工作方向使用目标重标记，通过将轨迹中观察到的状态作为替代目标来丰富稀疏监督。这一思想也被应用于离线设置，其中重标记直接应用于静态数据集，而无需进一步的环境交互。另一种常见的方法是奖励塑形，它基于到目标的距离或目标到达概率，用更密集的信号替换稀疏奖励。虽然这些方法可以显著改进学习，但设计有效的塑形信号仍然具有挑战性。
在算法层面，一种标准的表述是通过通用价值函数近似器将目标表示为价值函数中的额外条件。后续工作通过学习更丰富的状态-目标表示、潜在任务空间或基于模型的规划模块扩展了这一框架。