ACSAC：基于因果 Transformer Q 网络的自适应 Chunk Size Actor-Critic 方法

# ACSAC：带有因果 Transformer Q 网络的可自适应块大小 Actor-Critic

来源：https://arxiv.org/html/2605.11009
Qian Chen$^{1}$ Junqiao Zhao$^{1}$ Hongtu Zhou$^{1}$ Hang Yu$^{1}$ Yanping Zhao$^{1}$ Chen Ye$^{1}$ Guang Chen$^{1}$
$^{1}$ 同济大学

###### 摘要

长视界、稀疏奖励任务对强化学习构成了根本性挑战，因为单步时序差分（TD）学习会在连续的贝尔曼更新中遭受自举误差的累积。具有动作分块（action chunking）的 Actor-Critic 方法通过在时间上扩展的动作上操作来解决这一问题，这减少了有效视界，实现了快速的价值备份，并支持时间一致性的探索。然而，现有方法依赖于固定的块大小，因此无法自适应地在响应性（reactivity）与时间一致性之间取得平衡。过大的固定块大小会降低对新观测值的响应能力，而过小的块大小则会产生不连贯的运动，迫使针对特定任务调整块大小。为了克服这一局限，我们提出了**自适应块大小 Actor-Critic**（Adaptive Chunk Size Actor-Critic, ACSAC）。ACSAC 利用因果 Transformer 评论家（critic）来评估不同大小动作块的预期回报。在每个块边界处，它自适应地选择最大化预期回报的块大小，从而支持灵活的、依赖于状态的块大小，而无需针对特定任务进行调参。我们证明了 ACSAC 的贝尔曼算子是一个收缩映射，其唯一的不动点是自适应策略的动作-价值函数。在 OGBench 上的实验表明，ACSAC 在离线强化学习和离线到在线（offline-to-online）强化学习设置下的长视界、稀疏奖励操作任务中均达到了最先进的性能。

## 1 引言

离线强化学习（RL）从之前收集的数据集中训练策略，无需与环境交互 [LevineSurvey]，而离线到在线（offline-to-online）设置则通过额外的在线交互进一步微调离线预训练的策略 [AWAC]。然而，在长视界、稀疏奖励任务中，单步时序差分（TD）学习会遭受自举误差的累积，因为每次更新都回归到 Q 网络自身对下一状态的估计，且微小的错误会在许多递归的贝尔曼更新中叠加 [SHARSA]。一种常见的补救措施是使用多步回报，通过将回归目标推向更远的未来以加速价值传播，但这引入了策略外偏差（off-policy bias），因为中间奖励是在行为策略而非当前策略下收集的 [TOP-ERL,QC]。动作分块作为一种近期且有效的回应应运而生，以解决这些局限。

动作分块在动作序列而非单个动作上训练评论家和策略，这使得无需产生策略外偏差即可实现多步价值备份，因为评论家以整个序列为条件 [QC]。除了这些评论家侧的好处外，预测完整的动作序列还能产生时间上连贯的行为，捕捉数据中的非马尔可夫模式，并改善稀疏奖励设置下的探索 [ACT,QC]。然而，现有的动作分块 Actor-Critic 方法依赖于固定的块大小，需要针对每个任务手动调整，并在所有状态下共享 [QC,DQC,MAC,DEAS]。但是，响应性与时间一致性之间的最佳平衡本身是依赖于状态的 [DQC,AAC]。稳定阶段允许较长的开环块，而敏感状态则需要频繁的重规划。在此类状态下过度承诺长块可能会将智能体引离通往目标的路径（图 1 (https://arxiv.org/html/2605.11009#S1.F1)）[DQC,AAC]。

> **图 1：自适应动作块大小的动机。**
> (A) 单步执行通过在每一步重规划来保持细粒度的响应性，但遭受缓慢的价值备份并产生不连贯的运动。
> (B) 固定的块大小改善了运动连贯性并加速了价值传播，但其开环执行降低了块内的响应性。在转弯等敏感状态下，这种对长块的过度承诺可能会将智能体引离通往目标的路径，从而降低回报。
> (C) ACSAC 通过感知回报的块大小选择，为每个状态自适应地选择执行视界，在直路上执行较长的块，在转弯附近执行较短的块，实现了响应性与连贯性之间的平衡。

为了克服这一局限，我们提出了 **AdaptiveChunkSizeActor-Critic (ACSAC)**，它自适应地选择块大小以最大化评论家的价值估计。在每个重规划状态，ACSAC 从一个具有表达力的 Flow BC 策略中采样多个长度为 $H$ 的候选动作块。跨视界校准的**因果 Transformer 评论家**评估每个候选者的每个*前缀*（即块的前 $h$ 个动作，$h=1,\ldots,H$）的 Q 值。然后，ACSAC 在候选索引和前缀长度上联合应用拒绝采样，执行价值最高的前缀，并在下一个块边界处重新规划。因此，ACSAC 保留了动作分块的多步价值备份和连贯探索能力，同时块大小变为依赖于状态而非固定，在每个状态下自适应地平衡响应性和时间一致性。

我们的贡献总结如下：
1) 我们提出了 ACSAC，一种动作分块 Actor-Critic，它使用因果 Transformer 评论家以及在候选索引和前缀长度上的联合拒绝采样，为每个状态自适应地选择块大小。
2) 我们证明了 ACSAC 的前缀条件 Q 值是跨视界可比的，并且其贝尔曼算子是一个收缩映射，其唯一的不动点是自适应策略的动作-价值函数。
3) 在来自 OGBench [OGBench] 的长视界、稀疏奖励操作任务中，ACSAC 在离线和离线到在线设置下均优于单步、多步和固定块大小的基线方法。

## 2 相关工作

**离线 RL 与离线到在线 RL。** 离线 RL 旨在从固定数据集中学习策略，无需与环境交互 [LevineSurvey]。主要挑战在于行为策略与学习到的策略之间的分布偏移，这可能导致价值高估和次优性能 [TD3+BC,ReBRAC]。最近，基于扩散和流匹配（flow matching）的表达力生成策略 [DDPM,FM] 因其相较于高斯策略更强的表达能力而被广泛采用。这些生成策略常见的策略提取策略包括重参数化梯度 [DQL,CAC,FQL]、加权回归 [QGPO,EDP,QVPO,QIPO] 和拒绝采样 [SfBC,IDQL,AlignIQL]。在离线到在线设置中，离线预训练的策略通过在线交互进一步微调 [AWAC]，相关技术包括平衡采样 [Off2On]、高更新数据比 [RLPD]、价值校准 [CalQL] 等 [Hybrid,ACA,EDIS,WSRL]。我们的方法在离线和在线训练中使用相同的算法，仅仅是在离线数据集中添加在线转换，并不采用上述任何专门的技术。

**动作分块。** 动作分块起源于模仿学习，其中策略以开环方式预测并执行一系列动作，提高了鲁棒性并捕捉非马尔可夫行为 [ACT,DP]。近期的 RL 方法将动作分块引入 Actor-Critic 框架，其中评论家评估整个动作块，并实现无策略外偏差的多步备份。在有专家演示的在线设置中，CQN-AS [CQN-AS] 在动作块上学习多级分解评论家，AC3 [AC3] 基于 DDPG 风格的框架预测连续的动作块。在离线或离线到在线设置中，Q-chunking [QC] 在动作块级别运行 RL，结合 Flow BC 策略和拒绝采样。DQC [DQC] 将策略块大小与评论家块大小解耦，策略预测较短的动作块，同时保留分块评论家的价值学习益处。MAC [MAC] 将动作块动态模型与来自表达力 Flow BC 策略的拒绝采样相结合。DEAS [DEAS] 利用动作序列训练评论家，采用分离的价值学习和分类损失。CGQ [CGQ] 将单步评论家正则化趋向于分块评论家。上述所有 RL 方法都依赖于在所有状态和任务中使用固定的块大小。然而，最佳块大小可能因状态而异，任何固定的选择都强制在响应性和时间一致性之间进行单一的权衡。我们的方法将由评论家价值估计驱动的自适应、依赖于状态的块大小选择引入 RL。

**基于 Transformer 的 Q 网络。** Transformer 已成为 RL 中 Q 网络的强大骨干网络。Q-Transformer [QT] 将 Q 函数估计转化为离散 token 序列建模问题，通过逐维度离散化，将每个动作维度视为自回归 Q 值预测的独立时间步。TQL [TQL] 通过逐层控制注意力熵来防止注意力崩溃，从而扩展 Transformer Q 学习。虽然 Q-Transformer 和 TQL 将 Transformer 应用于单动作 Q 网络，但近期工作转而直接在动作块上训练 Transformer 评论家以进行直接的多步价值评估。TOP-ERL [TOP-ERL] 在episodic RL 中引入因果 Transformer 评论家，策略通过运动基元输出完整轨迹。T-SAC [T-SAC] 将类似的因果 Transformer 评论家适应于基于步骤的 RL，评论家以短轨迹片段为条件，而 actor 保持单步。SEAR [SEAR] 将因果 Transformer 评论家与多视界目标和数据采集期间的随机重规划相结合。CO-RFT [CO-RFT] 应用因果 Transformer 评论家通过离线 RL 微调视觉-语言-动作模型。这些方法中没有任何一种根据状态自适应块大小。我们的方法也采用了因果 Transformer 评论家，但独特地利用其在所有前缀长度下的前缀条件输出来支持训练和推理过程中的依赖于状态的块大小选择。

## 3 预备知识

**问题形式化。** 我们考虑一个无限视界马尔可夫决策过程（MDP）$\mathcal{M}=(\mathcal{S},\mathcal{A},T,r,\rho,\gamma)$，其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}\subseteq\mathbb{R}^d$ 是维度为 $d$ 的连续动作空间，$T(s'|s,a):\mathcal{S}\times\mathcal{A}\to\Delta(\mathcal{S})$ 是转移动态分布，$r(s,a):\mathcal{S}\times\mathcal{A}\to\mathbb{R}$ 是奖励函数，$\rho\in\Delta(\mathcal{S})$ 是初始状态分布，$\gamma\in[0,1)$ 是折扣因子。这里 $\Delta(\mathcal{X})$ 表示空间 $\mathcal{X}$ 上的概率分布集合。我们假设可以访问一个由从 $\mathcal{M}$ 收集的转换 rollout $\{(s,a,s',r)\}$ 组成的先前离线数据集 $\mathcal{D}$。目标是找到一个策略 $\pi(a|s):\mathcal{S}\to\Delta(\mathcal{A})$，以最大化期望折扣回报 $J(\pi):=\mathbb{E}_{s_{t+1}\sim T(s_t,a_t),a_t\sim\pi(\cdot|s_t)}[\sum_{t=0}^{\infty}\gamma^tr(s_t,a_t)]$。在*离线*设置中，策略完全从固定数据集 $\mathcal{D}$ 中学习，无需环境交互；在*离线到在线*设置中，离线预训练的策略通过在线交互进一步微调。

**基于块的强化学习。** 标准的基于 TD 的方法通过最小化单步贝尔曼误差来学习状态-动作价值函数 $Q_\phi(s,a)$：

$$ \mathcal{L}^{\text{TD}}(\phi)=\mathbb{E}_{(s_t,a_t,r_t,s_{t+1})\sim\mathcal{D},\,a_{t+1}\sim\pi(\cdot|s_{t+1})}[\left(Q_\phi(s_t,a_t)-r_t-\gamma Q_{\bar{\phi}}(s_{t+1},a_{t+1})\right)^2], \tag{1} $$

其中 $Q_{\bar{\phi}}$ 是具有延迟参数 $\bar{\phi}$ 的目标网络。每次单步备份仅将价值向后传播一步，这减缓了长视界任务中的学习速度。一种常见策略是多步回报，它用 $\sum_{\tau=0}^{n-1}\gamma^\tau r_{t+\tau}+\gamma^n Q_{\bar{\phi}}(s_{t+n},a_{t+n})$ 替换单步目标，对于某个视界 $n\geq 1$，允许价值传播实现 $n$ 倍加速。然而，多步回报引入了策略外偏差，因为来自回放缓冲区的折扣奖励总和可能无法反映当前策略下的期望奖励，特别是当中间动作 $a_{t+1},\ldots,a_{t+n-1}$ 由不同策略选择时 [TOP-ERL,QC]。

动作分块通过扩展 RL 到动作序列，在无需策略外偏差的情况下实现了多步回报的价值传播加速。始于时间 $t$ 的长度为 $H$ 的动作块定义为 $a_{t:t+H}:=(a_t,a_{t+1},\ldots,a_{t+H-1})\in\mathcal{A}^H$，相应的 $H$ 步折扣奖励为 $r_t^H:=\sum_{\tau=0}^{H-1}\gamma^\tau r_{t+\tau}$。分块评论家 $Q_\phi(s_t,a_{t:t+H})$ 通过以下方式训练：

$$ \mathcal{L}^{\text{chunk}}(\phi)=\mathbb{E}_{(s_t,a_{t:t+H},r_t^H,s_{t+H})\sim\mathcal{D}}[\left(Q_\phi(s_t,a_{t:t+H})-r_t^H-\gamma^H Q_{\bar{\phi}}(s_{t+H},a_{t+H:t+2H})\right)^2], \tag{2} $$

其中 $a_{t+H:t+2H}\sim\pi(\cdot|s_{t+H})$。关键的是，与多步回报中单动作评论家 $Q(s_t,a_t)$ 使用可能由策略外动作生成的奖励进行备份不同，分块评论家 $Q(s_t,a_{t:t+H})$ 以获取多步奖励 $r_t^H$ 所使用的确切动作序列为条件，从而消除了策略外偏差 [QC]。

**Flow 策略。** Flow matching [FM,ReFlow,InterFlow] 是一种生成建模技术，它训练一个速度场将噪声分布转换为目标数据分布。给定目标分布 $p(x)\in\Delta(\mathbb{R}^d)$，flow matching 拟合一个时间依赖的速度场 $v_\theta(u,x):[0,1]\times\mathbb{R}^d\to\mathbb{R}^d$，其对应的流 $\psi_\theta(u,x)$ 由常微分方程 $\frac{d}{du}\psi_\theta(u,x)=v_\theta(u,\psi_\theta(u,x))$ 定义，在 $u=0$ 时将 $\mathcal{N}(0,I_d)$ 转换为 $u=1$ 时的 $p(x)$，通过最小化：

$$ \mathcal{L}(\theta)=\mathbb{E}_{\begin{subarray}{c}x_0\sim\mathcal{N}(0,I_d),\,x_1\sim p(x),\,u\sim\mathrm{Unif}([0,1]),\,x_u=(1-u)x_0+ux_1\end{subarray}}[\|v_\theta(u,x_u)-(x_1-x_0)\|_2^2], \tag{3} $$

其中 $x_u:=(1-u)x_0+ux_1$ 是 $x_0$ 和 $x_1$ 之间的线性插值。为了将 flow matching 用于策略学习，我们训练一个以状态为条件的速度场 $v_\theta(u,s,a_z