Warp RL: 重塑基础策略分布以适应动力学变化

# Warp RL：重塑基础策略分布以实现动力学自适应
来源：https://arxiv.org/html/2606.31043
Ethan Hirschowitz 悉尼大学，澳大利亚 ehir9923@uni\.sydney\.edu\.au &Fabio Ramos 悉尼大学，澳大利亚 NVIDIA，美国 fabio\.ramos@sydney\.edu\.au

###### 摘要

残差强化学习通过学习一个加性修正来调整预训练机器人策略的动作输出，从而实现对策略的自适应。虽然当自适应仅仅需要平移基础策略的动作分布时，加性修正效果有效，但它无法改变分布的形态、尺度或状态依赖的几何结构——我们将这些限制形式化为：错误的方差、校准不当的置信度和非均匀修正。我们表明，在动力学偏移下这些限制会产生实质影响：当基础分布的几何结构与偏移后的系统不匹配时，残差修正的性能甚至可能低于未自适应的基础策略。我们提出Warp RL，一种策略自适应方法，它用对基础策略动作分布的可逆、状态条件变换来替代加性残差。通过单调有理二次样条流[9 (https://arxiv.org/html/2606.31043#bib.bib33)]实例化，Warp RL 保持恒等初始化，严格泛化了加性残差修正，并暴露了一个适用于策略梯度优化和无梯度优化的结构化自适应空间。在多种带有受控动力学偏移的 ManiSkill3 操作任务中，当平移足够时，Warp RL 与残差修正性能相当；而当自适应需要重塑分布时，Warp RL 大幅优于残差修正。我们进一步证明，在离策略 sim-to-real 流水线中，变形可以替代加性修正，在真实机器人插销插入任务中，达到与残差修正相当的成功率，同时任务完成时间中位数缩短 30%。

> 关键词：强化学习，策略自适应，归一化流，Sim-to-Real 迁移

## 1 引言

残差 RLa=z\+δθ\(s\)a=z\+\\delta\_\{\\theta\}\(s\)动作空间基础π\\pi平移π\\pi相同形状，平移均值Warp RLa=Tθ\(z,s\)a=T\_\{\\theta\}\(z,\\,s\)动作空间基础π\\pi变形π\\pi重塑：尺度、偏斜和平移残差 RL⊂\\subsetWarp RL

图 1：残差 RL 是 Warp RL 的一个特例：加性修正平移基础策略分布，而一般恒等初始化的变形还可以重塑其位置、尺度、偏斜和几何结构。

在一个环境中训练的机器人策略在部署到不同条件下时通常会性能下降。物体质量、接触属性、执行器响应或未建模的真实世界效应的变化，即使任务本身不变，也可能导致一个训练良好的策略变得不可靠。从头开始重新训练会丢弃已学到的有用行为，并且在真实硬件上可能不切实际。一种常见的替代方案是*残差强化学习*：冻结基础策略并在其之上学习一个轻量级修正[15 (https://arxiv.org/html/2606.31043#bib.bib32),25 (https://arxiv.org/html/2606.31043#bib.bib31),4 (https://arxiv.org/html/2606.31043#bib.bib30),3 (https://arxiv.org/html/2606.31043#bib.bib29),12 (https://arxiv.org/html/2606.31043#bib.bib35)]。给定一个基础策略动作 z∼πbase\(⋅∣s\)z\\sim\\pi\_\{\\text\{base\}\}\(\\cdot\\mid s\)，残差策略学习一个状态依赖的偏移并执行 a=z\+δθ\(s\)a=z\+\\delta\_\{\\theta\}\(s\)。这简单、稳定，并且通过将 δ\\delta 设置为接近零自然地实现了恒等初始化。

然而，加性公式施加了一个结构约束：它可以平移基础动作分布，但不能改变其几何结构。如果基础策略是高斯分布，残差会平移均值，同时保持方差和形状不变。某些动力学偏移可以通过平移很好地处理——策略可能需要更用力推动或以一致方向偏置其指令。但当基础策略过于不确定、在错误区域过度自信、或者校准误差依赖于采样的动作本身时，对每个样本应用相同的偏移是不够的。我们通过实验证明，在这种偏移下，残差修正可能停滞甚至性能下降到低于未自适应的基础策略。

我们提出Warp RL，一种策略修正框架，它将加性残差修正替换为对基础策略样本的可逆、状态条件变换。我们不执行 z\+δθ\(s\)z\+\\delta\_\{\\theta\}\(s\)，而是执行

a=Tθ\(z,s\),z∼πbase\(⋅∣s\),a=T\_\{\\theta\}\(z,s\),\\qquad z\\sim\\pi\_\{\\text\{base\}\}\(\\cdot\\mid s\),\(1\)其中 Tθ\(⋅,s\)T\_\{\\theta\}\(\\cdot,s\) 初始化为恒等映射。这保留了残差学习的优点——自适应从预训练策略开始，只修改一个紧凑的修正模块——但与加性残差不同，可逆变形可以重塑动作分布的尺度和非线性几何结构。加性残差 RL 被恢复为 TθT\_\{\\theta\} 是纯平移的特殊情况（图1 (https://arxiv.org/html/2606.31043#S1.F1)）。

我们将变形实例化为一个状态条件有理二次样条流[9 (https://arxiv.org/html/2606.31043#bib.bib33)]，它提供了单调性、解析可逆性和精确的恒等初始化，并且可以通过策略梯度方法或进化策略进行训练。我们的贡献是：

1. 1.我们将加性残差 RL 形式化为一个平移算子，并确定了其在动力学偏移下的三种结构失效模式。因此，我们引入了 Warp RL，一种严格泛化加性残差的可逆、状态条件修正，并通过与策略梯度和无梯度训练兼容的恒等初始化 RQ 样条流进行实例化。
2. 2.我们在四个操作任务上证明，当残差修正停滞或性能下降时，Warp RL 能够恢复性能，其中 Warp-ES 在每个任务上都优于所有基线，并且消融实验证实其性能提升依赖于结构化的样条参数化，而不仅仅是优化器本身。
3. 3.我们展示了 Warp RL 可以集成到离策略 sim-to-real 流水线中，在达到与残差修正相当成功率的同時，将真实机器人插销插入任务的周期时间中位数减少 30%。

## 2 相关工作

#### 残差强化学习。

早期的残差方法[15 (https://arxiv.org/html/2606.31043#bib.bib32),25 (https://arxiv.org/html/2606.31043#bib.bib31)]通过学习的加性修正来增强经典控制器，用于接触丰富的操作。相同的原理随后被应用于行为克隆策略[4 (https://arxiv.org/html/2606.31043#bib.bib30),3 (https://arxiv.org/html/2606.31043#bib.bib29)]、带有 RLPD 的 sim-to-real 流水线[12 (https://arxiv.org/html/2606.31043#bib.bib35)]，以及带有基于不确定性的探索的随机基础策略[8 (https://arxiv.org/html/2606.31043#bib.bib7)]。尽管在基础策略类型和训练算法上存在差异，这些方法都共享一个加性修正公式。本文表明，这个共享公式是一个结构性限制，并提出了一种替代方案，将平移作为其特例。

#### 强化学习中的归一化流。

归一化流通过具有可处理密度的可逆映射来变换简单分布[19 (https://arxiv.org/html/2606.31043#bib.bib28),16 (https://arxiv.org/html/2606.31043#bib.bib14)]。在强化学习中，流已被用作策略类以实现改进的探索[29 (https://arxiv.org/html/2606.31043#bib.bib23)]、受约束的动作生成[22 (https://arxiv.org/html/2606.31043#bib.bib13)]，以及在模仿学习和离线设置中取得具有竞争力的性能[11 (https://arxiv.org/html/2606.31043#bib.bib22)]。有理二次样条流[9 (https://arxiv.org/html/2606.31043#bib.bib33)]提供了元素级别的单调双射和解析逆。我们的工作不同之处在于，将流应用在*冻结的基础策略之上*作为一种修正机制，而不是将流本身作为策略进行训练。

#### Sim-to-real 迁移和在线自适应。

域随机化在源域训练期间预期部署变化[28 (https://arxiv.org/html/2606.31043#bib.bib20),21 (https://arxiv.org/html/2606.31043#bib.bib19)]。其他方法将自适应性构建到策略本身中：元学习优化以实现基于梯度的快速自适应[10 (https://arxiv.org/html/2606.31043#bib.bib1)]，而系统辨识根据估计或潜在的动力学参数对策略进行条件化[30 (https://arxiv.org/html/2606.31043#bib.bib3),17 (https://arxiv.org/html/2606.31043#bib.bib4)]。这些方法要求源域训练预见到自适应。相比之下，事后修正方法保持任意冻结的基础，并在其之上训练一个紧凑的模块。RLPD[5 (https://arxiv.org/html/2606.31043#bib.bib34)]为真实世界的微调提供了一个高效的基底，SPARR[12 (https://arxiv.org/html/2606.31043#bib.bib35)]在 sim-to-real 装配流水线中使用加性残差展示了这一点。Warp RL 属于这一类——类似于冻结基础模型上的参数高效适配器[14 (https://arxiv.org/html/2606.31043#bib.bib2)]——并且我们展示了它在这样的流水线中可以作为加性修正的即插即用替代品。

## 3 预备知识

### 3.1 残差 RL 作为一种平移算子

残差强化学习通过训练一个修正 δθ\(s\)\\delta\_\{\\theta\}\(s\) 来改进冻结的基础策略 πbase\\pi\_\{\\text\{base\}\}，使得执行的动作是 a=z\+δθ\(s\)a=z\+\\delta\_\{\\theta\}\(s\)，其中 z∼πbase\(⋅∣s\)z\\sim\\pi\_\{\\text\{base\}\}\(\\cdot\\mid s\)。对于高斯基础策略，z∼N\(μbase\(s\),σbase\(s\)\)z\\sim\\mathcal\{N\}\(\\mu\_\{\\text\{base\}\}\(s\),\\sigma\_\{\\text\{base\}\}\(s\)\)，得到的分布为：

πresidual\(a∣s\)=N\(μbase\(s\)\+δθ\(s\),σbase\(s\)\)。\\pi\_\{\\text\{residual\}\}\(a\\mid s\)=\\mathcal\{N\}\\big\(\\mu\_\{\\text\{base\}\}\(s\)\+\\delta\_\{\\theta\}\(s\),\\;\\sigma\_\{\\text\{base\}\}\(s\)\\big\)。\(2\)均值移动了一个状态依赖的偏移，但 Var\[πresidual\(⋅∣s\)\]=σbase2\(s\)\\text\{Var\}\[\\pi\_\{\\text\{residual\}\}\(\\cdot\\mid s\)\]=\\sigma\_\{\\text\{base\}\}^\{2\}\(s\)——方差、形状和模态数量不变。加法是作用在动作分布上的一个*平移算子*：它重新定位而不改变几何结构。平移可以修正系统性偏差和校准偏移，但它不能扩大一个过度自信的分布、缩小一个不确定的分布，也不能在整个支撑集上非均匀地重塑分布。这些是加性公式的结构性限制，而不是训练不足的产物。

### 3.2 动力学偏移下的失效模式

当基础策略分布具有正确的几何结构而只需重新定位时，平移就足够了。当这个假设不成立时，任何加性修正都无法解决不匹配问题。我们确定了三种这样的失效模式：

1. F1. 错误的方差。偏移后的动力学需要精确且坚定的动作，但基础策略的宽分布无法仅通过平移来缩小。
2. F2. 校准不当的置信度。基础策略将质量集中在原始动力学下最优、但在偏移后次优的区域；平移保持了这种紧密集中的特性。
3. F3. 非均匀修正。所需的修正因动作分布的不同部分而异——例如，高幅值动作过于激进，而中等幅值动作则合适。加性偏移对所有样本一视同仁。

在每种情况下，有效的修正必须是基础动作本身的函数，而不仅仅是状态的函数。第 4 节 (https://arxiv.org/html/2606.31043#S4) 将介绍一个具有该确切性质的框架。

### 3.3 归一化流

归一化流是一个可学习的双射 Tθ:Rd→RdT\_\{\\theta\}:\\mathbb\{R\}^\{d\}\\rightarrow\\mathbb\{R\}^\{d\}，它将来自基础分布的样本变换成一个更具表达性的目标分布[19 (https://arxiv.org/html/2606.31043#bib.bib28),16 (https://arxiv.org/html/2606.31043#bib.bib14)]。如果 z∼pzz\\sim p\_\{z\} 且 a=Tθ\(z\)a=T\_\{\\theta\}\(z\)，那么 aa 遵循将 pzp\_\{z\} 通过 TθT\_\{\\theta\} 诱导出的分布。从这个变形分布中采样是精确的：抽取 zz 并应用 TθT\_\{\\theta\} 就是从它采样的定义。当 TθT\_\{\\theta\} 可微且可逆时，对数概率可以通过变量变换公式以闭式获得：

log⁡pa\(a\)=log⁡pz\(Tθ−1\(a\)\)\+log⁡\|det∂Tθ−1∂a\|，\\log p\_\{a\}\(a\)=\\log p\_\{z\}\\\!\\left\(T\_\{\\theta\}^\{\-1\}\(a\)\\right\)\+\\log\\left\|\\det\\frac\{\\partial T\_\{\\theta\}^\{\-1\}\}\{\\partial a\}\\right\|，\(3\)这使得流与策略梯度方法兼容，而无需对策略比率进行蒙特卡洛近似。

### 3.4 恒等初始化

一个有原则的修正应该从恒等开始，这样早期训练就不会降低已知的较好起点。在残差 RL 中，这是通过初始化 δθ≈0\\delta\_\{\\theta\}\\approx 0 来实现的[15 (https://arxiv.org/html/2606.31043#bib.bib32),25 (https://arxiv.org/html/2606.31043#bib.bib31)]。相同的原理出现在变形概率模型中，其中输出空间变换在恒等映射处初始化（或给一个以恒等为中心的先验）[26 (https://arxiv.org/html/2606.31043#bib.bib27),18 (https://arxiv.org/html/2606.31043#bib.bib26)]。我们采纳这种理念：学习的变形应该从恒等开始，并且只有在目标域回报支持时才偏离。

## 4 方法：Warp RL

### 4.1 问题设定

我们考虑一个马尔可夫决策过程 M=\(S,A,R,γ\)\\mathcal\{M\}=\(\\mathcal\{S\},\\mathcal\{A\},R,\\gamma\)，具有状态空间 S\\mathcal\{S\}、动作空间 A⊆Rd\\mathcal\{A\}\\subseteq\\mathbb\{R\}^\{d\}、奖励函数 RR 和折扣因子 γ\\gamma。一个基础策略 πbase\(⋅∣s\)=N\(μbase\(s\),σbase\(s\)\)\\pi\_\{\\text\{base\}\}\(\\cdot\\mid s\)=\\mathcal\{N\}\(\\mu\_\{\\text\{base\}\}\(s\),\\sigma\_\{\\text\{base\}\}\(s\)\) 是在特定的动力学机制下训练的，并在该环境下表现良好。然而，当部署条件不同时——由于物理参数变化、任务几何结构改变或从仿真迁移到物理机器人——基础策略的性能会下降。

我们的目标是学习一个修正，在偏移动力学下恢复性能，同时满足两个约束：基础策略保持冻结，且修正后的策略从基础策略开始。我们寻求参数 θ\\theta 用于变换 TθT\_\{\\theta\}，使得 πθ=Tθ∘πbase\\pi\_\{\\theta\}=T\_\{\\theta\}\\circ\\pi\_\{\\text\{base\}\} 在偏移动力学下最大化期望回报：

θ∗=arg⁡maxθ⁡Eπθ\[∑t=0HγtR\(st,at\)\]，约束 Tθ0=Id。\\theta^\{\*\}=\\arg\\max\_\{\\theta\}\\;\\mathbb\{E\}\_\{\\pi\_\{\\theta\}\}\\\!\\left\[\\sum\_\{t=0\}^\{H\}\\gamma^\{t\}\,R\(s\_\{t\},a\_\{t\}\)\\right\]，\\quad\\text\{约束\} \\quad T\_\{\\theta\_\{0\}\}=\\text\{Id\}。\(4\)在残差 RL 中，TθT\_\{\\theta\} 的形式为 a=z\+δθ\(s\)a=z\+\\delta\_\{\\theta\}\(s\)，其中 z∼πbase\(⋅∣s\)z\\sim\\pi\_\{\\text\{base\}\}\(\\cdot\\mid s\)。正如第 3 节 (https://arxiv.org/html/2606.31043#S3) 所述，这将修正限制为基础分布的平移。我们通过 Warp RL 提出一个严格更具表达性的替代方案。

### 4.2 变形框架

我们不是向基础策略的动作添加一个状态依赖的偏移，而是学习一个可逆的、状态条件的变换 Tθ:Rd×S→RdT\_\{\\theta\}:\\mathbb\{R\}^\{d\}\\times\\mathcal\{S\}\\rightarrow\\mathbb\{R\}^\{d\}，它直接作用于来自基础策略的样本。在每个时间步，变形策略 (1) 观察状态 ss，(2) 从冻结的基础策略中采样 z∼πbase\(⋅∣s\)z\\sim\\pi\_\{\\text\{base\}\}\(\\cdot\\mid s\)，(3) 计算 a=Tθ\(z,s\)a=T\_\{\\theta\}\(z,s\)，以及 (4) 在环境中执行 aa。