凸包邻域平滑对偶泛化：控制离线强化学习中的局部修正传播

# 离线强化学习中的局部修正传播控制
来源：https://arxiv.org/html/2608.03108
## 凸包邻域平滑对偶泛化：控制离线 RL 中的局部修正传播

Yi Yang1, Zhennan Chen2, Mingfeng Lv1, HanleiLi1, Zhengsen Ruan3,\*, Lvqing Yang1,\* 1厦门大学 2南京大学 3浙江工商大学

###### 摘要

离线强化学习（offline RL）可以受益于附近分布外（OOD）动作，但这些动作处的估计误差可能被自举放大。现有的正则化与局部泛化方法通常通过分离的机制，控制允许的 OOD 区域或泛化目标的影响。我们提出凸包邻域平滑对偶泛化（CSDG），将 Bellman 备份表示为样本内价值目标加上一个 CHN 局部修正。该公式显式地表达了泛化贡献，并将其与样本内参考路径分离。该修正通过对在不同扰动半径下采样的样本内导向候选和 OOD 导向候选进行平滑获得。混合系数λ\\lambda缩放其对每次备份的贡献，而递归折扣保持为γ\\gamma。在有界性和固定扰动核下，我们推导出精确的一步修正恒等式、时变迭代界，以及仅依赖于不动点处分支配分歧的不动点界。我们进一步刻画了理想化算子所蕴含的隐式策略，并给出了条件非退化准则。实际算法使用非对称有界噪声和期望回归来近似这些量，而无需精确的支持分类或额外的悲观 OOD 惩罚。在 Gym-MuJoCo 和 AntMaze 上的实验显示了强大的整体性能和稳定的价值估计。代码见：https://github.com/YOUNG-fnxm/CSDG

11footnotetext:通讯作者

## 1 引言

虽然强化学习（RL）在序贯决策中取得了成功（Schrittwieser 等人，2020 (https://arxiv.org/html/2608.03108#bib.bib1)），但标准方法依赖于主动交互。为解决这一局限，离线 RL 作为一种数据驱动范式出现，完全从先前收集的数据集中学习最优策略（Levine 等人，2020 (https://arxiv.org/html/2608.03108#bib.bib6)）。这种方法将学习与在线交互解耦，从而能够直接利用大规模历史经验日志（Qu 等人，2023 (https://arxiv.org/html/2608.03108#bib.bib7)）。然而，行为策略与目标策略之间的分布偏移构成了重大挑战。这种偏移导致对 OOD 动作的高估，进而引发外推误差，并会被自举放大。因此，这些误差扭曲了价值估计，并阻止收敛到最优策略（Fujimoto 等人，2019 (https://arxiv.org/html/2608.03108#bib.bib8)）。

先前的离线 RL 方法通过策略约束（Wu 等人，2019 (https://arxiv.org/html/2608.03108#bib.bib9)；Kumar 等人，2019 (https://arxiv.org/html/2608.03108#bib.bib10)；Chen 等人，2020 (https://arxiv.org/html/2608.03108#bib.bib11)；Peng 等人，2019 (https://arxiv.org/html/2608.03108#bib.bib12)；Ghasemipour 等人，2021 (https://arxiv.org/html/2608.03108#bib.bib13)；Kumar 等人，2020 (https://arxiv.org/html/2608.03108#bib.bib14)）、价值惩罚（Ma 等人，2021 (https://arxiv.org/html/2608.03108#bib.bib16)；Bai 等人，2022 (https://arxiv.org/html/2608.03108#bib.bib17)；Yang 等人，2022 (https://arxiv.org/html/2608.03108#bib.bib18)）或样本内学习（Kostrikov 等人，2021 (https://arxiv.org/html/2608.03108#bib.bib15)；Xiao 等人，2023 (https://arxiv.org/html/2608.03108#bib.bib19)；Haarnoja 等人，2018 (https://arxiv.org/html/2608.03108#bib.bib20)；Xu 等人，2023 (https://arxiv.org/html/2608.03108#bib.bib21)）来缓解 OOD 价值误差。更多近期工作通过受控 OOD 泛化寻求中间路线，包括 MCQ（Lyu 等人，2022 (https://arxiv.org/html/2608.03108#bib.bib25)）、DOGE（Li 等人，2022 (https://arxiv.org/html/2608.03108#bib.bib27)）和 SQOG（Yao 等人，2025 (https://arxiv.org/html/2608.03108#bib.bib51)），或通过局部泛化和传播控制，如 HUBL（Geng 等人，2023 (https://arxiv.org/html/2608.03108#bib.bib31)）和 DMG（Mao 等人，2024 (https://arxiv.org/html/2608.03108#bib.bib50)）。这些方法调节泛化发生的位置或其传播方式。我们则从不同的视角出发：将局部修正从样本内目标中分离出来，并显式控制其进入每次 Bellman 备份的量。这引出了以下问题：*我们能否在几何近似界下利用局部泛化价值，同时显式控制其对每次递归更新的贡献？*

表 1：代表性离线 RL 方法在 OOD 使用、备份结构和控制机制上的比较。参见图注 图 1：重复自举下分歧传播的示意。CSDG 修正降低了局部泛化价值的贡献，同时保持相同的递归折扣。

为回答该问题，我们基于凸包及其邻域（CHN）（Yao 等人，2025 (https://arxiv.org/html/2608.03108#bib.bib51)）引入 CHN 平滑对偶泛化（CSDG）。CSDG 通过对样本内 Bellman 目标的一次修正来组织局部平滑和传播控制。非对称扰动首先在两个采样半径下产生一个样本内导向候选和一个 OOD 导向候选。它们的平滑值定义了局部泛化目标。该目标与样本内价值之间的差异被视为局部修正，λ\\lambda决定其每次递归更新进入的量。简而言之，CHN 指定局部几何结构，平滑构造泛化价值，λ\\lambda门控其对自举的贡献。表1 (https://arxiv.org/html/2608.03108#S1.T1)将此设计与代表性方法进行对比。

我们的分析在算子、迭代和策略层面刻画了扰动平均修正。我们首先推导出精确的一步分解和一个随时间变化的界，该界沿更新序列追踪分支分歧。然后我们建立不动点和后验残差界，并给出最近锚点分解，将分支分歧与几何和参考分量联系起来。最后，隐式策略表示产生一个有符号优势准则，用于比较 CSDG 与样本内参考。在经验上，CSDG 在标准离线 RL 基准（Fu 等人，2020 (https://arxiv.org/html/2608.03108#bib.bib22)）上表现强劲，包括 Gym-MuJoCo 运动控制和具有挑战性的 AntMaze 任务。这两个基准家族涵盖了相当不同的控制问题，提供了比单一领域更广泛的方法视角。

总之，我们的主要贡献如下：

- •我们将 CSDG 表述为由 CHN 局部修正增强的样本内 Bellman 备份，其中λ\\lambda直接控制局部泛化价值进入每次递归更新的量。
- •我们推导出精确的一步、时变迭代、不动点和后验残差界，以及理想化算子所蕴含隐式策略的条件性能准则。
- •我们开发了一种实用算法，在 Bellman 目标中将非对称双尺度平滑与期望回归参考修正相结合，而无需额外的悲观 OOD 惩罚。

## 2 预备知识

#### 强化学习（RL）。

一个 RL 问题被建模为马尔可夫决策过程（MDP）M=\(S,A,P,R,γ,d0\)\\mathcal\{M\}=\(\\mathcal\{S\},\\mathcal\{A\},P,R,\\gamma,d\_\{0\}\)，其中S\\mathcal\{S\}和A\\mathcal\{A\}是状态和动作空间，P:S×A→Δ\(S\)P:\\mathcal\{S\}\\times\\mathcal\{A\}\\to\\Delta\(\\mathcal\{S\}\)是转移核，R:S×A→\[0,Rmax\]R:\\mathcal\{S\}\\times\\mathcal\{A\}\\to\[0,R\_\{\\max\}\]是有界奖励函数，γ∈\0,1\)\\gamma\\in\[0,1\)是折扣因子，d0d\_\{0\}是初始状态分布（Sutton 等人，[1998 (https://arxiv.org/html/2608.03108#bib.bib33)）。策略π:S→Δ\(A\)\\pi:\\mathcal\{S\}\\to\\Delta\(\\mathcal\{A\}\)旨在最大化

J\(π\)=Es0∼d0,at∼π\(⋅\|st\),st\+1∼P\(⋅\|st,at\)\[∑t=0∞γtR\(st,at\)\]\.J\(\\pi\)=\\mathbb\{E\}\_\{\\begin\{subarray\}\{c\}s\_\{0\}\\sim d\_\{0\},\\,a\_\{t\}\\sim\\pi\(\\cdot\|s\_\{t\}\),\\,s\_\{t\+1\}\\sim P\(\\cdot\|s\_\{t\},a\_\{t\}\)\\end\{subarray\}\}\\left\[\\sum\_\{t=0\}^\{\\infty\}\\gamma^\{t\}R\(s\_\{t\},a\_\{t\}\)\\right\]\.\(1\)对应的价值函数为Vπ\(s\)=Eπ\[∑t=0∞γtR\(st,at\)∣s0=s\]V^\{\\pi\}\(s\)=\\mathbb\{E\}\_\{\\pi\}\[\\sum\_\{t=0\}^\{\\infty\}\\gamma^\{t\}R\(s\_\{t\},a\_\{t\}\)\\mid s\_\{0\}=s\]和Qπ\(s,a\)=Eπ\[∑t=0∞γtR\(st,at\)∣s0=s,a0=a\]Q^\{\\pi\}\(s,a\)=\\mathbb\{E\}\_\{\\pi\}\[\\sum\_\{t=0\}^\{\\infty\}\\gamma^\{t\}R\(s\_\{t\},a\_\{t\}\)\\mid s\_\{0\}=s,a\_\{0\}=a\]。

#### 离线 RL。

离线 RL 从固定数据集D=\{\(si,ai,ri,si′,di\)\}i=0n−1\\mathcal\{D\}=\\\{\(s\_\{i\},a\_\{i\},r\_\{i\},s^\{\\prime\}\_\{i\},d\_\{i\}\)\\\}\_\{i=0\}^\{n\-1\}中学习，该数据集由未知行为策略β\(⋅\|s\)\\beta\(\\cdot\|s\)收集，且没有进一步的环境交互（Lange 等人，2012 (https://arxiv.org/html/2608.03108#bib.bib5)；Levine 等人，2020 (https://arxiv.org/html/2608.03108#bib.bib6)）。由于精确状态重复在连续控制中很少见，对于1≤k≤n1\\leq k\\leq n，令Nk\(s\)\\mathcal\{N\}\_\{k\}\(s\)表示kk个最近数据集状态的索引，距离并列时以最小数据集索引解决。定义非空局部动作参考AD,k\(s\)=\{ai:i∈Nk\(s\)\}\\mathcal\{A\}\_\{\\mathcal\{D\},k\}\(s\)=\\\{a\_\{i\}:i\\in\\mathcal\{N\}\_\{k\}\(s\)\\\}及其样本加权经验分布β^k\(⋅\|s\)=k−1∑i∈Nk\(s\)δai\\hat\{\\beta\}\_\{k\}(\\cdot\|s\)=k^\{\-1\}\\sum\_\{i\\in\\mathcal\{N\}\_\{k\}\(s\)\}\\delta\_\{a\_\{i\}\}。在其有效支持之外的动作是局部 OOD。标准评论家最小化时间差分（TD）损失（Sutton 等人，1998 (https://arxiv.org/html/2608.03108#bib.bib33)）：

LTD\(θ\)=E\(s,a,s′\)∼D\[\(Qθ\(s,a\)−R\(s,a\)−γmaxa′Qθ′\(s′,a′\)\)2\]\.\\begin\{split\}\\mathcal\{L\}\_\{\\text\{TD\}\}\(\\theta\)=\\mathbb\{E\}\_\{\(s,a,s^\{\\prime\}\)\\sim\\mathcal\{D\}\}\\Bigg\[\\Big\(Q\_\{\\theta\}\(s,a\)&\-R\(s,a\)\-\\gamma\\max\_\{a^\{\\prime\}\}Q\_\{\\theta^\{\\prime\}\}\(s^\{\\prime\},a^\{\\prime\}\)\\Big\)^\{2\}\\Bigg\]\.\\end\{split\}(2)其中QθQ\_\{\\theta\}是学习到的评论家，Qθ′Q\_\{\\theta^\{\\prime\}\}是其目标网络，通过 Polyak 平均更新（Mnih 等人，2015 (https://arxiv.org/html/2608.03108#bib.bib46)）。

## 3 离线 RL 的 CHN 平滑对偶泛化

本节介绍 CSDG，其使用 CHN 作为局部泛化的几何参考。图2 (https://arxiv.org/html/2608.03108#S3.F2)给出了概览。我们首先定义非对称平滑目标及其期望回归参考修正，分别从一步、迭代、不动点和策略层面进行分析，然后描述实际算法。

参见图注 图 2：CSDG 将局部平滑 Q 值目标与样本内价值目标相结合。生成的动作通过有效几何半径与观测动作锚点相关联，λ\\lambda在自举过程中缩放泛化修正。

### 3.1 CHN 平滑对偶泛化

为形式化局部泛化，我们首先指定 CSDG 使用的状态相关动作区域。我们采用凸包及其邻域（CHN）（Yao 等人，2025 (https://arxiv.org/html/2608.03108#bib.bib51)）作为该构造的几何参考。

###### 定义 1（状态条件 CHN）。

令S⊆Rds\\mathcal\{S\}\\subseteq\\mathbb\{R\}^\{d\_\{s\}\}，并令A⊆Rda\\mathcal\{A\}\\subseteq\\mathbb\{R\}^\{d\_\{a\}\}为闭凸动作盒。给定状态s∈Ss\\in\\mathcal\{S\}、局部经验动作参考AD,k\(s\)\\mathcal\{A\}\_\{\\mathcal\{D\},k\}\(s\)和半径δ\\delta，*状态条件 CHN*为

CHNδ⁡\(s\)=\{a∈A:mina′∈Conv⁡\(AD,k\(s\)\)⁡‖a−a′‖2≤δ\}\.\\operatorname\{CHN\}\_\{\\delta\}\(s\)=\\left\\\{a\\in\\mathcal\{A\}:\\min\_\{a^\{\\prime\}\\in\\operatorname\{Conv\}\(\\mathcal\{A\}\_\{\\mathcal\{D\},k\}\(s\)\)\}\\\|a\-a^\{\\prime\}\\\|\_\{2\}\\leq\\delta\\right\\\}。\(3\)其中Conv⁡\(AD,k\(s\)\)\\operatorname\{Conv\}\(\\mathcal\{A\}\_\{\\mathcal\{D\},k\}\(s\)\)是局部动作参考的凸包。

#### 解释。

这种状态条件构造提供了连续的局部参考，而无需精确的状态重复。CSDG 使用它来描述与局部修正及其几何误差相关的区域；相应的锚点分析见附录E (https://arxiv.org/html/2608.03108#A5)。对于算子分析，为S\\mathcal\{S\}和A\\mathcal\{A\}配备其 Borel σ\\sigma-代数，并假设奖励、转移核、目标选择器、扰动核和确定性平局规则是可测的。我们在带最大范数的有界可测函数 Banach 空间Bb\(S×A\)\\mathbb\{B\}\_\{b\}\(\\mathcal\{S\}\\times\\mathcal\{A\}\)上工作，并记clip=ΠA\\operatorname\{clip\}=\\Pi\_\{\\mathcal\{A\}\}为到动作盒上的欧几里得投影。

我们现在定义用于构造泛化目标的双尺度平滑机制。

###### 定义 2（CHN 平滑算子）。

给定固定的确定性目标动作选择器π′:S→A\\pi^\{\\prime\}:\\mathcal\{S\}\\to\\mathcal\{A\}和两个有界扰动核νIn\\nu\_\{\\mathrm\{In\}\}与νOOD\\nu\_\{\\mathrm\{OOD\}\}，采样ηj∼νj\\eta\_\{j\}\\sim\\nu\_\{j\}并令

aIn\\displaystyle a\_\{\\mathrm\{In\}\}=clip⁡\(π′\(s\)\+ηIn\),\\displaystyle=\\operatorname\{clip\}\\bigl\(\\pi^\{\\prime\}\(s\)\+\\eta\_\{\\mathrm\{In\}\}\\bigr\)，‖ηIn‖2\\displaystyle\\\|\\eta\_\{\\mathrm\{In\}\}\\\|\_\{2\}≤δIn，\\displaystyle\\leq\\delta\_\{\\mathrm\{In\}\},\(4\)aOOD\\displaystyle a\_\{\\mathrm\{OOD\}\}=clip⁡\(π′\(s\)\+ηOOD\),\\displaystyle=\\operatorname\{clip\}\\bigl\(\\pi^\{\\prime\}\(s\)\+\\eta\_\{\\mathrm\{OOD\}\}\\bigr\)，‖ηOOD‖2\\displaystyle\\\|\\eta\_\{\\mathrm\{OOD\}\}\\\|\_\{2\}≤δOOD，\\displaystyle\\leq\\delta\_\{\\mathrm\{OOD\}\},其中0≤δIn<δOOD0\\leq\\delta\_\{\\mathrm\{In\}\}<\\delta\_\{\\mathrm\{OOD\}\}。较小半径动作aIna\_\{\\mathrm\{In\}\}是样本内导向候选，而较大半径动作aOODa\_\{\\mathrm\{OOD\}\}是 OOD 导向候选。对于μ∈\[0,1\]\\mu\\in\[0,1\]，定义期望 CHN 平滑值为

SμQ\(s\)=\\displaystyle\\mathcal\{S\}\_\{\\mu\}Q\(s\)=μEηIn∼νIn\[Q\(s,aIn\)\]\+\(1−μ\)EηOOD∼νOOD\[Q\(s,aOOD\)\]\.\\displaystyle\\;\\mu\\,\\mathbb\{E\}\_\{\\eta\_\{\\mathrm\{In\}\}\\sim\\nu\_\{\\mathrm\{In\}\}\}\\left\[Q\(s,a\_\{\\mathrm\{In\}\}\)\\right\]\+\(1\-\\mu\)\\,\\mathbb\{E\}\_\{\\eta\_\{\\mathrm\{OOD\}\}\\sim\\nu\_\{\\mathrm\{OOD\}\}\}\\left\[Q\(s,a\_\{\\mathrm\{OOD\}\}\)\\right\]。\(5\)

实际更新从每个核中抽取一个蒙特卡洛样本，产生SμQ\(s\)\\mathcal\{S\}\_\{\\mu\}Q\(s\)的条件无偏估计。我们的分析使用扰动平均算子。

#### 解释。

非对称扰动避免了对 CHN 隶属关系的显式测试和最近邻投影。较小半径候选提供局部参考，而较大半径候选引入受控外推。两个标签描述其采样半径，而非精确支持隶属关系。

#### 离线 RL 中的局部泛化。

价值更新可以泛化到数据集附近的动作，尽管其误差可能通过自举传播。