用于分布强化学习的路径耦合贝尔曼流

# 用于分布强化学习的路径耦合贝尔曼流
来源：https://arxiv.org/html/2605.08253

###### 摘要

分布强化学习（DRL）对完整的回报分布进行建模，但现有的有限支撑或基于分位数的方法依赖于投影，而近期的基于流的方法在流源处可能遭受*边界不匹配*，或者在噪声当前状态和后继状态独立时遭受*高方差*引导。我们提出了路径耦合贝尔曼流（PCBF），这是一种连续时间 DRL 方法，通过使用源一致的贝尔曼耦合路径，利用流匹配学习回报分布：当前路径从 $t=0$ 时所需的基底先验开始，在 $t=1$ 时到达贝尔曼目标，并在中间时间保持与后继流的路径仿射关系（不需要时间-$t$ 边缘分布对所有 $t$ 满足分布贝尔曼不动点）。PCBF 通过共享基底噪声耦合当前和后继回报流，并使用 $\lambda$ 参数化的控制变分目标：$\lambda=0$ 恢复无偏样本贝尔曼目标，而 $\lambda>0$ 则以可控偏差换取方差降低。在解析可处理的 MDP、OGBench 和 D4RL 上的实验表明，PCBF 提高了分布保真度和训练稳定性，并展现出具有竞争力的离线 RL 性能。

**关键词**：分布强化学习，贝尔曼算子，流匹配，生成式建模，离线强化学习，方差缩减

## 1 引言

分布强化学习（DRL）（Bellemare et al., 2017 (https://arxiv.org/html/2605.08253#bib.bib2)）对回报的完整分布进行建模，而不仅仅是其期望值，从而能够更丰富地表示不确定性，并通常带来更好的实证性能。然而，实际的 DRL 算法通常依赖于固定支撑集上的有限维近似（Bellemare et al., 2017 (https://arxiv.org/html/2605.08253#bib.bib2)）或分位数分配（Dabney et al., 2018b (https://arxiv.org/html/2605.08253#bib.bib3)）。然而，这些离散化策略引入了固有的局限性。因为贝尔曼更新很少与固定支撑点或分位数位置对齐，这些方法依赖于启发式投影步骤，这引入了偏差并限制了所学分布的表达力。

为了克服离散投影的局限性，自然的做法是将 DRL 重构为连续概率传输问题。从根本上讲，分布贝尔曼方程定义了一种仿射传输关系：当前状态的回报分布是后继状态分布的直接变换。这种观点使得流匹配（Lipman et al., 2022 (https://arxiv.org/html/2605.08253#bib.bib13)）成为一个极具吸引力的框架。通过学习一个连续神经速度场，将样本从简单的基底先验（例如，高斯噪声）传输到复杂的目标分布，流匹配规避了启发式投影，并优雅地建模了贝尔曼更新的几何结构。

然而，直接在流组合中执行未校正的点态贝尔曼映射在两个关键方面会失败。首先，它违反了初始边界条件：流匹配要求生成过程从固定的简单先验（如标准高斯分布）开始。然而，未校正的贝尔曼更新通过奖励和折扣后继值移动了起始分布，使得标准的流匹配目标病态。其次，当驱动当前和后继分布的噪声是独立采样时，它们的中间轨迹在路径上不对齐。因此，贝尔曼一致性只能在端点处强制实施，导致每样本目标的高方差，从而 destabilize  critic 学习。

我们提出**路径耦合贝尔曼流（PCBF）**，通过源一致的贝尔曼路径校正和共享噪声路径耦合来解决这两个问题。PCBF 不直接将贝尔曼更新应用于中间流状态，而是修复流路径，使其从所需的基底先验开始，同时仍以贝尔曼目标结束。这将流匹配的几何要求与贝尔曼引导的随机性分离开来。在此校正的几何结构之上，PCBF 使用共享基底噪声耦合当前和后继回报流，对齐它们的中间轨迹，而不是仅在端点处强制贝尔曼一致性。这种路径结构诱导了一个 $\lambda$ 参数化的训练目标族，在直接的基于样本的贝尔曼监督和利用后继流速度预测的方差缩减监督之间进行插值。因此，PCBF 清晰地将贝尔曼路径校正与方差控制分离。

在理论上，我们表征了由 PCBF 路径引起的总体最优速度场，分析了 $\lambda$ 目标的偏差-方差行为，并证明共享噪声贝尔曼生成器更新继承了 $\gamma$-收缩性，并为 PCBF 插值器诱导了 $\gamma$ 收缩性。在经验上，PCBF 在玩具 MDP 上准确恢复了真实回报分布，并在 OGBench（Park et al., 2025a (https://arxiv.org/html/2605.08253#bib.bib10)）和 D4RL Adroit（Fu et al., 2020 (https://arxiv.org/html/2605.08253#bib.bib11)）上取得了具有竞争力的性能。

#### 贡献

我们的主要贡献如下：(i) 一种源一致的贝尔曼插值路径，修复了由未校正的点态贝尔曼路径引起的 $t=0$ 边界不匹配；(ii) 共享噪声路径耦合，对齐当前和后继回报流；(iii) 一个具有通用 $L_2$ 偏差界（及高斯闭式解）的 $\lambda$ 参数化控制变分目标；(iv) 在玩具回报定律、OGBench、D4RL、FloQ 比较（如有）、耦合/离散化诊断和消融研究中的实证证据。

## 2 相关工作

#### 离线 RL 中的生成式模型

生成式模型在离线 RL 中变得越来越重要，用于轨迹规划、行为建模和策略提取，包括基于扩散的规划器和策略（Janner et al., 2022 (https://arxiv.org/html/2605.08253#bib.bib35); Wang et al., 2022 (https://arxiv.org/html/2605.08253#bib.bib23); Hansen-Estruch et al., 2023 (https://arxiv.org/html/2605.08253#bib.bib24)）以及基于流或能量引导的策略方法（Chen et al., 2023 (https://arxiv.org/html/2605.08253#bib.bib25); Lu et al., 2023 (https://arxiv.org/html/2605.08253#bib.bib36); Zhang et al., 2025 (https://arxiv.org/html/2605.08253#bib.bib37)）。这些工作主要改进 Actor 或 Planner。PCBF 则专注于 Critic 端：学习表达性强且稳定的回报分布，以指导离线策略提取。

#### 分布强化学习

为了捕捉累积回报的全部复杂性，DRL 范式将重点从估计标量期望值转移到对整个回报分布进行建模（Bellemare et al., 2017 (https://arxiv.org/html/2605.08253#bib.bib2)）。经典方法最初依赖离散动作空间上的类别投影（Bellemare et al., 2017 (https://arxiv.org/html/2605.08253#bib.bib2)）和分位数回归（Dabney et al., 2018b (https://arxiv.org/html/2605.08253#bib.bib3)）。这一框架后来通过 D4PG（Barth-Maron et al., 2018 (https://arxiv.org/html/2605.08253#bib.bib28)）成功扩展到连续控制领域，后者将类别分布式 critic 与确定性策略梯度相结合，并进一步由连续变体如 DSAC（Duan et al., 2021 (https://arxiv.org/html/2605.08253#bib.bib26)）推进。尽管取得了成功，但这些传统方法本质上受限于离散投影、固定支撑边界或矩匹配近似（Nguyen-Tang et al., 2021 (https://arxiv.org/html/2605.08253#bib.bib27)），从根本上限制了连续 critic 的表达力。为了克服这些限制并与现代生成式 Actor 的连续性质相匹配，近期的努力试图将 DRL 与连续流匹配统一起来。

#### 生成式价值建模与流匹配

除了策略和轨迹生成外，生成式模型越来越多地用于其他 RL 组件。例如，EVOR（Espinosa-Dice et al., 2025 (https://arxiv.org/html/2605.08253#bib.bib30)）使用通过标准流匹配学习的分布奖励模型执行推理时策略提取。诸如 floQ（Agrawalla et al., 2025 (https://arxiv.org/html/2605.08253#bib.bib31)）之类的方法使用流匹配参数化价值函数，将噪声映射到标量价值估计，以实现迭代计算扩展。TD-Flow（Farebrother et al., 2025 (https://arxiv.org/html/2605.08253#bib.bib34)）也密切相关，因为它将时序差分引导与概率路径上的流匹配相结合。然而，当应用于奖励时，TD-Flow 自然对应于变换后随机视界 MDP 的回报分布，其中过程在每一步以概率 $1-\gamma$ 终止。这与 DRL 中通常研究的传统折扣回报分布不同：正如 Bellemare et al. (2023 (https://arxiv.org/html/2605.08253#bib.bib20)) 所讨论的，两种解释在期望上一致，但作为分布通常不同。相比之下，PCBF 旨在建模标准折扣回报分布，同时在流匹配中保留其贝尔曼几何结构。

DFC（Chen et al., 2025 (https://arxiv.org/html/2605.08253#bib.bib33)）和 Bellman Diffusion（Li et al., 2024 (https://arxiv.org/html/2605.08253#bib.bib32)）等并发方法试图对齐贝尔曼目标分布，但依赖于独立采样的噪声。这种端点级别的匹配缺乏路径耦合，可能导致矢量场不对齐和高方差训练目标。Value Flows（Don et al., 2025 (https://arxiv.org/html/2605.08253#bib.bib1)）也使用流匹配对回报分布进行建模，结合来自插值端点的解析速度目标和来自目标网络 ODE 轨迹的自一致性目标。然而，其 DCFM 风格的自一致性目标可能与流匹配所需的源边界条件（即在 $t=0$ 时恢复基底先验）冲突。我们在附录 B (https://arxiv.org/html/2605.08253#A2) 中重新审视这一构建，并与 PCBF 进行扩展比较。基于 Lipman et al. (2024 (https://arxiv.org/html/2605.08253#bib.bib29)) 的统一流匹配框架，PCBF 通过源一致的贝尔曼路径修复和共享噪声路径耦合解决了这些问题。与其控制变分训练目标一起，PCBF 减轻了高方差贝尔曼流匹配更新，并为离线 RL 提供了稳定的基于流的分布 critic。

## 3 预备知识

#### 分布强化学习

我们考虑由元组 $(\mathcal{S}, \mathcal{A}, p, \mathcal{R}, \gamma)$ 定义的马尔可夫决策过程（MDP）（Sutton et al., 1998 (https://arxiv.org/html/2605.08253#bib.bib12)），其中状态空间为 $\mathcal{S}$，动作空间为 $\mathcal{A}$，转移核为 $p(s' \mid s, a)$，折扣因子为 $\gamma \in (0, 1)$。在每一步，我们从奖励核 $\mathcal{R}(\cdot \mid s, a, s')$ 中观察到一个奖励样本 $R$（确定性奖励是特殊情况 $R = r(s, a)$ a.s.）。令 $\pi(a \mid s)$ 表示随机策略。在分布强化学习（DRL）中，回报被建模为随机变量 $Z^\pi(s, a)$。回报分布的演化由*分布贝尔曼方程*支配：

$$
Z^\pi(s, a) \overset{d}{=} R(s, a) + \gamma Z^\pi(S', A'), \quad (1)
$$

其中 $(S', A')$ 是在 $(s, a)$ 条件下采样的随机变量，$\overset{d}{=}$ 表示分布相等。

#### 流匹配

流匹配（Lipman et al., 2022 (https://arxiv.org/html/2605.08253#bib.bib13)）是一类连续时间生成模型，学习一个时变矢量场，将样本从简单的基底分布传输到目标数据分布。与依赖随机微分方程（SDEs）和迭代噪声注入的去噪扩散模型（Ho et al., 2020 (https://arxiv.org/html/2605.08253#bib.bib14); Song et al., 2020 (https://arxiv.org/html/2605.08253#bib.bib15)）不同，流匹配模型基于常微分方程（ODEs），从而实现更简单的训练和更快的推理，同时通常达到相当或更优的样本质量。

给定数据分布 $p(x) \in \mathbb{R}^d$，流匹配学习时变速度场 $v_\theta$ 的参数 $\theta$，使得诱导的流 $\psi_\theta$（定义为常微分方程的解）

$$
\frac{d}{dt} \psi_\theta(t, x) = v_\theta(t, \psi_\theta(t, x)) \quad (2)
$$

当在 $t=0$ 时从简单基底分布初始化（例如，标准高斯分布）时， resulting dynamics transport samples so that the distribution at $t=1$ matches the target data distribution $p(x)$.

在本工作中，我们采用基于线性插值路径和均匀时间采样的最简单的流匹配形式（Lipman et al., 2022 (https://arxiv.org/html/2605.08253#bib.bib13)）。具体而言，给定样本 $X_0 \sim \mathcal{N}(0, I_d)$ 和 $X_1 \sim p(x_1)$，我们定义线性插值：

$$
X_t = (1-t)X_0 + tX_1. \quad (3)
$$

流匹配目标最小化学习到的速度场与真实位移方向之间的平方误差：

$$
\min_{\theta} \mathbb{E}_{\substack{X_0 \sim \mathcal{N}(0, I_d) \\ X_1 \sim p(x_1) \\ t \sim \mathrm{Unif}([0, 1])}} \left[ \| v_\theta(t, X_t) - (X_1 - X_0) \|_2^2 \right]. \quad (4)
$$

直观地说，该目标训练速度场 $v_\theta$ 预测沿直线路径将样本从基底分布传输到数据分布的平均方向。在收敛时， resulting vector field defines an ODE whose solution generates samples from $p(x)$ when integrated from $t=0$ to $t=1$. 在推理时，通过求解方程 (2 (https://arxiv.org/html/2605.08253#S3.E2)) 生成新样本。在本工作中，我们使用显式欧拉方法，这在实践中证明是足够的。有关更多理论和实践细节，请参阅 Lipman et al. (2022 (https://arxiv.org/html/2605.08253#bib.bib13))。

## 4 路径耦合贝尔曼流

我们现在介绍*路径耦合贝尔曼流*，这是一种连续时间分布强化学习框架，将流匹配与分布贝尔曼方程的递归几何结构相结合。我们的目标是通过流匹配学习回报分布，同时使用**源一致的贝尔曼耦合路径**：当前路径从 $t=0$ 时所需的基底先验开始，在 $t=1$ 时到达贝尔曼目标，并在中间时间保持与后继流的路径仿射关系——而不需要每个时间-$t$ 边缘分布都是分布贝尔曼不动点。

### 4.1 点态贝尔曼路径的边界不匹配

将后继线性流（共享基底噪声 $U$，终端回报 $X'$）写为：

$$
Z'_t = (1-t)U + tX'.
$$