RS-Diffuser: 风险敏感的扩散规划与分布值引导

# RS-Diffuser: 基于分布价值引导的风险敏感扩散规划
来源: https://arxiv.org/html/2606.27766
11institutetext:西北工业大学
11email:gongshiqiang@mail\.nwpu\.edu\.cn###### 摘要

离线强化学习能够在无需与环境额外交互的情况下，从固定数据集中学习策略，这使其在在线探索代价高昂或存在安全隐患的安全关键型应用中极具吸引力。基于扩散的决策方法通过建模丰富、多模态的轨迹分布，近期在离线强化学习中取得了强劲性能。然而，现有的扩散规划器通常是风险中性的，因此可能忽略在现实部署中至关重要的罕见但灾难性的后果。在本工作中，我们提出RS-Diffuser，一个结合了基于扩散的轨迹生成与分布价值批评的风险敏感离线扩散规划框架。RS-Diffuser学习一个关于未来状态轨迹的扩散规划器、一个用于动作解码的独立逆动力学模型，以及一个通过分位数回归估计候选计划完整回报分布的蒙特卡洛分布批评器。在采样时，我们将一个风险敏感的引导信号融入去噪过程，利用从尾部感知目标（如条件风险价值）计算出的梯度，将生成过程导向期望的风险特征。因此，一个训练好的模型仅通过更改推理时的风险参数，即可灵活生成风险厌恶、风险中性或风险寻求的行为。在风险敏感型D4RL和危险机器人导航基准上的大量实验表明，RS-Diffuser实现了最先进的性能，在提高整体回报和最坏情况鲁棒性的同时，减少了安全违规。

## 1 引言

离线强化学习旨在从固定数据集中学习有效的决策策略，无需与环境进一步交互[20 (https://arxiv.org/html/2606.27766#bib.bib27)]。这一设定在医疗、自动驾驶和机器人等安全关键领域尤其具有吸引力，因为在这些领域中，在线探索成本高昂、不安全或不切实际[27 (https://arxiv.org/html/2606.27766#bib.bib22)]。然而，由于分布偏移，离线强化学习仍然面临根本性挑战：所学策略必须超越行为数据的支持范围，这常常导致不可靠的价值估计和较差的泛化能力。此外，许多现有的离线强化学习方法依赖于确定性或简单高斯策略类，这不足以建模现实世界数据集中常见且复杂的多模态行为[41 (https://arxiv.org/html/2606.27766#bib.bib7)]。

最近，扩散模型通过将控制问题视为关于动作或轨迹的条件生成建模，已成为离线决策的一种强大范式[9 (https://arxiv.org/html/2606.27766#bib.bib28),41 (https://arxiv.org/html/2606.27766#bib.bib7)]。现有方法大致可分为两类。基于规划的方法，如Diffuser[10 (https://arxiv.org/html/2606.27766#bib.bib1)]，通过迭代去噪生成轨迹，并通过轨迹优化进行决策。基于策略的方法，如Diffusion-QL[28 (https://arxiv.org/html/2606.27766#bib.bib29)]，则将扩散模型用作表达性策略类，直接生成动作。通过建模丰富的多模态分布和长程依赖关系，扩散方法在多个离线强化学习基准上取得了强劲性能。

尽管取得了这些进展，大多数现有的基于扩散的决策方法本质上仍然是风险中性的：它们优化期望回报，并未明确建模回报的尾部行为。这一局限性在安全关键场景中尤为棘手，因为两类候选行为可能具有相似的期望回报，但下行风险却截然不同[22 (https://arxiv.org/html/2606.27766#bib.bib31)]。风险敏感的强化学习通过优化风险感知目标（而非仅优化期望值）来解决此问题[31 (https://arxiv.org/html/2606.27766#bib.bib15),19 (https://arxiv.org/html/2606.27766#bib.bib32)]。在这些方法中，分布强化学习通过显式建模完整的回报分布，为风险敏感优化提供了原则性基础，从而能够启用诸如风险价值（Value-at-Risk）和条件风险价值（CVaR）等尾部感知准则[2 (https://arxiv.org/html/2606.27766#bib.bib18),3 (https://arxiv.org/html/2606.27766#bib.bib44),6 (https://arxiv.org/html/2606.27766#bib.bib3)]。然而，现有的风险敏感离线强化学习方法主要建立在演员-评论家或策略优化流程之上，探索如何赋予基于扩散的规划器显式且可控的风险敏感性的工作相对较少[4 (https://arxiv.org/html/2606.27766#bib.bib5),18 (https://arxiv.org/html/2606.27766#bib.bib9),32 (https://arxiv.org/html/2606.27766#bib.bib10)]。

在本文中，我们提出RS-Diffuser，一个融合了基于扩散的轨迹生成与分布价值学习的风险敏感离线扩散规划框架。RS-Diffuser学习一个关于未来状态轨迹的扩散规划器和一个用于动作恢复的独立逆动力学模型。其关键组件是一个*分布价值评论家*，通过分位数回归训练，预测候选计划的完整回报分布，而不仅仅是其期望值。在推理时，我们并非针对固定的风险偏好重新训练规划器，而是将一个风险敏感引导信号注入扩散去噪过程，其中源于条件风险价值等尾部感知目标的梯度将生成过程导向期望的风险特征。因此，一个训练好的模型仅通过更改推理时的风险参数，即可实现风险厌恶、风险中性或风险寻求的行为。

我们的工作主要有三点贡献：

- ∙我们引入了一个离线强化学习的扩散规划框架，该框架显式地融入了用于尾部感知决策的分布价值建模。
- ∙我们展示了如何将分布评论家集成到引导扩散采样中，从而在推理时实现对风险偏好的灵活控制。
- ∙我们在两个风险敏感基准上证明，RS-Diffuser优于现有的最先进模型。

## 2 相关工作

#### 2.0.1 决策中的扩散模型。

由于能够表示复杂、多模态的策略分布，扩散模型在决策中的应用获得了显著关注[41 (https://arxiv.org/html/2606.27766#bib.bib7)]。扩散规划是这一研究的主要分支，模型生成未来状态或动作的完整序列[10 (https://arxiv.org/html/2606.27766#bib.bib1)]。例如，Diffuser[10 (https://arxiv.org/html/2606.27766#bib.bib1)]利用U-Net架构，在奖励函数引导下迭代去噪轨迹。在此基础上，Decision Diffuser[1 (https://arxiv.org/html/2606.27766#bib.bib2)]将决策构建为一个纯粹的条件生成任务，无需在采样时使用显式奖励梯度。最近的研究进一步优化了这些架构，探索了基于Transformer的去噪网络和专用采样技术的优势[14 (https://arxiv.org/html/2606.27766#bib.bib11),5 (https://arxiv.org/html/2606.27766#bib.bib20),17 (https://arxiv.org/html/2606.27766#bib.bib16)]。扩散模型在决策中的应用涵盖多个领域，包括自动驾驶[40 (https://arxiv.org/html/2606.27766#bib.bib40),37 (https://arxiv.org/html/2606.27766#bib.bib35),36 (https://arxiv.org/html/2606.27766#bib.bib34),11 (https://arxiv.org/html/2606.27766#bib.bib36)]和体育决策[29 (https://arxiv.org/html/2606.27766#bib.bib41)]。虽然这些方法善于捕捉行为分布，但它们本质上是风险中性的。它们优先考虑训练集中最频繁或奖励最高的路径，而没有机制来减轻生成计划的风险。

#### 2.0.2 风险敏感强化学习。

风险敏感强化学习旨在学习能够考虑回报不确定性和变异性策略[19 (https://arxiv.org/html/2606.27766#bib.bib32),15 (https://arxiv.org/html/2606.27766#bib.bib6)]。该领域的基石是分布强化学习，它建模随机回报变量的完整分布，而不仅仅是其期望[6 (https://arxiv.org/html/2606.27766#bib.bib3),2 (https://arxiv.org/html/2606.27766#bib.bib18)]。Bellemare等人[2 (https://arxiv.org/html/2606.27766#bib.bib18)]引入了分类分布方法，而Dabney等人[6 (https://arxiv.org/html/2606.27766#bib.bib3)]通过分位数回归DQN（QR-DQN）对此进行了增强，实现了更灵活、更精确的分布建模。为了实现风险厌恶，研究人员常优化诸如条件风险价值（CVaR）等指标，这些指标关注回报分布的下尾[33 (https://arxiv.org/html/2606.27766#bib.bib45),16 (https://arxiv.org/html/2606.27766#bib.bib49)]。在离线设定中，风险厌恶尤其关键，因为它能自然地防御由有限数据引起的认知不确定性[4 (https://arxiv.org/html/2606.27766#bib.bib5)]。然而，传统的风险敏感离线强化学习方法通常建立在标准的演员-评论家架构上，在复杂环境中可能会受到策略表达性有限和训练不稳定的困扰。值得注意的是，另一条研究路线聚焦于从演示中进行约束学习，即逆约束强化学习（ICRL）[31 (https://arxiv.org/html/2606.27766#bib.bib15),30 (https://arxiv.org/html/2606.27766#bib.bib39),13 (https://arxiv.org/html/2606.27766#bib.bib38),39 (https://arxiv.org/html/2606.27766#bib.bib33),35 (https://arxiv.org/html/2606.27766#bib.bib51),34 (https://arxiv.org/html/2606.27766#bib.bib37)]，其目标是从专家演示中推断潜在的安全约束，并将其融入策略优化。我们的工作与这些不同，我们将分布风险感知直接嵌入到生成扩散过程中，充分利用扩散模型的表达能力。

## 3 问题形式化

#### 3.0.1 马尔可夫决策过程（MDP）。

智能体在马尔可夫决策过程（MDP）下优化控制策略，该过程由元组 \(\mathcal{S},\mathcal{A},P,r,\gamma\) 定义，其中 \(\mathcal{S}\) 和 \(\mathcal{A}\) 分别表示状态空间和动作空间， \(P(s' \mid s,a)\) 是转移动态， \(r(s,a)\) 是奖励函数， \(\gamma \in (0,1)\) 是折扣因子。在每个时间步，智能体根据策略 \(\pi(a \mid s)\) 选择动作，接收奖励，并转移到下一个状态。目标在于学习一个能最大化期望折扣回报的策略。在本工作中，我们考虑离线强化学习设定，即仅从固定数据集中学习策略，无需与环境进一步交互。

#### 3.0.2 扩散规划器。

设 \(\mathbf{x}_0 = (s_0, a_0, s_1, a_1, \dots, s_{H-1}, a_{H-1}, s_H)\) 表示从离线数据集中采样的一个长度为 \(H\) 的轨迹片段，其中 \(s_t \in \mathcal{S}\) 且 \(a_t \in \mathcal{A}\)。扩散规划器 [10 (https://arxiv.org/html/2606.27766#bib.bib1)] 对关于轨迹的条件分布进行建模：\(p(\mathbf{x}_0 \mid \mathbf{c})\)，其中 \(\mathbf{c}\) 表示规划条件，如当前状态、目标或目标回报。遵循去噪扩散概率模型（DDPM）[9 (https://arxiv.org/html/2606.27766#bib.bib28)]，干净的轨迹 \(\mathbf{x}_0\) 在扩散步 \(k = 1, \dots, K\) 上逐渐被破坏成带噪声的版本 \(\mathbf{x}^k\)，并训练一个去噪网络来逆转此过程¹。具体而言，学习到的逆动态参数化为 \(p_\theta(\mathbf{x}^{k-1} \mid \mathbf{x}^k, \mathbf{c}) = \mathcal{N}\!\big(\mu_\theta(\mathbf{x}^k, k, \mathbf{c}), \Sigma_k\big)\)，其中 \(\mu_\theta\) 是一个去噪神经网络， \(\Sigma_k\) 是预定义的协方差。训练最小化标准去噪目标 [9 (https://arxiv.org/html/2606.27766#bib.bib28)]：

\[
\mathcal{L}_\mathrm{DDPM}(\theta) = \mathbb{E}_{\mathbf{x}^0, \epsilon, k} \left[ \left\| \epsilon - \epsilon_\theta(\mathbf{x}^k, k, \mathbf{c}) \right\|_2^2 \right], \tag{1}
\]

其中 \(\mathbf{x}^k = \sqrt{\bar{\alpha}_k} \mathbf{x}^0 + \sqrt{1 - \bar{\alpha}_k} \epsilon\) 表示被破坏的数据， \(\epsilon \sim \mathcal{N}(0, \mathbf{I})\) 表示采样的噪声。在推理时，规划器从高斯噪声开始，通过 \(\mu_\theta\) 迭代应用学习到的逆过程，以恢复满足 \(\mathbf{c}\) 的干净轨迹。

#### 3.0.3 引导采样。

为了将生成过程偏向于任务目标 \(y\)，我们引入一个定义在带噪轨迹上的可微引导模型，写作 \(p_\phi(y \mid \mathbf{x}^k, \mathbf{c}, k)\)。使用标准引导近似 [23 (https://arxiv.org/html/2606.27766#bib.bib14),40 (https://arxiv.org/html/2606.27766#bib.bib40),29 (https://arxiv.org/html/2606.27766#bib.bib41)]，逆向生成步骤可以被引导向期望目标，如下所示：

\[
p_{\theta, \phi}(\mathbf{x}^{k-1} \mid \mathbf{x}^k, \mathbf{c}, y) \approx \mathcal{N}\!\left( \mu_\theta(\mathbf{x}^k, k, \mathbf{c}) + w \, \Sigma_k \, g_k, \, \Sigma_k \right), \tag{2}
\]

其中 \(w > 0\) 控制引导强度， \(g_k = \nabla_{\mathbf{x}^k} \log p_\phi(y \mid \mathbf{x}^k, \mathbf{c}, k)\) 表示分类器关于带噪样本 \(\mathbf{x}^k\) 的梯度。通过分别训练扩散模型 \(\mu_\theta\) 和引导模型 \(p_\phi\)，扩散模型从离线数据中学习轨迹先验，而引导项则将去噪过程导向更满足期望目标的轨迹。

#### 3.0.4 分布价值建模。

在分布强化学习 [2 (https://arxiv.org/html/2606.27766#bib.bib18),3 (https://arxiv.org/html/2606.27766#bib.bib44)] 中，价值被建模为随机回报，而不仅仅是其期望。对于轨迹 \(\mathbf{x}\)，设 \(Z(\mathbf{x})\) 表示与 \(\mathbf{x}\) 相关的随机折扣回报。与先前仅预测期望的离线强化学习方法 [12 (https://arxiv.org/html/2606.27766#bib.bib4),28 (https://arxiv.org/html/2606.27766#bib.bib29),38 (https://arxiv.org/html/2606.27766#bib.bib13)] 不同，我们对完整的回报分布进行建模，这对于风险敏感决策至关重要。

遵循基于分位数的分布强化学习 [6 (https://arxiv.org/html/2606.27766#bib.bib3),31 (https://arxiv.