SteinGate: 基于Stein散度的尾敏感安全强化学习

arXiv cs.LG 论文

摘要

SteinGate引入了一种基于核化Stein散度的分布安全证书,用于检测安全强化学习中罕见的灾难性尾部事件,动态调整策略更新以减少约束违反,同时保持有竞争力的回报。

arXiv:2607.13175v1 公告类型:新 摘要:安全强化学习通常通过限制期望累积成本来保证安全,但这种标准往往无法检测到罕见但灾难性的尾部事件。为克服这些限制,本文引入了SteinGate,这是一种边界感知的分布安全证书,它使用核化Stein散度进行鲁棒的一致性检查,替代了脆弱的尾部拟合,同时考虑了由裁剪成本引起的边界原子。SteinGate评估观察到的策略rollout成本是否与安全参考分布保持一致,提供了一种非参数安全证书。该证书用于动态调整学习机制:当rollout与安全参考保持一致时,倾向于奖励改进的策略更新;当成本尾部偏离时,切换到恢复行为。在连续控制基准上的实验表明,与最先进的基线相比,SteinGate在训练期间显著降低了约束违反的频率和严重程度,同时保持了有竞争力的回报。
查看原文
查看缓存全文

缓存时间: 2026/07/16 04:21

# SteinGate:基于斯坦散度的尾部敏感安全强化学习
来源:https://arxiv.org/html/2607.13175
亚辛·舍明吉([https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper](https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper))同等贡献
电气工程与计算机科学学院,华盛顿州立大学,普尔曼,华盛顿州,美国
陈华帆∗([https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper](https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper))
电气工程与计算机科学学院,华盛顿州立大学,普尔曼,华盛顿州,美国
洪浩玮([https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper](https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper))
电气工程与计算机科学学院,华盛顿州立大学,普尔曼,华盛顿州,美国
贾纳尔丹·拉奥·多帕([https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper](https://arxiv.org/html/2607.13175v1/mailto:[email protected]>?Subject=Your%20UAI%202026%20paper))
电气工程与计算机科学学院,华盛顿州立大学,普尔曼,华盛顿州,美国

###### 摘要

安全强化学习通常通过限制期望累积成本来保证安全,但这种标准往往无法检测到罕见但灾难性的尾部事件。为克服这些局限性,本文引入了 **SteinGate**,一种边界感知的分布安全证书。它利用核化斯坦散度(Kernelized Stein Discrepancy)替换了脆弱的尾部拟合,采用鲁棒的一致性检验,同时考虑了由成本截断引起的边界原子。SteinGate 评估观测到的策略 rollout 成本是否与安全参考分布保持一致,从而提供一个非参数化的安全证书。该证书用于动态调整学习模式:当 rollout 与安全参考保持一致时,支持奖励改进的策略更新;当成本尾部出现偏差时,切换为恢复行为。在连续控制基准上的实验表明,与最先进的基线方法相比,SteinGate 在训练过程中显著降低了违规的频率和严重程度,同时保持了竞争力的回报。

## 1 引言

安全强化学习的目标是在未知环境中部署自主智能体,这些环境中由于关键的物理或操作约束,探索必须受到限制。在自主机器人、医疗系统和工业控制等高风险应用中,强化学习智能体固有的试错特性会成为一个重大隐患。在这些领域,单次灾难性失败的代价可能超过数千次成功运行的好处[zhang2020cautious, yu2021reinforcement]。因此,安全强化学习的目标必须超越简单的奖励最大化,确保安全违规不仅受到惩罚,而且被严格预防。

安全强化学习问题被建模为约束马尔可夫决策过程[altman2021constrained],安全性通常以平均方式实施:期望累积成本需要控制在给定阈值以下[altman2021constrained, achiam2017constrained]。虽然计算方便,但这些方法存在一个根本性的“期望近视”问题。仅调控成本分布的均值,允许一个策略通过平衡罕见的灾难性失败与大量安全回合来满足安全限制。这种风险掩盖行为是一个关键缺陷:一个策略可能在纸面上看起来安全,但在实际中却非常容易发生标准安全机制忽略的极端尾部事件。

这种“期望近视”激发了对安全强化学习中风险敏感表述的日益增长的兴趣,包括机会约束和一致风险度量,如风险价值(VaR)和条件风险价值(CVaR)[sarykalin2008value, chow2018risk]。最近,极值理论被用于直接建模重尾分布的行为[gao2026extremevaluepolicyoptimization, ns2024extreme]。尽管具有理论吸引力,但在实践中实施这些约束颇具挑战性,因为罕见事件估计在在线强化学习中本质上不稳定。策略更新会持续改变 rollout 分布,而轨迹相关性降低了有效样本量[corrado2026onpolicy]。此外,回合训练、终止规则和成本截断常常导致结构性伪影,例如质量在零成本附近或违规阈值处积累,这使经典的尾部建模假设变得复杂。因此,直接的尾部估计可能具有高方差和脆弱性,导致训练过程中在过度保守和灾难性失败之间震荡。

本文为尾部敏感安全强化学习提出了一种新颖且根本不同的视角:我们不显式建模成本分布的尾部,而是通过分布比较来认证尾部风险。我们的核心思想是通过将当前策略的 rollout 成本分布与指定的安全参考分布[bellemare2017distributional]进行比较,来界定尾部敏感风险泛函[rockafellar2000optimization]的上限。参考分布规定了在所需安全预算下可接受的成本行为,并作为分布认证的目标。直观地说,如果当前策略的分布保持接近一个认证安全参考,那么它的尾部风险可以被证明是有界的。这将安全监控转化为在非平稳、基于样本的条件下衡量分布偏离的问题。

为了在理论上将此想法应用于安全强化学习,我们利用斯坦方法(Stein's method),这是一种用于界定未知分布与目标参考分布下期望差异的泛函分析工具[stein1972bound, gorham2015measuring]。具体来说,我们利用核化斯坦散度(KSD)[liu2016kernelized]来量化智能体当前策略π\下的 rollout 分布qπ\与预先认证的安全基线之间的散度。KSD 非常适合我们安全强化学习的需求,因为它避免了显式密度估计。虽然强化学习策略 rollout 提供了丰富的成本样本,但底层的 rollout 分布通常是隐式的且难以处理。KSD 通过将来自qπ\的经验样本与所选参考分布pp\的得分函数(∇log p) 进行比较,绕过了这一瓶颈。通过将斯坦方法与尾部敏感测试函数结合,我们能够推导出约束违规概率的一个可计算的上限。这个界限可以作为一个严格的分布安全证书,允许实时监控策略的尾部风险。与标准的期望成本不同,这个证书为智能体提供了其行为与安全参考保持一致的正式保证,防止在灾难性失败发生之前出现危险分布偏移。

我们将此分布证书通过一种称为 **SteinGate** 的机制集成到策略优化循环中。标准的拉格朗日方法将安全性作为“软”惩罚,常常导致训练不稳定[stooke2020responsive, spoor2025empirical],或出现当成本惩罚未被充分执行时奖励目标可能有效压倒约束的情况(即由拉格朗日乘子控制的约束权衡)[spoor2025empirical]。相反,SteinGate 通过使用认证的上限作为 bang-bang 控制器来消除这种风险:
1.  奖励最大化模式:仅当证书验证尾部风险保持在规定预算内时,优化才进行。
2.  安全恢复模式:如果边界被违反,算法立即切换为优先降低成本,完全忽略奖励梯度。
我们的方法确保智能体永远不会为了高回报而牺牲安全性;它避免了传统方法通过平衡奖励与成本之间权衡来调整安全惩罚所产生的不稳定性。我们进一步证明,在边际策略更新的信任区域条件下,每次改进步骤都以高概率保持规定的尾部风险预算。

我们的贡献总结如下:
-   **边界感知的混合斯坦证书**:我们为安全强化学习中的归一化截断成本分布推导了一个尾部风险上界。我们的框架引入了一个混合离散连续参考模型和分裂散度,显式地考虑了由成本截断引起的边界原子,从而无需参数化尾部拟合即可进行严格的分布认证。
-   **SteinGate 机制与安全保证**:我们将此证书集成到一个强制执行硬安全优先级的词典式切换控制器中。我们为经验证书提供了集中结果,并建立了一个信任区域条件,在该条件下策略更新以高概率保持规定的风险预算。
-   **经验稳定性与性能**:在连续控制基准上,与基于期望和基于尾部建模的基线相比,SteinGate 显著降低了违规率,提高了训练稳定性,同时保持了具有竞争力的奖励性能。消融实验进一步显示,在不同成本阈值、样本量和合理的参考选择下,其行为保持稳定。

## 2 问题设置

安全强化学习问题通常被建模为有限时域约束马尔可夫决策过程(CMDP)。一个 CMDP 由元组 $\mathcal{M}=(\mathcal{S},\mathcal{A},P,r,c,H,\mu_0)$ 定义,其中 $\mathcal{S}$ 和 $\mathcal{A}$ 表示状态和动作空间,$P(\cdot|s,a)$ 表示随机转移核,$r(s,a)$ 是奖励函数,$c(s,a)\geq 0$ 是成本函数,$H$ 是时域长度,$\mu_0$ 是初始状态分布。对于一个随机策略 $\pi(\cdot\mid s)$,我们考虑诱导的轨迹 $\tau=(s_0,a_0,\dots,s_{H-1},a_{H-1},s_H)$,其中 $s_0\sim\mu_0$,$a_t\sim\pi(\cdot|s_t)$,$s_{t+1}\sim P(\cdot\mid s_t,a_t)$。期望累积奖励,即奖励价值函数,定义为:
$$
V_R^\pi(s)=\mathbb{E}_\pi\left[\sum_{t=0}^{H-1} r(s_t,a_t)\bigg| s_0=s\right].
$$
(1)
特定轨迹 $\tau$ 的累积回合成本为:
$$
C(\tau) \; \coloneqq \; \sum_{t=0}^{H-1} c(s_t,a_t).
$$
(2)
给定一个预定义的成本限制 $d>0$,标准 CMDP 目标是在基于期望的安全/成本约束下最大化期望累积奖励:
$$
\max_{\pi\in\Pi}\mathbb{E}_{s\sim\mu_0}[V_R^\pi(s)] \quad\text{s.t.}\quad \mathbb{E}_{\tau\sim\pi}[C(\tau)]\leq d,
$$
(3)
其中 $\Pi$ 表示可行策略集。

**超越期望成本:尾部敏感约束。** 在许多安全关键应用中,对期望成本的常见约束是不够的。这是因为期望公式允许一个策略通过平衡罕见的灾难性失败与大量安全运行来平均满足安全限制。为了防止这些不可接受的风险,我们将策略 $\pi$ 的策略风险 $C_h^\pi(\mu_0)$ 定义为光滑代理函数 $h$ 的期望值:
$$
C_h^\pi(\mu_0) \coloneqq \mathbb{E}_{\tau\sim\pi}[h(C(\tau))] = \mathbb{E}_\pi\left[h\left(\sum_{t=0}^{H-1} c(s_t,a_t)\right)\right].
$$
(4)
我们将 $C_h^\pi(\mu_0)$ 记为 $C_h^\pi$,并将 $\mathbb{E}_{\tau\sim\pi}[h(C(\tau))]$ 记为 $\mathbb{E}_{C\sim q_\pi}[h(C)]$,其中 $q_\pi$ 是由策略 $\pi$ 诱导的轨迹累积成本分布,以简化符号。在以下章节中,对于给定的策略,我们也使用 $C$ 表示 $C(\tau)$,它是一个随机变量,不会引起歧义。这里的代理函数 $h$ 充当风险形状算子,它将累积成本转换为特定的安全度量,并提供定义不同安全目标的灵活性。具体来说,$h$ 可以实现为软阈值,作为违规概率的光滑代理[cao2020sigmoidal],或者作为障碍惩罚(例如指数函数或幂函数),以严厉阻止接近高成本区域的轨迹[mihatsch2002risk]。它也可以建模为生存函数,将成本累积映射到有界的失败风险[wang2023enforcing]。最终,这种灵活性允许风险泛函 $C_h^\pi$ 针对成本分布的特定部分,提供比标准期望成本安全更精确的安全信号。因此,在本文中,我们考虑一个更一般的约束强化学习目标:
$$
\max_{\pi\in\Pi}\mathbb{E}_{s\sim\mu_0}[V_R^\pi(s)] \quad\text{s.t.}\quad C_h^\pi(\mu_0)\leq\varepsilon.
$$
(5)

## 3 基于斯坦的分布认证

在求解 Eq. (5) 中的优化问题时,通过蒙特卡洛 rollout 直接估计风险函数 $C_h^\pi$ 通常不可靠,尤其是在罕见事件场景下。当安全违规不频繁时,$\mathbb{E}_{C\sim q_\pi}[h(C)]$ 的经验估计具有高方差。这种不稳定性会因在线策略更新期间发生的非平稳分布偏移而进一步加剧,使得估计过于脆弱,无法提供可靠的安全保证。下面,我们提供斯坦方法的相关背景知识,并描述如何应用它来应对这一挑战。

**斯坦方法与斯坦散度。** 量化策略 rollout 分布 $q_\pi$ 与参考分布 $p$ 之间的差异本质上很困难,因为这两种分布通常是隐式的,缺乏闭式密度。斯坦方法[stein1972bound]提供了一种原则性的方法,通过线性算子表征 $p$,来比较(通常是隐式的)rollout 分布 $q_\pi$ 与参考分布 $p$。设 $p$ 是开集 $\mathcal{C}\subseteq\mathbb{R}^d$ 上的目标分布,具有连续可微密度和得分函数 $s_p(x)\coloneqq\nabla_c\log p(x)$。**斯坦算子** $\mathcal{A}_p$ 是任何满足斯坦恒等式 $\mathbb{E}_{C\sim p}[(\mathcal{A}_p f)(C)]=0$ 的线性算子,其中 $C$ 是一个随机变量,$f$ 属于一个合适的函数类。对于绝对连续目标,一个规范的选择是 Langevin-Stein 算子[gorham2015measuring]:
$$
(\mathcal{A}_p f)(c) \;:=\; \langle s_p(c), f(c)\rangle \;+\; \nabla\!\cdot f(c),
$$
(6)
其中 $f:\mathbb{R}^d\to\mathbb{R}^d$ 是向量值函数,$\nabla\!\cdot f$ 表示散度[barbour1990stein]。对于超出函数类 $\mathcal{H}$ 中的任意给定测试函数 $h$,斯坦方程寻求一个解 $f_h$,使得:
$$
(\mathcal{A}_p f_h)(C)=h(C)-\mathbb{E}_{C\sim p}[h(C)].
$$
(7)
这样,我们能够获得以下引理中的斯坦型上界,这构成了一个核心的安全证书。

相似文章

部分可观测下安全关键控制的动作条件风险门控

arXiv cs.LG

本文提出了动作条件风险门控(Action-Conditioned Risk Gating),一种用于部分可观测下风险敏感控制的轻量级强化学习方法,该方法利用紧凑的有限历史代理状态和基于动作条件的近期风险预测器来平衡安全性和性能。

通过自适应安全约束实现非平稳环境下的安全持续强化学习

arXiv cs.LG

提出LILAC+框架,用于非平稳环境下的安全持续强化学习,该框架采用三种自适应安全机制:基于上下文的安全约束、适应速度约束和预算到状态的安全执行。在模拟驾驶环境中的评估表明,在分布偏移下,该框架减少了安全违规,同时保持了竞争性的性能。

SafeDiffusion-R1: 在线奖励引导的安全扩散后训练

Hugging Face Daily Papers

SafeDiffusion-R1 引入了一个基于 GRPO 和引导奖励机制的在线强化学习框架,用于提升扩散模型的安全性,无需监督数据或奖励调优,在多个有害类别上实现了最先进的性能。