基于平滑安全结构化策略组合的安全在线学习

# 通过平滑安全结构化策略组合实现安全在线学习  
来源: https://arxiv.org/html/2606.31320  

Hongpeng Cao†cao\.hongpeng@tum\.de  
School of Engineering and Design  
Technical University of Munich  
Garching, Munich 85748, Germany  

Liqun Zhao†liqun\.zhao@eng\.ox\.ac\.uk  
Department of Engineering Science  
University of Oxford  
Oxford OX1 3PJ, United Kingdom  

Yuliang Gu†yuliang3@illinois\.edu  
Department of Mechanical Science and Engineering  
University of Illinois Urbana\-Champaign  
Urbana, IL 61801, USA  

Naira Hovakimyannhovakim@illinois\.edu  
Department of Mechanical Science and Engineering  
University of Illinois Urbana\-Champaign  
Urbana, IL 61801, USA  

Lui Shalrs@illinois\.edu  
Department of Computer Science  
University of Illinois Urbana\-Champaign  
Urbana, IL 61801, USA  

Marco Caccamomcaccamo@tum\.de  
School of Engineering and Design  
Technical University of Munich  
Garching, Munich 85748, Germany  

###### 摘要  

安全的在线强化学习要求策略在保持平滑优化动态的同时遵守安全约束。现有方法通常依赖严格的安全执行（通过动作干预），但这会引入系统交互和学习的间断；或者采用软安全约束形式，虽能保持学习平滑但安全保证有限。我们提出 **AutoSafe**，一种安全感知策略架构，将结构化的安全监控和干预直接集成到动作生成过程中。这种设计实现了性能驱动行为与安全保持行为之间的平滑、风险依赖的转换，从而产生连续的在线交互和学习动态。在一系列连续控制基准上的实证结果表明，AutoSafe 在实现强安全约束的同时，不牺牲学习平滑性。我们还在物理小车-倒立摆系统上验证了 AutoSafe，突显其在现实世界安全在线学习中的实际有效性。  

††\dagger 同等贡献。  

## 1 引言  

使深度强化学习 (DRL) 智能体能够在与环境安全交互的同时保持稳定且持续的策略改进，这仍是现实世界学习系统的核心挑战 (Ibarz et al., 2021 (https://arxiv.org/html/2606.31320#bib.bib134))。然而，在安全关键应用中，安全需求必须作为硬约束强制执行，这大大增加了在线学习的复杂性。在现有的安全强化学习 (RL) 方法中，**约束策略优化**方法 (Altman, 2021 (https://arxiv.org/html/2606.31320#bib.bib121); Achiam et al., 2017 (https://arxiv.org/html/2606.31320#bib.bib105)) 和 **安全感知奖励塑形**方法 (Westenbroek et al., 2022 (https://arxiv.org/html/2606.31320#bib.bib108); Cao et al., (https://arxiv.org/html/2606.31320#bib.bib18)) 通常将安全需求表述为 **软约束**，允许在学习过程中暂时违反，以换取长期性能的提升。这种表述的一个优点是保留了策略优化过程中平滑的梯度传播。虽然在某些场景下有效，但这种范式隐含地假设智能体通过经历安全违规来学习如何变得安全，这在安全关键应用中可能是不可接受的。  

相比之下，**安全过滤器**方法 (Hsu et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib6); Zhong et al., 2023 (https://arxiv.org/html/2606.31320#bib.bib27); Alshiekh et al., 2018 (https://arxiv.org/html/2606.31320#bib.bib11); Cheng et al., 2019b (https://arxiv.org/html/2606.31320#bib.bib10)) 通过明确的干预机制强制执行安全，该机制预先修改不安全动作。虽然这种硬执行可以提供更强的形式化安全保证，但可能引入突变的动作修正 (Hsu et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib6))，从而破坏梯度流并使在线和持续学习不稳定，尤其是在频繁干预的情况下。最近的工作探索了可微安全过滤器 (Amos and Kolter, 2017 (https://arxiv.org/html/2606.31320#bib.bib146); Xiao et al., 2023 (https://arxiv.org/html/2606.31320#bib.bib147); Jin et al., 2021 (https://arxiv.org/html/2606.31320#bib.bib148); Markgraf et al., 2025 (https://arxiv.org/html/2606.31320#bib.bib140); Suttle et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib149))，这有助于解决安全学习中的梯度流问题。然而，许多现有方法仍然依赖昂贵的在线优化，或主要在简化或离线场景中评估 (Xiao et al., 2023 (https://arxiv.org/html/2606.31320#bib.bib147); Suttle et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib149))。因此，扩展到更高维的系统仍然是一个重要挑战 (Hsu et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib6))，尤其是在需要及时高效安全干预的在线安全学习场景中。  

为了解决平滑策略优化与严格安全执行之间的基本权衡，我们提出 **AutoSafe**，一种简单而有效的 **安全感知策略架构**，它结合了强大的实时安全保证和平滑的学习动态。与现有安全 RL 方法相比，AutoSafe 引入了两个关键创新。首先，它通过可微策略组合将风险监控和安全干预作为 **结构归纳偏置** 纳入。AutoSafe 不将安全视为外部后处理步骤 (Hsu et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib6))，而是将安全感知直接集成到动作生成过程中，从而重塑策略参数化及其学习动态。关键在于，可微组合允许学习信号通过安全机制反向传播，从而在安全约束下实现稳定高效的策略优化。因此，最终策略表现出与环境固有的安全感知交互：在高风险区域行为保守，同时随着风险降低逐渐释放安全约束并恢复到名义的性能驱动行为。  

其次，与安全过滤器中典型的 **最后一刻** 干预机制（仅在触发安全条件时应用纠正动作，导致硬干预）不同，AutoSafe 嵌入了定义在整个状态空间上的 **安全策略先验**，并明确指导干预过程。该先验为安全执行提供了可靠的备用行为，并且可以使用成熟的安全控制器设计方法 (Freeman and Kokotovic, 2008 (https://arxiv.org/html/2606.31320#bib.bib2); Grandia et al., 2021 (https://arxiv.org/html/2606.31320#bib.bib124); Sha, 2001 (https://arxiv.org/html/2606.31320#bib.bib107)) 构建。通过在任何时刻提供定义良好的安全动作，AutoSafe 能够在系统达到安全边界之前进行 **预防性** 干预，从而产生更平滑的状态轨迹和更稳定的在线学习。  

我们在多个模拟基准上将 AutoSafe 与代表性的安全过滤器方法和安全强化学习基线进行比较。AutoSafe 一致地表现出稳定的学习动态，实现了与标准安全过滤器相当的安全保证，并在任务性能上匹配或超越了最先进的安全学习方法。我们还通过真实世界的小车-倒立摆训练实验展示了 AutoSafe 的实际价值。我们的贡献如下： (i) 我们提出了一种安全感知策略架构，将安全监控和干预作为 **结构归纳偏置** 嵌入，实现平滑的动作生成和稳定的在线学习。 (ii) 我们提供了对所提架构关键属性（包括其平滑干预行为和学习动态）的理论见解。 (iii) 我们在在线策略学习场景中，在一系列模拟连续控制任务上，将 AutoSafe 与代表性的安全过滤器和安全感知学习基线进行了实证评估。 (iv) 我们通过在小车-倒立摆系统上的真实世界实验展示了 AutoSafe 的实际适用性。  

## 2 预备知识  

### 2.1 硬安全约束下的策略学习  

我们将安全学习问题形式化为一个无限时域折扣马尔可夫决策过程 (MDP)，定义为 M={S,A,P,R,γ}\\mathcal\{M\}=\\\{\\mathcal\{S\},\\mathcal\{A\},P,R,\\gamma\\\}\。这里，S⊆Rn\\mathcal\{S\}\\subseteq\\mathbb\{R\}^\{n\} 表示 n 维状态空间，A⊆Rm\\mathcal\{A\}\\subseteq\\mathbb\{R\}^\{m\} 表示 m 维动作空间，P:S×A→SP:\\mathcal\{S\}\\times\\mathcal\{A\}\\rightarrow\\mathcal\{S\} 是状态转移函数，R:S×A→RR:\\mathcal\{S\}\\times\\mathcal\{A\}\\rightarrow\\mathbb\{R\} 是有界奖励函数，γ∈(0,1)\\gamma\\in\(0,1\) 是折扣因子。硬安全约束下的深度强化学习目标是找到一个策略 πθ:S→A\\pi^\{\\theta\}:\\mathcal\{S\}\\rightarrow\\mathcal\{A\}，在最大化期望折扣回报的同时，确保在所有时间步满足约束：  

maxπθ\displaystyle\\max\_\{\\pi^\{\\theta\}\}\\quad Vπθ(s)=Eτ∼πθ[∑t=0∞γtR(st,at)|s0=s],\displaystyle V^\{\\pi^\{\\theta\}\}\(\\mathbf\{s\}\)=\\mathbb\{E\}\_\{\\tau\\sim\\pi^\{\\theta\}\}\\left\[\\sum\_\{t=0\}^\{\\infty\}\\gamma^\{t\}R\(\\mathbf\{s\}\_\{t\},\\mathbf\{a\}\_\{t\}\)~\\bigg\|~\\mathbf\{s\}\_\{0\}=\\mathbf\{s\}\\right\],\(1\)  
s.t. st∈Sc,∀t∈N.\displaystyle\\mathbf\{s\}\_\{t\}\\in\\mathcal\{S\}\_\{c\},\\quad\\forall t\\in\\mathbb\{N\}\.\(2\)  

这里，τ={s0,a0,s1,a1,...}\\tau=\\\{\\mathbf\{s\}\_\{0\},\\mathbf\{a\}\_\{0\},\\mathbf\{s\}\_\{1\},\\mathbf\{a\}\_\{1\},\\ldots\\\} 表示由策略 πθ\\pi^\{\\theta\} 诱导的轨迹，Sc⊆S\\mathcal\{S\}\_\{c\}\\subseteq\\mathcal\{S\} 表示可允许（安全）状态集。在本工作中，我们考虑状态和动作空间均为连续的完全可观察 MDP。  

### 2.2 安全过滤器  

安全过滤器是一种自动机制，持续监控自主系统的状态，并在检测到安全风险时通过修改预期动作进行干预 (Hsu et al., 2024 (https://arxiv.org/html/2606.31320#bib.bib6))。安全过滤器的目标是在交互过程中强制执行硬安全约束，同时在可能的情况下允许基于学习的策略优化任务性能。  

参见说明 (a) 一种安全过滤器，监控系统状态并在检测到安全风险时修改动作。  

参见说明 (b) AutoSafe 策略架构，通过状态相关的风险感知权重 λ\\lambda 对基于学习的策略和经过认证的安全策略进行可微凸组合。  

图 1：传统安全过滤器架构与所提出的 AutoSafe 策略架构示意图。  

如图 1(a) (https://arxiv.org/html/2606.31320#S2.F1.sf1) 所示，通常安全过滤器由三个组件组成。首先，**安全监控器** Δ:S×(A)→R\\Delta:\\mathcal\{S\}\\times\(\\mathcal\{A\}\)\\rightarrow\\mathbb\{R\} 通过产生一个标量安全裕度测量值，评估给定状态和（可能的）预期动作相关的风险。其次，**备用（安全）策略** πsafe:S×(A)→A\\pi^\{\\mathrm\{safe\}\}:\\mathcal\{S\}\\times\(\\mathcal\{A\}\)\\rightarrow\\mathcal\{A\} 基于状态和（可能的）预期不安全动作提供安全动作，该策略通常是确定性的，旨在将系统状态保持在约束集 Sc\\mathcal\{S\}\_\{c\} 内。最后，**干预机制** η:S×A→A\\eta:\\mathcal\{S\}\\times\\mathcal\{A\}\\rightarrow\\mathcal\{A\} 决定何时以及如何应用备用策略。  

现有关于安全过滤器的工作主要集中在安全策略 πsafe(⋅)\\pi^\{\\mathrm\{safe\}\}\(\\cdot\) 的设计上，包括 **动作替换** (Sha, 2001 (https://arxiv.org/html/2606.31320#bib.bib107); Zhong et al., 2023 (https://arxiv.org/html/2606.31320#bib.bib27); Phan et al., 2020 (https://arxiv.org/html/2606.31320#bib.bib112); Alshiekh et al., 2018 (https://arxiv.org/html/2606.31320#bib.bib11)) 和 **动作投影** (Cheng et al., 2019a (https://arxiv.org/html/2606.31320#bib.bib19); Ames et al., 2019 (https://arxiv.org/html/2606.31320#bib.bib8); Grandia et al., 2021 (https://arxiv.org/html/2606.31320#bib.bib124))，以及安全监控器 Δ(⋅)\\Delta\(\\cdot\) 的设计，后者通常分为 **基于值** (Ames et al., 2019 (https://arxiv.org/html/2606.31320#bib.bib8); Phan et al., 2020 (https://arxiv.org/html/2606.31320#bib.bib112)) 或 **基于 rollout** (Chen et al., 2021 (https://arxiv.org/html/2606.31320#bib.bib135); Bastani, 2021 (https://arxiv.org/html/2606.31320#bib.bib136)) 的方法。相比之下，对干预机制本身的关注相对较少。因此，大多数现有安全过滤器采用二元干预逻辑，要么通过动作替换显式实现，要么通过基于优化的动作投影隐式实现，形式如下：  

η(st,atθ)={atθ∼πθ(⋅∣st),if Δ(st,atθ)>Δmin,atsafe=πsafe(st),otherwise.\displaystyle\\eta\(\\mathbf\{s\}\_\{t\},\\mathbf\{a\}^\{\\theta\}\_\{t\}\)=\\begin\{cases\}\\mathbf\{a\}^\{\\theta\}\_\{t\}\\sim\\pi^\{\\theta\}\(\\cdot\\mid\\mathbf\{s\}\_\{t\}\),&\\text\{if \}\\Delta\(\\mathbf\{s\}\_\{t\},\\mathbf\{a\}^\{\\theta\}\_\{t\}\)\>\\Delta\_\{\\text\{min\}\},\\\\\[4\.0pt\] \\mathbf\{a\}^\{\\mathrm\{safe\}\}\_\{t\}=\\pi^\{\\mathrm\{safe\}\}\(\\mathbf\{s\}\_\{t\}\),&\\text\{otherwise\.\}\\end\{cases\}  

这里，atθ\\mathbf\{a\}^\{\\theta\}\_\{t\} 表示由基于学习的策略 πθ\\pi^\{\\theta\} 生成的动作。Δ(st,at)\\Delta\(\\mathbf\{s\}\_\{t\},\\mathbf\{a\}\_\{t\}\) 表示时间步 t 的安全裕度，其中安全条件 Δ(st,atθ)>Δmin\\Delta\(\\mathbf\{s\}\_\{t\},\\mathbf\{a\}^\{\\theta\}\_\{t\}\)\>\\Delta\_\{\\text\{min\}\} 由状态-动作相关的安全证书（如控制屏障函数）或与闭环动力学相关的状态相关安全度量 Δ(st)\\Delta\(\\mathbf\{s\}\_\{t\}\)（例如，基于李雅普诺夫的安全值）导出。满足此条件确保系统保持在预定义的安全集内。  

## 3 安全过滤的 Actor-Critic 深度强化学习  

AutoSafe 的一个关键动机来自于在线深度强化学习通过 **样本** 与随机策略进行环境交互这一事实。使用传统安全过滤器时，不安全样本通过硬干预被处理为确定性安全备用动作，这确实保证了安全，但产生了不良的学习行为：每当过滤器触发时，执行的动作变得 **独立于** πθ\\pi^\{\\theta\}。结果，智能体几乎无法获得关于 **如何** 更新策略以避免未来安全干预的学习信号。更具体地说，大多数用于连续控制的深度强化学习算法采用 actor-critic 架构，其中参数化策略（actor）使用一个或多个 critic 网络的学习信号进行优化。将策略表示为 πθ:S→A\\pi^\{\\theta\}:\\mathcal\{S\}\\rightarrow\\mathcal\{A\}，并将某种形式的由 ψ\\psi 参数化的、针对 πθ\\pi^\{\\theta\} 的 critic 函数表示为 Cπθψ:S×A→RC^\{\\psi\}\_\{\\pi^\{\\theta\}\}:\\mathcal\{S\}\\times\\mathcal\{A\}\\rightarrow\\mathbb\{R\}。在无安全过滤器的正常情况下的 actor 更新梯度可以一般地表示为：  

∇θJ(θ)=Es∼Dπθ[∇θπθ(s)∇aθCπθψ(s,aθ)],\\nabla\_\{\\theta\}J\(\\theta\)=\\mathbb\{E\}\_\{\\mathbf\{s\}\\sim\\mathcal\{D\}^\{\\pi^\{\\theta\}\}\}\\Big\[\\nabla\_\{\\theta\}\\pi^\{\\theta\}\(\\mathbf\{s\}\)\\,\\nabla\_\{\\mathbf\{a\}^\{\\theta\}\}C^\{\\psi\}\_\{\\pi^\{\\theta\}\}\(\\mathbf\{s\},\\mathbf\{a\}^\{\\theta\}\)\\Big\],\(3\)  

其中 Dπθ\\mat