部分可观测下安全关键控制的动作条件风险门控
摘要
本文提出了动作条件风险门控(Action-Conditioned Risk Gating),一种用于部分可观测下风险敏感控制的轻量级强化学习方法,该方法利用紧凑的有限历史代理状态和基于动作条件的近期风险预测器来平衡安全性和性能。
arXiv:2605.14246v1 公告类型:新
摘要:许多安全关键控制问题被建模为风险敏感的部分可观测马尔可夫决策过程,其中控制器必须在不完整观测下做出决策,同时平衡任务性能与安全风险。尽管信念空间规划提供了原则性解决方案,但在实际领域中维护和规划信念可能计算成本高昂且对模型规格敏感。我们提出了一种用于部分可观测下风险敏感控制的轻量级风险门控强化学习近似方法。该方法构建了一个紧凑的有限历史代理状态,并学习了一个基于动作条件的近期安全违规预测器。这个预测的候选动作风险以两种互补方式使用:作为价值学习过程中的风险惩罚,以及作为在乐观和保守集成价值估计之间插值的决策时间门控。因此,低风险动作被评估得更接近追求奖励的估计,而高风险动作则被评估得更保守。我们在两个安全关键部分可观测领域评估了该方法:自动血糖调节和安全约束导航。在成人和青少年血糖控制队列中,该方法改善了整体血糖权衡,并相对于信念空间规划基线显著减少了运行时间。在Safety-Gym导航基准测试中,它实现了比无约束强化学习和多个标准安全强化学习基线更有利的奖励-成本平衡。这些结果表明,当完整的信念空间规划不切实际时,基于动作条件的近期风险可以为近似风险敏感POMDP控制提供有效的局部信号。
查看缓存全文
缓存时间: 2026/05/15 06:28
# 动作条件风险门控用于部分可观测下的安全关键控制
来源: https://arxiv.org/html/2605.14246
Yushen Liu 弗吉尼亚大学
& Yin-Jen Chen 谷歌
& Ziyi Chen 马里兰大学帕克分校
& Tao Wang 斯坦福大学
& Heng Huang 马里兰大学帕克分校
& Xugui Zhou 路易斯安那州立大学
& Yanfu Zhang 威廉玛丽学院
###### 摘要
许多安全关键控制问题被建模为风险敏感的部分可观测马尔可夫决策过程,其中控制器必须从不完整的观测中做出决策,同时平衡任务性能与安全风险。尽管信念空间规划提供了一种原则性解决方案,但在实际领域中维护和规划信念在计算上可能成本高昂且对模型规范敏感。我们提出了一种轻量级的风险门控强化学习近似方法,用于部分可观测下的风险敏感控制。该方法构建了一个紧凑的有限历史代理状态,并学习一个动作条件的近端安全违规预测器。该预测的候选动作风险以两种互补的方式使用:在价值学习期间作为风险惩罚,以及作为决策时的门控,在乐观和保守的集成价值估计之间进行插值。因此,低风险动作被评估得更接近追求奖励的估计,而高风险动作则被评估得更保守。我们在两个安全关键的部分可观测领域评估了该方法:自动血糖调节和安全约束导航。在成人和青少年血糖控制队列中,该方法改善了整体血糖权衡,并显著减少了相对信念空间规划基线的运行时间。在Safety-Gym导航基准上,它实现了比无约束强化学习和几种标准安全强化学习基线更有利的奖励-成本平衡。这些结果表明,当完整的信念空间规划不可行时,动作条件的近端风险可以为近似风险敏感部分可观测马尔可夫决策过程控制提供有效的局部信号。
## 1 引言
许多现实世界的控制问题既具有安全关键性又具有部分可观测性,出现在智能体必须在噪声感知、不完美控制和不确定环境动态下行动的场景中 (Lauriet al. (2023); Carret al. (2023))。在这种情况下,智能体必须从不完整的观测中选择动作,同时避免罕见但代价高昂的失败。例子包括自动血糖调节,其中隐藏的餐后吸收和延迟的胰岛素动态塑造未来风险;以及安全约束导航,其中潜在干扰或有限的可观测性可能使看似良好的动作转为不安全。在这两种情况下,高性能本身是不够的:控制器必须在近端危险升高时保守行事,但又必须足够有效以完成任务。解决此类问题的一个原则性框架是部分可观测马尔可夫决策过程 (POMDP) (Cassandra (1998)),其中智能体维护关于潜在状态的信念并在信念空间中进行规划。然而,在实践中,信念状态控制可能难以部署在安全关键环境中 (Shaniet al. (2013))。准确的信念更新需要通常不可用的转移模型和观测模型,并且在线信念空间规划即使使用近似模型也可能保持计算昂贵 (Silver 和 Veness (2010))。此外,虽然完整的信念状态是优化POMDP控制的原则性充分统计量,但在某些安全关键任务中,它可能比特定近似控制器所需的信息更多。对于这里考虑的设置,我们专注于一个更窄的决策问题:候选动作是否可能导致近端安全违规。因此,我们研究一个从近期历史计算出的动作条件近端危险估计是否能提供足够的安全相关信息以实现有效控制,而无需显式维护完整的信念状态 (Kaelblinget al. (1998); Yu (2006); Carret al. (2023))。这表明,对于安全决策主要由短视野约束风险主导的控制器,估计动作条件近端危险可能为维护完整潜在状态信念提供一种实用的替代方案。这一观察激发了显式信念空间控制的一种更轻量的替代方案。我们提出了一种风险门控强化学习框架,用于部分可观测下的安全关键控制,通过使用紧凑的历史依赖代理状态和动作条件的近端危险估计来避免显式信念更新。图1 (https://arxiv.org/html/2605.14246#S1.F1.1) 总结了所提方法相对于经典POMDP规划和标准安全强化学习的定位:它像POMDP方法一样针对部分可观测性,但避免了显式信念更新,同时保留了强化学习风格动作评估的计算简单性。
位置。我们的方法针对部分可观测下的安全关键控制,例如自动血糖调节和安全约束导航。与经典POMDP方法不同,它通过使用紧凑代理状态避免了显式信念更新和在线信念空间规划。与通常假设完全状态访问的标准安全强化学习不同,它从部分观测中估计动作条件近端风险,并使用该风险在乐观和保守的集成Q值之间进行插值。这提供了信念空间POMDP规划与完全可观测安全强化学习之间的轻量级中间地带。
参考标题
图 1: 风险门控强化学习相对于经典POMDP和标准安全强化学习的定位。
关键设计选择是直接从近期历史中估计每个候选动作的近端风险,而不是推断完整的潜在状态后验 (Royet al. (2005); Rigteret al. (2023))。对于每个候选动作 \(a\in\mathcal{A}\),控制器预测 \(\hat{\rho}_t(a)\approx\mathbb{P}(E_t(a)=1\mid H_t)\),其中 \(E_t(a)\) 表示短视野内的安全违规。然后使用这个预测危险对动作评估进行门控,在更乐观和更保守的价值估计之间切换,使得控制器对低风险动作更激进,对高风险动作更保守。我们的方法可以被解释为一种面向决策的压缩POMDP近似。我们不是学习或更新完整的潜在信念,而是保留两个旨在动作选择的数量:近期观测的压缩摘要和动作条件近端危险预测器。这避免了显式信念更新,同时旨在保留与短视野安全感知控制最相关的信息。由此产生的框架轻量、模块化,并且易于在实际的离散动作空间中实现。关于所提方法、潜在状态POMDP视角和替代风险感知表示之间关系的额外直觉在附录A (https://arxiv.org/html/2605.14246#A1) 中提供。
我们在两个不同的安全关键部分可观测设置中评估所提方法:FDA接受的UVa/Padova模拟器中的自动血糖调节 (Manet al. (2014); Zhouet al. (2022)),以及Safety-Gym基准中的安全导航 (Jiet al. (2023))。这些领域在动力学、观测和任务目标上差异很大,但共享相同的核心挑战:智能体必须在部分可观测下行动,同时平衡性能和约束避免。在两个领域中,我们发现相对于基于信念的规划和标准安全强化学习基线,风险门控控制在性能、安全和计算效率之间取得了强有力的平衡。
本文做出三个主要贡献。首先,我们引入了一个安全关键部分可观测控制的框架,通过使用紧凑的历史依赖代理状态和动作条件近端危险估计来避免显式信念更新。其次,我们提出了一种风险门控动作评估规则,使用预测危险在乐观和保守的价值估计之间进行插值。第三,我们在血糖调节和Safety-Gym导航中证明,这种设计在任务性能、安全和计算效率之间实现了有利的平衡。
## 2 相关工作
##### 部分可观测性与基于信念的控制。POMDP通过维护潜在变量上的信念状态,为部分可观测下的序贯决策提供了原则性框架 (Cassandra (1998))。原则上,信念空间规划可以在不确定性下恢复最优决策,但在实践中,精确的滤波和规划在连续、高维或安全关键设置中通常是难以处理的 (Pineauet al. (2003); Shaniet al. (2013))。近似的信念压缩、学习的潜在状态模型和递归强化学习减轻了这种负担,但它们仍然旨在通过显式信念维护或隐式隐藏状态来保留未来相关不确定性的广泛摘要 (Kurniawatiet al. (2008); Igl 等人 (2018))。这些方法旨在保留对一般未来预测或长视野控制有用的信息。我们的工作采取了一种更面向决策的视角。我们不是学习或更新通用信念或潜在状态,而是专注于一个更窄的安全相关量:动作条件近端违规概率。这并不意味着在一般POMDP中完全信念推理是不必要的。相反,我们研究的是,在考虑的安全关键任务中,紧凑的近期历史代理与显式近端危险估计是否可以为决策时的安全评估提供实用的替代。
##### 安全强化学习。安全强化学习研究如何在优化性能的同时,在学习与部署过程中尊重约束或限制不安全行为 (Rayet al. (2019b))。大多数安全强化学习方法通过期望成本、约束、拉格朗日惩罚、屏蔽或基于模型的干预来处理安全性 (Achiam 等人 (2017); Ibrahim 等人 (2024); Könighofer 等人 (2025)),但它们没有显式建模每个候选动作的近端危险在部分可观测下如何变化。相反,许多部分可观测强化学习方法学习隐藏状态摘要,而没有暴露一个可以直接塑造决策时动作评估的显式动作条件安全量。我们的方法与这些方法互补。它使用学习的近端风险预测器不仅作为惩罚或约束信号,而且作为一个门控,直接在乐观和保守的价值估计之间为每个候选动作进行插值。从这个意义上说,预测的危险影响动作在决策时的评估方式,而不仅仅是修改训练目标或在价值估计后过滤动作。
## 3 部分可观测下的风险门控控制
### 3.1 问题设置与基于历史的代理状态
我们将风险门控控制制定为安全关键POMDP的一种面向决策的替代。在时间 \(t\),环境有一个未观测的潜在状态 \(s_t\in\mathcal{S}\),而控制器接收到部分观测 \(y_t\in\mathcal{O}\)。它选择一个动作 \(a_t\in\mathcal{A}\),获得任务奖励 \(r_t\),并观察到安全成本或违规信号 \(c_t\)。令
\[ H_t=(y_1,a_1,r_1,c_1,\ldots,y_{t-1},a_{t-1},r_{t-1},c_{t-1},y_t) \quad (1) \]
表示可用历史。在经典POMDP中,最优控制的充分统计量是信念状态 \(b_t=\mathbb{P}(s_t\mid H_t)\)。我们不在信念空间 \(b_t\) 中随时间维护和规划,而是将最近 \(W\) 步历史压缩为一个代理状态
\[ o_t=\phi(\mathcal{W}_t^W)\in\widetilde{\mathcal{S}}, \quad (2) \]
其中 \(\mathcal{W}_t^W=(y_{t-W+1},a_{t-W+1},\ldots,y_t)\),且 \(\phi(\cdot)\) 聚合最近的观测、动作和延迟执行效果。这个代理状态既用于风险预测又用于价值学习的信息输入。因此,控制器避免了显式信念更新和在线信念空间规划,同时根据每个候选动作的预测危险调整其保守性。这个代理状态既用于风险预测又用于价值学习的信息输入。因此,控制器避免了显式信念更新和在线信念空间规划,同时根据每个候选动作的预测危险调整其保守性。
### 3.2 动作条件风险与风险门控价值估计
给定代理状态 \(o_t=\phi(\mathcal{W}_t^W)\),控制器使用一个动作条件近端风险预测器评估每个候选动作 \(a\in\mathcal{A}\):
\[ \hat{\rho}(o_t,a)\in[0,1]。 \quad (3) \]
这里,\(\hat{\rho}(o_t,a)\) 估计在采取动作 \(a\) 后的短未来视野内进入不安全区域的可能性或严重性。与仅状态安全估计的关键区别在于,风险是针对每个候选动作单独计算的。因此,在相同的部分观测下,控制器可以区分可能安全的动作和可能引起近端危险的动作。例如,在血糖调节中,即使当前CGM值相同,不同的胰岛素推注剂量也可能具有显著不同的近端低血糖风险;在Safety-Gym中,从相同的局部观测出发,不同的移动动作可能产生不同的碰撞风险。
为了将这个风险信号用于基于价值的控制,我们维护一个由 \(M\) 个评论家组成的集成 \(\{Q_m(o,a)\}_{m=1}^M\)。该集成提供了动作价值的乐观估计和保守估计:
\[ Q^+(o,a)=\max_m Q_m(o,a),\quad Q^-(o,a)=\min_m Q_m(o,a)。 \]
我们并非单独使用任一估计,而是根据预测风险在它们之间进行插值:
\[ Q^{\mathrm{gate}}(o,a)=(1-\hat{\rho}(o,a))Q^+(o,a)+\hat{\rho}(o,a)Q^-(o,a)。 \quad (4) \]
当 \(\hat{\rho}(o,a)\) 较小时,门控价值接近乐观包络 \(Q^+\),鼓励在低风险区域追求奖励的行为。当 \(\hat{\rho}(o,a)\) 较大时,门控价值接近相似文章
能力最小化作为一种安全原语:面向最小权限LLM代理的风险感知因果门控
本文提出风险感知因果门控(RACG),这是一种无需训练的机制,将最小权限原则应用于LLM代理的工具暴露,仅在授权和因果必要时暴露高风险工具,从而减少提示注入的攻击面。
SteinGate: 基于Stein散度的尾敏感安全强化学习
SteinGate引入了一种基于核化Stein散度的分布安全证书,用于检测安全强化学习中罕见的灾难性尾部事件,动态调整策略更新以减少约束违反,同时保持有竞争力的回报。
到达与生存:从一位失败信号扩展安全目标条件策略学习
本文介绍了安全对比强化学习(Safe-CRL),以解决失败终止条件下目标条件策略学习中的高估偏差问题,利用一位失败信号来提升机器人导航和运动任务的安全性和性能。
从累积约束到自适应运行时安全控制用于非平稳强化学习
提出CPSS,一种运行时安全机制,将累积成本约束转换为自适应状态级阈值,用于非平稳环境中的安全强化学习,在高速公路合流场景中展示了违规次数的减少。
训练可观察的控制策略以通过动作暴露智能体状态
本文研究使用强化学习训练可观察的控制策略,从而能够通过智能体的动作估计其状态,并在通信受限条件下应用于多智能体协调与监控。