针对对抗状态扰动的风险敏感强化学习下界验证

# 在对抗性状态扰动下认证风险敏感强化学习的下界
来源：https://arxiv.org/html/2609.10866
Tong Li 邮箱：[tli31@CougarNet\.UH\.EDU](mailto:[email protected])  
隶属机构：工业与系统工程系，休斯顿大学，4302 University Dr, Houston, 77004, TX, USA
Saunak Kumar Panda 邮箱：[spanda@CougarNet\.UH\.EDU](mailto:[email protected])  
隶属机构：决策与信息科学系，休斯顿大学，4302 University Dr, Houston, 77004, TX, USA
Yisha Xiang 邮箱：[yxiang4@Central\.UH\.EDU](mailto:[email protected])  
隶属机构：工业与系统工程系，休斯顿大学，4302 University Dr, Houston, 77004, TX, USA

###### 摘要
部署在真实环境中的强化学习智能体通常容易受到状态观测中对抗性扰动的影响，这在安全关键应用中会带来风险。认证方法可以通过提供期望累积奖励的下界来提高对对抗性扰动的鲁棒性。然而，现有的认证方法主要关注风险中性目标。在本文中，我们将认证方法扩展到风险敏感目标，通过建立在Lp范数（\(1≤p<\infty\)）有界的状态对抗性扰动下累积奖励的指数效用下界。通过引入扰动集的φ-散度松弛，我们将风险敏感认证问题表述为凸优化问题，并推导其对偶形式以获得可证明下界的可处理近似。我们进一步提出一种经验方法，通过独立于评估时使用风险水平选择训练风险厌恶参数β来改进认证下界。在OpenAI Gym环境和机器更换问题上的实验表明，与风险中性训练相比，风险厌恶训练通常能产生具有更高认证下界的策略，尤其是在扰动预算较大的情况下。此外，在风险中性和风险厌恶评估设置下，训练时增加风险厌恶最初会提高认证下界，但由于策略过于保守，最终会下降。

###### 关键词
下界认证，风险敏感强化学习，状态对抗性攻击，随机观测

### 1 引言
在真实部署中，由于传感器噪声、环境不确定性和外部干扰等多种因素，强化学习智能体经常观测到扰扰动的状态。实证证据表明，许多最先进的RL算法对输入空间的微小变化高度敏感，这使得算法在现实场景中不可靠（Behzadan and Munir, 2017a；Huang et al., 2017；Pattanaik et al., 2017）。即使是微小的扰动，例如由于环境扰动导致的观测状态变量轻微变化，也可能显著改变智能体的行为（Zhang et al., 2020）。这些漏洞在自动驾驶、医疗系统和机器人控制等安全敏感领域尤为关键，在这些领域，决策失败可能导致严重后果（Shalev-Shwartz et al., 2016；Sallab et al., 2017；Liang et al., 2022；He et al., 2022）。
为缓解状态观测中对抗性扰动的影响，已经开发了多种经验性防御机制。两种广泛使用的方法是对抗性训练和基于正则化的方法。对抗性训练方法可以通过在学习过程中训练智能体在扰动状态观测上显著增强策略的鲁棒性（Pattanaik et al., 2017；Zhang et al., 2020；Kos and Song, 2017；Behzadan and Munir, 2017b）。基于正则化的方法通常将各种形式的约束纳入RL优化目标中，以提高策略鲁棒性（Shen et al., 2020；Zhang et al., 2020）。虽然这些经验性防御方法已显示出对对抗性扰动的增强鲁棒性，但针对这些防御策略也提出了几种自适应攻击。为训练好的策略提供理论保证（例如下界）以打破攻击者和防御者之间的反复博弈是重要的，这被称为鲁棒性认证（Wu et al., 2022；Kumar et al., 2021；Mu et al., 2024）。鲁棒性认证最初是在分类任务的背景下开发的，旨在提供在有界对抗性扰动下的分类准确率认证下界（Wu et al., 2022；Kumar et al., 2021）。然而，在RL中认证鲁棒性涉及序列决策，这比分类任务中的单步预测更具挑战性。基于分类鲁棒性认证的基础工作，一些研究通过开发针对累积奖励认证平滑策略鲁棒性的方法，将该框架扩展到了RL（Wu et al., 2022；Mu et al., 2024）。
现有的认证方法主要关注提供期望累积奖励的下界，这代表了一种风险中性的视角。安全关键应用通常需要风险厌恶评估，该评估将决策者的风险偏好纳入目标函数，而不是优化期望性能。在本文中，我们考虑观测状态在有界区域内受到对抗性扰动，而RL环境的底层真实状态保持不变的设置。我们将鲁棒性认证扩展到风险敏感目标，开发在有界对抗性状态扰动下累积奖励期望效用的下界认证。具体来说，我们的公式建立在ReCePS框架之上（Mu et al., 2024），并将其扩展到支持指数效用的风险厌恶性能评估。我们通过基于φ-散度的松弛，将Lp范数有界扰动（\(1≤p<\infty\)）下的下界认证问题表述为凸优化问题，并推导其对偶公式，以获得平滑策略期望指数效用的可处理且风险感知的下界。这种方法弥合了风险中性认证框架与实际风险感知性能保证需求之间的差距。我们进一步开发了一种新颖的经验方法来提高RL策略的认证下界。我们的结果表明，风险厌恶训练通常比风险中性训练产生具有更高认证下界的策略，尤其是在扰动预算较大时。此外，在风险中性和风险厌恶评估设置下，训练时增加风险厌恶最初会增强认证下界，但由于策略过于保守，最终会导致性能下降。训练时风险厌恶水平与认证鲁棒性之间的这种非单调关系突出了在训练期间适当选择风险厌恶参数以增强RL策略可证明保证的重要性。据我们所知，这是首次致力于增强RL策略的鲁棒证书，而不仅仅是建立其期望总奖励的理论下界。
本文其余部分组织如下。第2节回顾了关于对抗性扰动和RL中鲁棒性认证的相关工作。第3节介绍了具有对抗性状态扰动的MDP的RL环境模型，并表述了下界认证的优化问题。第4节提出了解决下界认证问题的凸优化方法以及有效计算下界的算法。第5节展示了在OpenAI环境和实际机器更换问题上的实验结果，表明适当的风险厌恶训练参数可以有效提高对抗性状态扰动下的下界性能。

### 2 文献综述
在本节中，我们回顾关于对抗性扰动下RL鲁棒性的相关文献。我们首先总结通过训练策略提高策略鲁棒性的经验性防御机制。然后讨论鲁棒性认证方法的最新进展，这些方法为扰动下策略性能提供理论保证。

#### 2.1 对抗性攻击的经验性防御机制
已经开发了多种经验性防御方法来增强RL智能体对状态观测中对抗性扰动的鲁棒性。对抗性训练方法是研究最广泛的防御机制类别之一。Pattanaik et al. (2017) 提出了一种鲁棒的对抗性RL算法，该算法在学习过程中在对抗性扰动的状态观测上训练智能体，展示了对测试时扰动的增强鲁棒性。在他们的研究中，对抗性攻击被建模为增加智能体选择最坏可能动作概率的扰动。对抗性状态在训练期间使用，以帮助智能体学习对观测噪声和错误感知具有鲁棒性的策略。Behzadan and Munir (2017a) 提出了一种基于深度Q学习框架的对抗性训练策略，该策略定期用对抗性扰动的状态增强经验回放缓冲区。这些扰动旨在最大化时间差分误差，鼓励智能体学习对观测噪声和对抗性操纵更鲁棒的策略。
基于正则化的方法也被开发用于提高训练稳定性和增强对强对抗性攻击的鲁棒性。Zhang et al. (2020) 为经典RL算法开发了各种正则化器，例如基于Kullback–Leibler散度的、基于l2距离的和基于铰链损失的正则化器。所有这三种类型的正则化器都采用通过凸松弛或随机梯度朗之万动力学求解的极小极大优化结构。除了这些方法，Shen et al. (2020) 提出了平滑正则化RL框架，其中正则化器被建模为测量相邻状态策略输出之间散度的局部平滑惩罚。根据策略类型，该惩罚使用确定性策略的平方l2范数或随机策略的Jeffrey散度来定义，鼓励策略对相似的输入产生相似的动作。

#### 2.2 鲁棒性认证方法
为RL开发鲁棒性认证技术已受到显著关注，作为在对抗性扰动下提供策略性能理论保证的一种手段。Lütjens et al. (2020) 提出了CARRL，该方法将计算机视觉领域的鲁棒性认证技术适应到RL领域。该方法通过在神经网络层传播区间界并处理ReLU激活的线性近似来计算Q值的认证下界。CARRL在每个观测状态周围定义一个ε球，并在此有界区域内选择具有最高保证最坏情况Q值的动作，以确保在对抗性扰动下的鲁棒性能。Wu et al. (2022) 提出了CROP框架，为深度RL对抗状态观测中的对抗性扰动提供鲁棒性保证。该框架通过不同的方法解决两个认证标准。对于状态级动作认证，该方法通过对高斯扰动输入状态上的Q值取平均来创建平滑的Q函数，建立Lipschitz连续性。然后通过分析前两个Q值之间的间隔并应用逆累积分布函数来计算认证半径，以推导保证动作选择不变的最大扰动界。对于累积奖励认证，他们使用全局平滑方法，该方法采样多个噪声轨迹来计算奖励的统计下界，以及使用自适应搜索系统地列举扰动下可能动作变化的局部平滑方法，从而产生更紧的确定性下界。
基于随机平滑技术，Kumar et al. (2021) 开发了一个认证框架，为RL部署中的累积奖励提供鲁棒性保证。与CROP框架（Wu et al., 2022）相比（该框架支持状态级动作认证并包含多种平滑策略），他们的方法专门设计用于使用单一全局平滑机制认证期望总奖励。为支持此框架，他们提出了Neyman-Pearson引理的自适应变体，该变体将一般概率对手简化为确定性对手。他们进一步证明，任何此类确定性对手都可以转换为一种结构化形式，该形式将所有扰动预算集中在初始时间步的第一个坐标上。这种理论简化使得通过各向同性高斯平滑可以直接进行认证，从而在具有自适应分配预算的范数有界对抗性攻击下产生累积奖励的可证明下界。
最近的进展集中在开发更通用和高效的认证框架。Mu et al. 考虑了在对抗性扰动下认证期望累积奖励的问题，并表述了一个优化模型，该模型寻求基于f-散度度量的凸重构，以量化原始和扰动轨迹之间的分布差异（Mu et al., 2024）。与之前依赖基于阈值的概率估计或Lipschitz连续性界限的方法不同，ReCePS通过解决对偶优化问题直接认证累积奖励下界。