分布鲁棒且安全的模仿学习
摘要
本文提出了一种统一的模仿学习框架,利用泰勒级数模仿学习和分布鲁棒自适应控制,以应对策略驱动和不确定性驱动的分布偏移,并通过无人机(UAV)案例研究展示了在不确定性下的安全性。
arXiv:2607.13436v1 Announce Type: new
摘要:模仿学习(IL)在复杂决策任务中取得了显著成功。然而,其性能对分布偏移高度敏感,这可能带来重大安全风险。我们提出了一种分布鲁棒且安全的模仿学习框架,明确应对策略驱动和不确定性驱动的分布偏移。我们的方法开发了一个统一框架,利用泰勒级数模仿学习(TaSIL)来缓解策略驱动的偏移,并采用分布鲁棒自适应控制来处理不确定性驱动的偏移。这种架构使得能够制定一个在分布不确定性下优化性能同时系统考虑安全约束的模仿学习问题。我们通过在无人机(UAV)案例研究中展示了该方法的有效性,其中无人机在不确定环境中执行任务,同时避免进入不安全区域。
查看缓存全文
缓存时间: 2026/07/16 04:22
# 分布鲁棒且安全的模仿学习* 来源:https://arxiv.org/html/2607.13436 Ahmed Aboudonia¹ 和 Naira Hovakimyan²\*本研究由瑞士国家科学基金会(资助号 P500PT\_\\_230223)、美国空军科学研究办公室(AFOSR)资助号 AF FA9550-25-1-0274、美国国家航空航天局(NASA)资助号 80NSSC22M0070 以及美国国家科学基金会(NSF)资助号 CMMI 2135925、CPS 2311085 和 IIS 2331878 共同支持。¹Ahmed Aboudonia 隶属加州大学伯克利分校,伯克利,加利福尼亚州 94720,美国,邮箱:[email protected]²Naira Hovakimyan 隶属伊利诺伊大学厄巴纳-香槟分校,厄巴纳,伊利诺伊州 61801,美国,邮箱:[email protected] ###### 摘要 模仿学习(IL)在复杂决策任务中取得了显著成功。然而,其性能对分布偏移高度敏感,这可能导致重大的安全风险。我们提出了一种分布鲁棒且安全的模仿学习框架,该框架明确处理策略诱导和不确定性诱导的分布偏移。我们的方法开发了一个统一框架,利用泰勒级数模仿学习(TaSIL)来缓解策略诱导的偏移,并利用分布鲁棒自适应控制来处理不确定性诱导的偏移。这种架构使得能够构建一个模仿学习问题,该问题在分布不确定性下优化性能,同时系统地考虑安全约束。我们通过一个无人驾驶飞行器(UAV)案例研究展示了所提出方法的有效性,其中 UAV 在不安全环境中执行任务时避开不安全区域。 ## I 引言 从示范中学习已成为一种引人注目的范式,使自主系统能够从专家轨迹中获取控制策略[15](https://arxiv.org/html/2607.13436#bib.bib1)。在此背景下,模仿学习(IL)在复现专家行为的学习策略方面取得了显著成功[20](https://arxiv.org/html/2607.13436#bib.bib2)。IL 已成功应用于机器人操作[5](https://arxiv.org/html/2607.13436#bib.bib3)、自动驾驶[11](https://arxiv.org/html/2607.13436#bib.bib4)和腿式机器人[12](https://arxiv.org/html/2607.13436#bib.bib5)等领域。 行为克隆(BC)被认为是基本的模仿学习方法,其中专家示范以状态-动作对的形式收集[20](https://arxiv.org/html/2607.13436#bib.bib2)。然后解决一个监督学习问题,以学习从状态到动作的映射。为减少对专家动作标注的需求,从观察中模仿已成为一种有前景的方法,使得能够仅从状态示范中学习[19](https://arxiv.org/html/2607.13436#bib.bib9)。 尽管模仿学习取得了有希望的结果,但它受到分布偏移这一内在难点的限制。这种偏移的一个来源是策略诱导的分布偏移,即学习策略中的微小偏差可能随时间累积,可能导致级联误差[20](https://arxiv.org/html/2607.13436#bib.bib2), [2](https://arxiv.org/html/2607.13436#bib.bib10)。另一个来源是不确定性诱导的分布偏移,其中环境的微小变化(建模为认知不确定性和随机不确定性)同样可能通过系统传播,导致性能下降[18](https://arxiv.org/html/2607.13436#bib.bib17), [6](https://arxiv.org/html/2607.13436#bib.bib19)。因此,策略诱导和不确定性诱导的分布偏移都可能传播误差,从而带来重大安全风险。 为缓解策略诱导分布偏移的影响,人们开发了几种模仿学习变体。例如,DAgger(数据集聚合)[16](https://arxiv.org/html/2607.13436#bib.bib11) 和 DART(用于增强机器人轨迹的扰动)[10](https://arxiv.org/html/2607.13436#bib.bib12) 等方法基于 BC 并使用监督学习。其他方法,如逆强化学习[1](https://arxiv.org/html/2607.13436#bib.bib14) 和生成对抗模仿学习[9](https://arxiv.org/html/2607.13436#bib.bib15),遵循不同的原则,并在缓解分布偏移方面也显示出鲁棒性[20](https://arxiv.org/html/2607.13436#bib.bib2)。最近,泰勒级数模仿学习(TaSIL)被提出用于对齐专家策略和模仿策略及其高阶导数[14](https://arxiv.org/html/2607.13436#bib.bib13)。 为解决不确定性诱导的分布偏移,已经提出了几种方法。例如,鲁棒模仿学习方法被开发用于从多个在不同环境动态下行动的专家中学习[4](https://arxiv.org/html/2607.13436#bib.bib16)。采样增强方法利用基于管道的鲁棒 MPC 方案,在模仿学习框架(如 BC 和 DAgger)中应用[18](https://arxiv.org/html/2607.13436#bib.bib17)。分布鲁棒模仿学习方法基于 BC,并在鲁棒马尔可夫决策过程框架中使用分布鲁棒优化[13](https://arxiv.org/html/2607.13436#bib.bib18)。最近,一种称为 DRIP 的分层控制架构被提出[6](https://arxiv.org/html/2607.13436#bib.bib19)。它集成了 TaSIL 以解决策略诱导的模仿差距,以及 L1\pazocal{L}_1-分布鲁棒自适应控制(L1\pazocal{L}_1-DRAC)以缓解不确定性诱导的模仿差距[7](https://arxiv.org/html/2607.13436#bib.bib20)。 在本文中,我们提出了一种分布鲁棒且安全的模仿学习框架,该框架采用与 DRIP 类似的架构,其中策略诱导和不确定性诱导的分布偏移分别使用 TaSIL 和 L1\pazocal{L}_1-DRAC 处理。与标准 TaSIL 中通常使用的对专家轨迹进行经验风险最小化不同,我们重新表述了 TaSIL 问题,以明确考虑训练过程中的分布鲁棒性和安全要求,这得益于 L1\pazocal{L}_1-DRAC 提供的鲁棒性证书。 为此,我们首先将 TaSIL 目标推广为分布鲁棒形式,该形式在一个状态分布的模糊集上优化性能,从而明确考虑分布偏移。此外,我们在 TaSIL 目标中加入了一个安全项,确保得到的策略考虑安全要求。得到的框架旨在对策略诱导和不确定性诱导的分布偏移都具有鲁棒性,在分布不确定性下优化性能,并考虑安全问题。最后,我们通过广泛的仿真,在一个在不安全环境中运行并避开不安全区域的无人驾驶飞行器(UAV)上演示了所提出框架的有效性。 本文的其余部分组织如下。第二部分介绍了问题设置,并简要概述了模仿学习,特别是 TaSIL。第三部分介绍了我们提出的分布鲁棒且安全的模仿学习框架。具体来说,我们讨论了 L1\pazocal{L}_1-DRAC,并展示了如何利用它来重新表述分布鲁棒的 TaSIL 问题,以及考虑安全要求。第四部分通过在 UAV 案例研究上的广泛仿真来评估所提出框架的性能。第五部分给出结论。 ## II 问题设置 我们考虑一个不确定的动态系统,其动态由伊藤过程给出: dX̄_t = [A_μ X̄_t + B_c (Ū_t + H_μ(X̄_t))] dt + [A_σ + B_c H_σ(X̄_t)] dW_t, (1) 其中 X̄_t ∈ R^n 和 Ū_t ∈ R^m 分别为系统状态向量和控制输入向量,W_t ∈ R^{n_w} 是定义在完备概率空间 (Ω, F, P) 上的布朗运动。矩阵 A_μ ∈ R^{n×n}、A_σ ∈ R^{n×n_w} 和 B_c ∈ R^{n×m} 编码了系统动态的已知部分。函数 H_μ: R^n → R^m 和 H_σ: R^n → R^{m×n_w} 是连续可微映射,分别描述漂移和扩散不确定性。在下文中,我们使用大写字母(例如 X_t, U_t)表示连续时间变量,小写字母(例如 x_k, u_k)表示它们的离散时间对应量。我们将 H_μ(X̄_t) 和 H_σ(X̄_t) 称为认知不确定性,dW_t 称为随机不确定性。 为完整起见,我们引入以下两个定义。如果连续函数 γ(x) 在 x 上严格递增,且满足 γ(0)=0,则它是 K 类函数。如果连续函数 β(x,t) 对于每个固定的 t,β(x,t) 是 K 类函数,而对于每个固定的 x,β(x,t) 关于 t 递减且满足 lim_{t→∞} β(x,t) = 0,则它是 KL 类函数。 ### II-A 模仿学习 我们考虑在标称条件下由专家策略生成长度为 L_d 的 n 次 rollout。对于足够小的采样时间 ΔT,这些 rollout 可以解释为对应于 (1) 的离散化标称确定性动态的状态-输入轨迹,其形式为: x_{k+1} = A x_k + B u_k, (2) 其中 k ∈ N_0 表示离散时间索引,x_k ∈ R^n 是状态向量,u_k ∈ R^m 是输入向量,I_n 表示 n 维单位矩阵,A = I_n + A_μ ΔT 和 B = B_c ΔT 定义离散时间系统矩阵。每次 rollout 从独立同分布的初始条件 ξ 初始化,ξ 来自一个具有紧支撑 X 的分布 D。 给定策略 π(x_k),我们将在输入 u_k = π(x_k) 下从 ξ 开始的 (2) 在时间索引 k 的解记为 x_k(ξ, π)。我们将专家策略记为 π_*(x_k),并将任何策略 π(x_k) 与专家策略 π_*(x_k) 在由后者从 ξ 开始的轨迹上的差异记为 Δ_k^{π_*}(ξ; π) = π(x_k(ξ, π_*)) - π_*(x_k(ξ, π_*))。 模仿学习(IL)的主要目标是学习一个策略,使其引发的闭环行为与专家策略的行为相似,通过期望的模仿差距来衡量:E_ξ max_{1≤k≤L_d} ||x_k(ξ, π) - x_k(ξ, π_*)||。标准的 IL 方法(称为 BC)通过构建一个监督学习问题来实现上述目标,该问题最小化如下经验风险: π̂ ∈ argmin_{π∈Π} ∑_{i=1}^n h({Δ_k^{π_*}(ξ_i; π)}_{k=0}^{L_d}), 其中 Π 是预先选定的策略类,h(·) 是一个损失函数,旨在惩罚沿专家轨迹的差异 Δ_k^{π_*}(ξ_i; π)。 ### II-B 泰勒级数模仿学习 尽管 BC 简单,但学习到的策略 π̂(x_k) 可能会因累积误差而经历分布偏移。为此,TaSIL 将标准的 BC 损失函数替换为 l_p^{π_*}(ξ, π) = ∑_{j=0}^p max_{0≤k≤L_d-1} ||∂_x^j Δ_k^{π_*}(ξ, π)||, (3) 其中 ∂_x^j 表示关于 x 的 j 阶偏导数,p 指损失函数中考虑的最高阶导数。请注意,任何上界为损失函数 (3) 的替代损失都可以使用。因此,经验风险最小化问题变为 π̂_p ∈ argmin_{π∈Π} ∑_{i=1}^n l_p^{π_*}(ξ_i, π). TaSIL [14](https://arxiv.org/html/2607.13436#bib.bib13) 的主要思想不仅是最小化学习策略与专家策略之间的差异,还要最小化它们高达 p 阶的高阶导数之间的差异,从而如下缓解策略诱导的分布偏移。 给定策略 π(x_k) 和加性输入扰动 Δ_k,让标称确定性系统 (2) 的受扰闭环动态为: x_{k+1} = A x_k + B (π(x_k) + Δ_k), (4) 并在时间索引 k 将其解记为 x_k^π(ξ, {Δ_s}_{s=0}^{k-1})。 ###### 假设 II.1 专家策略 π_*(x_k) 下的受扰闭环动态 (4) 是 η-局部 δ-输入到状态稳定(ISS),即,对于所有满足 sup_{k∈N_0} ||Δ_k|| ≤ η 的 Δ_k,存在一个 KL 类函数 β(·,·) 和一个 K 类函数 γ(·),使得对于所有初始条件 ξ_1, ξ_2 ∈ X、扰动序列 {Δ_k}_{k≥0} 和 k ∈ N,我们有 ||x_k^{π_*}(ξ_1, {Δ_s}_{s=0}^{k-1}) - x_k(ξ_2, π_*)|| ≤ β(||ξ_1 - ξ_2||, k) + γ(max_{0≤i≤k-1} ||Δ_i||). (5) 在此背景下,可以寻求系统理论分析,其中学习到的策略 π̂_p(x_k) 被视为 ISS 专家策略 π_*(x_k) 的受扰版本,而差异 Δ_k^{π̂_p}(ξ, π̂_p) = π̂_p(x_k(ξ, π̂_p)) - π_*(x_k(ξ, π̂_p)) 充当扰动。在这种情况下,定义为 Γ_T(ξ, π̂_p) = max_{1≤k≤L_d} ||x_k(ξ, π̂_p) - x_k(ξ, π_*)|| 的模仿差距表示为 Γ_T(ξ, π̂_p) = max_{1≤k≤L_d} ||x_k^{π_*}(ξ, {Δ_s^{π̂_p}(ξ, π̂_p)}_s)
相似文章
策略感知模拟器学习的理论基础与高效算法
本文提出了一种用于基于模型的强化学习中模拟器学习的策略鲁棒性目标,将其建模为模型玩家与对抗性策略玩家之间的极小极大博弈。提供了理论保证和可证明收敛的算法,实验表明预测误差在关键区域降低1.5-2.2倍,并提升了策略从模拟到真实世界的迁移效果。
通过自适应安全约束实现非平稳环境下的安全持续强化学习
提出LILAC+框架,用于非平稳环境下的安全持续强化学习,该框架采用三种自适应安全机制:基于上下文的安全约束、适应速度约束和预算到状态的安全执行。在模拟驾驶环境中的评估表明,在分布偏移下,该框架减少了安全违规,同时保持了竞争性的性能。
学习何时行动:通过运行时保证的通信高效强化学习
本文提出了一种框架(CARE),该框架在逐点李雅普诺夫安全护罩下联合学习控制输入和通信高效的定时决策,在倒立摆、小车-杆系统和平面四旋翼飞行器上实现了比经典方法更高的采样间隔。
基于高斯与Beta策略的图像级连续控制中的分歧正则化模仿学习
本文评估了分歧正则化模仿学习(DRIL)在CarRacing中图像级连续控制任务上的表现,对比了高斯策略与Beta策略这两种学习者策略。在少量示范样本的场景下,基于分数选择的DRIL取得了最大的性能提升;而在示范样本较充足时,Beta行为克隆仍然具有竞争力。
DiDrive:一种用于自动驾驶安全离线强化学习的风险感知分层扩散框架
DiDrive是一种用于自动驾驶安全离线强化学习的风险感知分层扩散框架,通过集成表示学习和分布校正优化,提升复杂交通场景中的性能。