TrajRS：面向行人轨迹预测的认证鲁棒性

# TrajRS：面向行人轨迹预测的可认证鲁棒性
来源：https://arxiv.org/html/2606.28716
###### 摘要

轨迹预测模型的鲁棒性对于开发安全自动驾驶系统至关重要。针对轨迹预测的对抗攻击会显著损害预测轨迹的准确性，从而导致危险的驾驶行为。虽然已有启发式防御策略用于增强轨迹预测模型的鲁棒性，但这些措施往往无法抵御更复杂、更具针对性的对抗攻击。因此，亟需为轨迹预测模型建立可验证的安全保障。本文扩展了传统的随机平滑框架，提出“TrajRS”，为平滑后的轨迹预测器提供可认证的鲁棒半径。我们阐明并扩展了轨迹预测中鲁棒性的形式化定义，并专门针对“最优预测鲁棒性”和“所有可能预测鲁棒性”定制了实用的TrajRS方案。大量实验表明，TrajRS能够为本文中所有平滑后的行人轨迹预测器有效实现鲁棒性认证。

索引词——鲁棒性验证，轨迹预测，自动驾驶

## 1 引言

轨迹预测是自动驾驶系统的基本要素，负责预测附近物体的未来运动路径\[4 (https://arxiv.org/html/2606.28716#bib.bib34),22 (https://arxiv.org/html/2606.28716#bib.bib57)\]。这对于车辆安全规划后续驾驶动作至关重要。虽然先前的研究在提升轨迹预测精度方面取得了成功\[7 (https://arxiv.org/html/2606.28716#bib.bib396),9 (https://arxiv.org/html/2606.28716#bib.bib395),13 (https://arxiv.org/html/2606.28716#bib.bib394),12 (https://arxiv.org/html/2606.28716#bib.bib393),29 (https://arxiv.org/html/2606.28716#bib.bib391)\]，但近期研究揭示了其对对抗攻击的显著敏感性\[33 (https://arxiv.org/html/2606.28716#bib.bib397),37 (https://arxiv.org/html/2606.28716#bib.bib106),6 (https://arxiv.org/html/2606.28716#bib.bib103)\]。这些攻击通过微小扰动改变历史轨迹数据，导致重大预测错误，从而带来严重的安全风险，如图1（顶部）对抗场景所示：自动驾驶车辆错误预测行人将停留在人行道上。

参见图注
图 1：轨迹预测的两个场景。一名行人准备过马路。在对抗场景（顶部）中，车辆被受干扰的行人历史轨迹误导，错误预测行人不会过马路。因此，车辆保持速度，可能导致事故或需要紧急制动，危及行人和车辆安全。而在认证场景（底部）中，指定安全保证范围内的任何扰动都能使车辆的预测接近正确的未来轨迹，确保交通安全。

已有一些防御方法被提出以增强轨迹预测模型的鲁棒性\[36 (https://arxiv.org/html/2606.28716#bib.bib102),14 (https://arxiv.org/html/2606.28716#bib.bib21)\]。尽管取得了这些成就，即使是先前被认为鲁棒的模型，最终也屈服于更强大的对抗攻击，例如文\[3 (https://arxiv.org/html/2606.28716#bib.bib199)\]所示。这一认识凸显了对于可验证保证方法的迫切需求，以确保预测器在面对指定扰动半径内的任何攻击时坚不可摧。由于轨迹预测器在自动驾驶中的安全关键性质，这一需求更为紧迫。只有通过严格的验证，我们才能真正为模型建立安全保障，如图1（底部）认证场景所示。

为克服这一挑战，近期研究\[17 (https://arxiv.org/html/2606.28716#bib.bib231),8 (https://arxiv.org/html/2606.28716#bib.bib152),19 (https://arxiv.org/html/2606.28716#bib.bib227)\]引入了“随机平滑”。该方法通过向输入数据添加平滑噪声，然后通过平滑分类器确定最可能的标签。其主要优势在于能够为平滑分类器认证鲁棒半径。随机平滑因其高效性和模型无关性而与其他方法不同，使其能够适应多种类型的模型\[28 (https://arxiv.org/html/2606.28716#bib.bib22),16 (https://arxiv.org/html/2606.28716#bib.bib400),15 (https://arxiv.org/html/2606.28716#bib.bib401),31 (https://arxiv.org/html/2606.28716#bib.bib403)\]。

本研究受随机平滑启发，将当前轨迹预测模型扩展为具有可认证鲁棒半径的平滑预测器，命名为“TrajRS”。实现这一增强需要应对两个主要挑战。第一个挑战涉及轨迹预测中鲁棒性的独特定义，这与图像分类中的定义不同。第二个挑战源于轨迹的随机输出，需要对整个输出分布提供鲁棒性保证。

为有效应对这些挑战，本研究引入了两种轨迹预测鲁棒性的形式化定义。第一种，“所有可能预测鲁棒性”，考虑整个输出分布。第二种，“最优预测鲁棒性”，专注于最优（且确定性的）预测轨迹。我们开发了合适的随机平滑算法，利用蒙特卡洛采样实现这些定义。该方法能够以任意置信度和错误率为整个输出分布提供鲁棒性保证。

与先前的验证方法相比，TrajRS 填补了两个关键空白。首先，不同于 TrajPAC\[35 (https://arxiv.org/html/2606.28716#bib.bib23)\]（通过替代模型验证未改变的基础模型，最多只能提供其鲁棒半径的下界），TrajRS 对预测器进行平滑处理，并为得到的平滑模型提供理论上精确的可认证半径，同时在实践中提升鲁棒性。其次，相对于 Bahari 等人\[5 (https://arxiv.org/html/2606.28716#bib.bib387)\]的平滑框架（仅认证单一最佳输出模式），TrajRS 通过平滑模型 \(g_A\) 进一步认证整个多模态输出分布，并具有可控的置信水平和错误率。

总体而言，本研究的主要贡献如下：

- • 我们在第3.1节将随机平滑框架扩展到 TrajRS，并为平滑后的轨迹预测器提供可认证鲁棒半径。
- • 我们在第2.2节将鲁棒性的形式化定义扩展到轨迹预测，并在第3.2节专门针对“最优预测鲁棒性”和“所有可能预测鲁棒性”定制了实用的 TrajRS 方案。
- • 我们在第4节针对 ETH/UCY 数据集和 Stanford Drone Dataset 上的四个代表性轨迹预测模型评估了 TrajRS 方案。实验结果表明，TrajRS 在两种鲁棒性类型上均能为所有平滑后的轨迹预测器实现有效的鲁棒性认证。

## 2 问题形式化

### 2.1 轨迹预测

设 \(\mathbf{x}^{(t)} \in \mathbb{R}^2\) 为智能体在时间戳 \(t\) 的空间坐标，其中 \(\mathbf{x}^{(t)} = (x_h^{(t)}, x_v^{(t)})\)，\(x_h^{(t)}\) 表示经度，\(x_v^{(t)}\) 表示纬度。假设有 \(T = T_p + T_f\) 个时间戳，其中前 \(T_p\) 个时间戳位于过去，后 \(T_f\) 个时间戳位于未来。矩阵 \(\mathbf{X}_i = (\mathbf{x}_i^{(-T_p+1)}, \mathbf{x}_i^{(-T_p+2)}, \ldots, \mathbf{x}_i^{(0)}) \in \mathbb{R}^{2 \times T_p}\) 表示第 \(i\) 个智能体的过去轨迹，向量化为 \(X_i\)。设 \(\mathbf{X}_0 \in \mathbb{R}^{2 \times T_p}\) 为目标智能体的轨迹，\(\mathbf{Y}_0 = (\mathbf{x}_0^{(1)}, \ldots, \mathbf{x}_0^{(T_f)})\) 为待预测的未来轨迹的真实值，向量化为 \(Y_0\)。设 \(\mathbf{X}_1, \ldots, \mathbf{X}_N\) 为 \(N\) 个邻居智能体的过去轨迹。轨迹预测的目标是训练一个预测模型 \(f:\mathbb{R}^{2T_p(N+1)} \to \mathbb{R}^{2T_f}\)，使得 \(f=\underset{g}{\arg\min}~\mathit{loss}(g(\mathcal{X}), Y_0)\)，其中 \(\mathcal{X}=\mathrm{Vec}(\mathbf{X}_0,\ldots,\mathbf{X}_N)\)。\(\mathrm{Vec}(\cdot)\) 表示矩阵的向量化。

最近的轨迹预测模型\[27 (https://arxiv.org/html/2606.28716#bib.bib84),10 (https://arxiv.org/html/2606.28716#bib.bib60)\]利用随机方法捕捉未来运动的内在多模态性，生成概率输出。我们假设模型 \(f(\mathcal{X})\) 输出 \(\mathbb{R}^{2T_f}\) 上轨迹的离散概率分布，其中 \(\hat{Y} \in f(\mathcal{X})\) 表示一个可能的预测。

### 2.2 预测模型的鲁棒性

基于文\[35 (https://arxiv.org/html/2606.28716#bib.bib23)\]中“标签鲁棒性”的定义，我们将“所有可能预测鲁棒性”定义为模型在扰动下整个输出分布都能生成安全预测的能力，如图2（底部）所示。

参见图注
图 2：预测的两种鲁棒性类型。最优预测鲁棒性（顶部）关注最佳 \(k\) 个预测轨迹的鲁棒性，也适用于最可能轨迹。所有可能预测鲁棒性（底部）描述整个输出分布的鲁棒性。安全区域表示预测轨迹与真实值之间的距离不超过安全阈值 \(s\) 的区域。注意扰动也应用于邻居智能体的过去轨迹，但图中省略。

给定输入轨迹 \(\hat{\mathbf{X}} \in \mathbb{R}^{2 \times T_p}\)，我们假设轨迹中任何空间坐标 \(\mathbf{x}^{(t)}\) 都可能在一个以 \(\mathbf{x}^{(t)}\) 为中心、半径为 \(r>0\) 的封闭 \(L_2\) 范数球内被扰动。因此，我们将 \(B(\hat{\mathbf{X}}, r)\) 定义为从 \(\hat{\mathbf{X}}\) 导出的所有扰动轨迹的集合，数学表示为：
\[ B(\hat{\mathbf{X}}, r) = \{ \mathbf{X} \in \mathbb{R}^{2 \times T_p} \mid \lVert \mathrm{Vec}(\mathbf{X}) - \mathrm{Vec}(\hat{\mathbf{X}}) \rVert_2 \leq r \}. \]

###### 定义 1（所有可能预测鲁棒性）。
给定目标智能体及其 \(N\) 个邻居智能体的过去轨迹集合 \(\hat{\mathcal{X}}=\mathrm{Vec}(\hat{\mathbf{X}}_0, \hat{\mathbf{X}}_1, \ldots, \hat{\mathbf{X}}_N)\)，以及目标智能体未来轨迹的真实值 \(Y_0\)。对于给定的预测模型 \(f\)、评估指标 \(D\) 和安全阈值 \(s\)，模型 \(f\) 在 \(\hat{\mathcal{X}}\) 处对于扰动半径 \(r>0\) 被定义为“所有预测鲁棒”当且仅当：对于任意 \(\mathcal{X}=\mathrm{Vec}(\mathbf{X}_0, \mathbf{X}_1, \ldots, \mathbf{X}_N)\)，其中 \(\mathbf{X}_i \in B(\hat{\mathbf{X}}_i, r)\)，以及任意 \(Y \in f(\mathcal{X})\)，均满足 \(D(Y, Y_0) \leq s\)。

我们使用平均位移误差（ADE）和最终位移误差（FDE）\[2 (https://arxiv.org/html/2606.28716#bib.bib148),1 (https://arxiv.org/html/2606.28716#bib.bib45),11 (https://arxiv.org/html/2606.28716#bib.bib73),20 (https://arxiv.org/html/2606.28716#bib.bib78)\]作为评估指标 \(D\)。使用 \(L_2\) 范数评估鲁棒性为轨迹空间中的扰动提供了直观的几何解释。

然而，这一定义有其局限性。许多近期方法\[34 (https://arxiv.org/html/2606.28716#bib.bib86)\]明确鼓励预测覆盖不同方向的多样化轨迹集合。对于这些模型，验证鲁棒性所需的安全距离 \(s\) 会显著增大。此外，大多数对抗鲁棒性方法\[6 (https://arxiv.org/html/2606.28716#bib.bib103)\]关注攻击下的最佳 \(k\) 个预测，这与近期研究中常用的精度指标一致\[2 (https://arxiv.org/html/2606.28716#bib.bib148),1 (https://arxiv.org/html/2606.28716#bib.bib45),11 (https://arxiv.org/html/2606.28716#bib.bib73),20 (https://arxiv.org/html/2606.28716#bib.bib78)\]。

基于这些考虑，我们提出第二个鲁棒性定义，如图2（顶部）所示：

###### 定义 2（最优预测鲁棒性）。
给定目标智能体及其 \(N\) 个邻居智能体的过去轨迹集合 \(\hat{\mathcal{X}}=\mathrm{Vec}(\hat{\mathbf{X}}_0, \hat{\mathbf{X}}_1, \ldots, \hat{\mathbf{X}}_N)\)，以及目标智能体未来轨迹的真实值 \(Y_0\)。对于给定的预测模型 \(f\)、评估指标 \(D\) 和预定义的安全阈值 \(s\)，模型 \(f\) 在 \(\hat{\mathcal{X}}\) 处对于扰动半径 \(r>0\) 被定义为“最优预测鲁棒”当且仅当：对于任意 \(\mathcal{X}=\mathrm{Vec}(\mathbf{X}_0, \mathbf{X}_1, \ldots, \mathbf{X}_N)\)，其中 \(\mathbf{X}_i \in B(\hat{\mathbf{X}}_i, r)\)，轨迹 \(Y_{opt}=\underset{Y \in f(\mathcal{X})}{\arg\min}~D(Y, Y_0)\) 满足 \(D(Y_{opt}, Y_0) \leq s\)。

## 3 方法

### 3.1 平滑方法与鲁棒性保证

随机平滑\[8 (https://arxiv.org/html/2606.28716#bib.bib152)\]是一种黑盒技术，通过向输入 \(x\) 注入高斯噪声并返回 \(f\) 最可能的输出，将基础函数 \(f\) 转换为可认证鲁棒的平滑函数 \(g\)。针对第2.2节中的两种鲁棒性概念，我们定义了两种平滑模型 \(g_O\)（最优预测）和 \(g_A\)（所有预测）。设 \(\mathcal{X}=\mathrm{Vec}(\mathbf{X}_0,\ldots,\mathbf{X}_N)\)，\(\varepsilon \sim \mathcal{N}(0, \sigma^2 I)\)，距离度量 \(D\)，真实值 \(Y_0\)，安全阈值 \(s\)。定义事件

\[
\mathcal{E}_O: \; D(Y_{opt}, Y_0) \leq s, \quad Y_{opt} = \underset{Y \in f(\mathcal{X} + \varepsilon)}{\arg\min} \; D(Y, Y_0),
\]