驾驶轨迹预测中交互建模的图神经网络层选择比较研究

# 图神经网络层选择在驾驶轨迹预测中交互建模的比较研究
来源：https://arxiv.org/html/2606.14956
George Daoud¹,², Mohamed El-Darieby¹  
¹安大略理工大学，奥沙瓦，安大略省，加拿大  
[email protected], [email protected]  
²艾斯尤特大学，艾斯尤特，埃及

###### 摘要

自动驾驶系统依赖于精确的轨迹预测来规划安全高效的移动。图神经网络（GNN）已成为对道路智能体间时空交互进行建模的有前景方法。然而，用于轨迹预测的GNN架构设计仍缺乏标准化，关于哪些图层能有效捕获空间交互和时间动态的指导原则甚少。本文对19种图层类型进行了详细的比较研究，重点关注其空间和时间处理能力，以发现最有效的轨迹预测架构。在所探索的超参数设置下，我们突出显示了五种表现优异的层组合，其中ARMA、切比雪夫和拓扑感知层持续优于其他层。除性能指标外，我们的发现还产生了实用的设计原则：基于求和的信息聚合比基于均值的方法更有效，多头注意力机制能实现更丰富的交互，以及对不同跳距离分配不同权重可显著提高预测精度。这些发现为设计更具可解释性和更有效的轨迹预测模型提供了有用的指导。

## I引言

预测道路智能体（如车辆、行人、自行车）的未来路径现已成为自动驾驶系统的关键组成部分。该过程介于感知模块和规划模块之间。通过对附近智能体与自车之间的交互进行建模，轨迹预测可实现安全高效的短期规划[13](https://arxiv.org/html/2606.14956#bib.bib13)。该预测不仅有益于自动驾驶，还适用于智能交通系统（ITS）中的交通安全评估和自适应控制，尤其是在高速公路和环岛等复杂环境中[40](https://arxiv.org/html/2606.14956#bib.bib14)。

当前的轨迹预测方法可分为基于物理的方法和基于机器学习的方法。基于物理的方法使用物理和概率模型，而基于学习的方法直接从数据中推导运动模式。尽管基于学习的方法通常精度更高，但它们往往难以捕捉驾驶场景的半结构化动态性质以及智能体间的复杂交互，这些交互涉及时间变化、不同的道路几何形状以及不同数量的智能体[6](https://arxiv.org/html/2606.14956#bib.bib15)。

一种常见的解决方案是将驾驶场景表示为一系列语义鸟瞰图（BEV）图像，其中交互反映在像素位置和数值中。虽然BEV表示提供了固定大小的输入，但它们需要离散化，增加了输入维度，并带来更高的计算成本[20](https://arxiv.org/html/2606.14956#bib.bib16)。

基于图的表示提供了一种更具组织性的替代方案，将智能体建模为节点，将其交互建模为边，可以在单个时间步上或在单个时空图中进行。道路网络信息可以通过节点特征[5](https://arxiv.org/html/2606.14956#bib.bib17)或通过将道路和车道显式建模为图[11](https://arxiv.org/html/2606.14956#bib.bib12)来纳入。

基于图的轨迹预测模型利用图神经网络（GNN）来捕获空间和时间交互，同时保持输入维度的低维度和一致性。尽管结果有前景，但不同GNN层类型在交互建模中的有效性仍不清楚。为填补这一空白，本文对用于时空轨迹预测的图神经层进行了详细的比较研究，并扩展了Daoud等人[5](https://arxiv.org/html/2606.14956#bib.bib17)的架构，以在更短的观测窗口内实现更长的预测视野。

本文做出三项贡献：(1) 评估了19种图卷积层类型用于时空轨迹预测，填补了GNN架构设计中的关键空白；(2) 识别出五种优越的层组合，在环岛场景下优于先前工作；(3) 提出了实践者可应用于基于GNN的轨迹预测系统的设计原则，例如基于求和的聚合方法的优越性以及跳特定权重矩阵的重要性。

## II相关工作

现有的轨迹预测方法可分为基于物理的方法和基于机器学习的方法。基于物理的模型应用物理定律和概率技术来理解交互并预测未来运动。例如，卡尔曼滤波器已与恒转弯率和加速度（CTRA）等运动学模型结合使用来处理不确定性[34](https://arxiv.org/html/2606.14956#bib.bib19)。此外，可在成本函数中添加舒适性约束以生成平滑轨迹[28](https://arxiv.org/html/2606.14956#bib.bib22)。

机器学习方法从数据中学习驾驶模式。它们可根据如何将输入表示为鸟瞰图（BEV）和基于图的模型进一步分类。基于BEV的方法将场景栅格化为语义图像，并使用深度神经网络，如CNN[21](https://arxiv.org/html/2606.14956#bib.bib25)、VAE[35](https://arxiv.org/html/2606.14956#bib.bib26)和条件VAE[41](https://arxiv.org/html/2606.14956#bib.bib27)，或基于LSTM的编码器-解码器模型（带有注意力[22](https://arxiv.org/html/2606.14956#bib.bib29)或社交池化[23](https://arxiv.org/html/2606.14956#bib.bib28)）来预测未来轨迹，主要用于自车。注意力机制常用于理解车辆与道路元素之间的交互[39](https://arxiv.org/html/2606.14956#bib.bib60)。

基于图的模型将驾驶场景描绘为图。它们可以结构化为带有时间传播的空间图序列、单个时空图或异构图（具有不同类型的空间和时间边）。基于序列的方法使用图卷积层（GCL）处理空间交互，并使用序列到序列架构（如Transformer[37](https://arxiv.org/html/2606.14956#bib.bib24)或GRU[38](https://arxiv.org/html/2606.14956#bib.bib30)）捕获时间动态。单图公式将时间数据嵌入节点特征，通常使用GAT层，这已被证明优于GCN[8](https://arxiv.org/html/2606.14956#bib.bib31)。异构图模型通过使用不同的GCL（如GAT[veličković2018graphattentionnetworks]用于空间关系，GCN[16](https://arxiv.org/html/2606.14956#bib.bib32)用于时间动态）明确区分空间和时间交互[5](https://arxiv.org/html/2606.14956#bib.bib17)。

混合方法混合了基于物理和基于学习的模型。例如，它们可能集成激波物理[36](https://arxiv.org/html/2606.14956#bib.bib18)，将运动学模型与学习到的预测器结合[15](https://arxiv.org/html/2606.14956#bib.bib20)，或将物理模型输出与循环网络合并[18](https://arxiv.org/html/2606.14956#bib.bib21)。额外的交互建模技术，如博弈论方法、逆强化学习和漂移扩散模型，由Wang等人[32](https://arxiv.org/html/2606.14956#bib.bib56)进行了综述。

本文专注于基于异构图的模型，该类模型融合了基于学习方法的精确性和图表示的有效性。基于Daoud等人[5](https://arxiv.org/html/2606.14956#bib.bib17)的工作，我们提出了一种修改后的架构，并进行了一项比较研究，以识别用于预测车辆轨迹的最有效的图卷积层。

## III架构设计与层选择

所提出的架构建立在Daoud等人[5](https://arxiv.org/html/2606.14956#bib.bib17)提出的架构之上，旨在提高预测精度并延长预测视野。我们还评估了19种图卷积层（GCL），以找到最有效的配置。

与原始方法不同（原始方法旋转地图以匹配目标车辆的航向），我们保持地图居中而不旋转。由于地图片段已经全局对齐，这种简化在保持路线可行性的同时减少了计算量。因此，该模型使用更短的1秒观测窗口和更长的5秒预测视野。

图1显示了整体架构。地图数据使用ResNet-18独立处理以生成紧凑的嵌入。该嵌入然后与数值化的智能体特征结合，创建初始节点表示。节点嵌入通过hh次迭代进行更新（对应于历史帧数），使用成对的空间和时间GCL来建模交互。包含跳跃连接以减少过度平滑并提高表达能力。最终由MLP生成预测轨迹。地图嵌入维度为200，而空间和时间嵌入维度为100。驾驶场景以5 Hz采样，使用五个历史帧预测未来25步。使用四个GCL层，MLP为每个节点输出一个50维向量。当特定GCL需要时，可选的全连接层将输入投影到兼容维度（100）。

参见图注  
图1：所提出架构的总体视图

为选择合适的GCL，我们评估了18种变体，涵盖空间（GCLs\{GCL\}\_\{s\}）和时间（GCLt\{GCL\}\_\{t\}）组件。从GCN[16](https://arxiv.org/html/2606.14956#bib.bib32)基线开始，逐层替换或组合替换。表I总结了所评估的GCL及其参数。这些GCL分为六类：

表I：图卷积层及其参数列表  
图卷积层 | 参数∗\\ast  
------ | ------  
图卷积网络（GCN）[16](https://arxiv.org/html/2606.14956#bib.bib32) | -  
SAGE[12](https://arxiv.org/html/2606.14956#bib.bib35) | -  
高阶图网络（HoGraph）[24](https://arxiv.org/html/2606.14956#bib.bib40) | -  
图注意力层（AGNN）[31](https://arxiv.org/html/2606.14956#bib.bib42) | 需要额外FC  
频率自适应卷积（FA）[3](https://arxiv.org/html/2606.14956#bib.bib49) | ε=0.1\\epsilon=0.1  
图注意力网络（GAT）[veličković2018graphattentionnetworks] | -  
局部极值网络（LEConv）[26](https://arxiv.org/html/2606.14956#bib.bib48) | -  
高效图卷积（EGC）[30](https://arxiv.org/html/2606.14956#bib.bib50) | H=4H=4, B=4B=4  
Transformer[27](https://arxiv.org/html/2606.14956#bib.bib36) | H=4H=4  
SuperGAT[14](https://arxiv.org/html/2606.14956#bib.bib34) | H=4H=4  
简化图卷积（SGC）[33](https://arxiv.org/html/2606.14956#bib.bib39) | K=3  
简单谱卷积（S2GC）[42](https://arxiv.org/html/2606.14956#bib.bib44) | α=0.5\\alpha=0.5, K=3K=3  
MixHop[1](https://arxiv.org/html/2606.14956#bib.bib47) | K=3  
拓扑自适应卷积（TAGCN）[9](https://arxiv.org/html/2606.14956#bib.bib37) | K=3  
分子指纹（MF）[10](https://arxiv.org/html/2606.14956#bib.bib46) | -  
门控图卷积（GRU）[19](https://arxiv.org/html/2606.14956#bib.bib43) | 需要额外FC  
残差门控卷积（ResGRU）[4](https://arxiv.org/html/2606.14956#bib.bib45) | -  
ARMA[2](https://arxiv.org/html/2606.14956#bib.bib38) | TL=1,Ks=1T\_\{L\}=1,K\_\{s\}=1  
切比雪夫谱图卷积[7](https://arxiv.org/html/2606.14956#bib.bib41) | kc=3k\_\{c\}=3  
- •∗\\astHH：头数，KK：跳数，KsK\_\{s\}和TLT\_\{L\}：ARMA滤波器的堆叠数和层数，KcK\_\{c\}：切比雪夫滤波器长度，BB：基数量

1. 1.传统图卷积，包括GCN、GraphSAGE[12](https://arxiv.org/html/2606.14956#bib.bib35)和高阶图（HoGraph）[24](https://arxiv.org/html/2606.14956#bib.bib40)。这些方法通过求和或平均来聚合邻居信息。它们使用自环来结合节点及其邻居的特征。
2. 2.单头注意力层，根据邻居的相关性为其分配注意力权重。例如AGNN[31](https://arxiv.org/html/2606.14956#bib.bib42)、频率自适应图（FA）[3](https://arxiv.org/html/2606.14956#bib.bib49)、GAT[veličković2018graphattentionnetworks]和LEConv[26](https://arxiv.org/html/2606.14956#bib.bib48)。它们使用余弦相似度或学习到的投影。
3. 3.多头注意力层，通过多个头扩展注意力机制以捕获不同的交互。该组包括EGC[30](https://arxiv.org/html/2606.14956#bib.bib50)、基于Transformer的层[27](https://arxiv.org/html/2606.14956#bib.bib36)和SuperGAT[14](https://arxiv.org/html/2606.14956#bib.bib34)。它们都使用四个注意力头。
4. 4.拓扑基础层，利用图的多跳结构。例如，SGC[33](https://arxiv.org/html/2606.14956#bib.bib39)和S2GC[42](https://arxiv.org/html/2606.14956#bib.bib44)在跳之间共享权重。MixHop[1](https://arxiv.org/html/2606.14956#bib.bib47)和TAGCN[9](https://arxiv.org/html/2606.14956#bib.bib37)使用跳特定权重。分子指纹（MF）[10](https://arxiv.org/html/2606.14956#bib.bib46)根据节点度数调整权重。
5. 5.循环基础层，使用GRU等循环单元。它们通过将邻居信息视为序列输入来更新节点嵌入。
6. 6.专用图滤波器，包括ARMA[2](https://arxiv.org/html/2606.14956#bib.bib38)和切比雪夫[7](https://arxiv.org/html/2606.14956#bib.bib41)卷积。它们使用谱滤波来捕获长距离依赖。

## IV实验

所提出的模型使用RounD数据集[17](https://arxiv.org/html/2606.14956#bib.bib53)进行评估，该数据集在德国通过无人机在多个环岛上空收集。它包含各类道路使用者的详细轨迹记录，包括自行车、摩托车、汽车、拖车、卡车、货车和公交车。

在本研究中，实验在数据集的第三个场景上进行，该场景捕获了一个环岛的交通活动。图构建遵循三条规则：(1) 空间边连接同一帧内欧氏距离30米内的智能体；(2) 时间边连接跨帧的连续智能体实例；(3) 缺少完整5帧历史或25帧预测视野的节点被掩盖不参与预测。生成的图结构总结见表II。

表II：图结构和预处理规则概览  
训练期间，模型参数使用Adam优化器进行优化。训练进行60个epoch，学习率在30个epoch后降低10倍，再经过20个epoch后再次降低。除EGC使用10−410^\{\-4\}外，所有模型的初始学习率设置为10−310^\{\-3\}。使用均方误差（MSE）作为训练损失函数。所有实验a