我们真的需要Transformer来提取交通预测中的全局空间信息吗？

arXiv cs.AI 论文
traffic-forecasting spatial-information transformers global-aggregation ablation-study efficiency arxiv

摘要

本文研究了在交通预测中是否需要复杂的基于Transformer的注意力机制来提取全局空间信息，发现简单的全局聚合算子在更低计算复杂度下实现了相当的性能。

arXiv:2607.12462v1 Announce Type: new 摘要：现有的交通预测模型通常专注于提取空间依赖关系，特别是全局空间信息，该信息表征了交通网络中每个节点与所有节点之间交互得到的表示。然而，这种全局信息建模和提取的底层机制尚未得到充分研究。全局信息必须通过高自由度自适应注意力来提取，还是可以通过简单的全局聚合算子来捕获？为此，我们设计了一个受控消融框架，仅替换空间混合模块来测试基于注意力的全局交互。在六个交通基准上，均匀全范围混合和标准空间注意力分别在三个数据集上实现了较低的MAE，平均MAE差异仅为0.14%，而前者将节点级空间混合复杂度从O(N2)降低到O(N)。机制分析进一步将空间注意力分解为行均匀全局背景和非均匀残差。残差显示出依赖于数据集的边际价值，表明空间注意力应通过超过行均匀全局背景的稳定增益来证明其合理性。相应的源代码公开在：https://github.com/uuesti/U-Trans
查看原文
查看缓存全文

缓存时间: 2026/07/15 04:20 

# 我们真的需要Transformer来提取交通预测中的全局空间信息吗？
来源：https://arxiv.org/abs/2607.12462
查看PDF (https://arxiv.org/pdf/2607.12462)

> 摘要：现有交通预测模型通常侧重于提取空间依赖性，特别是全局空间信息，这种信息表征了交通网络中每个节点与所有节点之间交互所获得的表示。然而，对这种全局信息进行建模和提取的底层机制尚未得到充分研究。全局信息是否必须通过高自由度的自适应注意力来提取，还是可以通过简单的全局聚合算子来捕获，目前仍不清楚。为此，我们设计了一个受控消融框架，仅替换空间混合模块以测试基于注意力的全局交互。在六个交通基准数据集上，均匀全范围混合和标准空间注意力分别在三个数据集上取得了更低的MAE，平均MAE差异仅为0.14%，而前者将节点规模的空间混合复杂度从O(N²)降低到O(N)。机制分析进一步将空间注意力分解为行均匀的全局背景和非均匀残差。残差显示了依赖于数据集的边际价值，这表明空间注意力应通过在行均匀全局背景之外的稳定增益来证明其合理性。相应的源代码已公开发布于：这个 https URL (https://github.com/uuesti/U-Trans)

## 提交历史

来自：Siyao Zhang [查看邮箱 (https://arxiv.org/show-email/b754a013/2607.12462)] **[v1]** 2026年7月14日星期二 07:44:01 UTC (813 KB)

相似文章

用于交通预测的全局-局部图注意力网络

arXiv cs.AI

提出了一种具有成对编码和基于事件的邻接矩阵的全局-局部图注意力网络（GLGAT）用于交通预测，有效捕捉时空相关性，并在真实数据集上取得了有竞争力的性能。