STAGformer：面向微出行需求预测的时空智能体图变换器

# 面向微出行需求预测的时空代理图Transformer

来源：https://arxiv.org/html/2607.06614

###### 摘要

精准的车站级需求预测对于共享单车系统的高效运营至关重要，但由于复杂的时空依赖关系和城市网络的大规模特性，这一任务仍然充满挑战。本文提出STAGformer，一种具有线性计算复杂度的时空代理图Transformer，可实现高效的全局建模。该模型引入两步骤的代理注意力机制：首先由一小批可学习的空间和时间代理令牌聚合全局信息，然后将其广播回各个车站和时间步，从而有效捕捉长距离交互，同时将标准自注意力的二次复杂度降至O(NT)O(NT)。STAGformer集成了四个核心模块：一个融合动态节点特征与外部上下文因素（天气、时间、兴趣点）的时空编码器、一个用于空间邻居聚合的图传播模块、一个用于局部模式提取的时间卷积模块，以及一个用于全局依赖建模的代理注意力模块。在纽约Citi-Bike和芝加哥Divvy-Bike两个真实数据集上的大量实验表明，STAGformer在多个预测时间跨度上始终优于最先进的基线模型，在RMSE和MAE上均取得显著改进。消融研究验证了每个组件的贡献，其中代理注意力机制对于全局时空依赖建模至关重要。通过将softmax注意力的表达能力与线性效率相结合，STAGformer为大规模城市系统中的微出行需求预测提供了一种可扩展且精准的解决方案。

关键词：共享单车，图神经网络，交通预测，需求建模

## 1 引言

作为一种绿色灵活的微出行方式，共享单车已在全球众多城市得到广泛应用，有效缓解了交通拥堵并促进了低碳出行 [37, 28]。然而，共享单车系统本质上是动态且时空异质的：车站的租还需求随时间呈现周期性波动，同时在空间上受到道路网络结构、兴趣点（POIs）分布以及实时天气状况的影响（如图1所示）。因此，精准的车站级需求预测对车辆再平衡、运营优化和用户体验提升至关重要 [30, 32]。

近年来，深度学习技术，特别是图神经网络（GNN）和Transformer架构，显著推动了时空预测的发展 [9, 10, 16]。GNN有效建模了车站间的空间依赖 [14, 15]，而Transformer则擅长捕捉长距离时间相关性 [17, 26]。然而，现有方法在应用于大规模共享单车网络时面临两个主要挑战：(i) 标准自注意力的计算复杂度随车站数NN和时间步数TT的乘积呈二次增长，即O((NT)2)O((NT)^2)，使其在城市级系统中不切实际 [16, 18]；(ii) 大多数模型未能有效整合影响需求的多源外部因素（如天气、POIs），导致预测精度受限 [29, 34]。

为解决这些挑战，我们提出一种基于代理注意力机制的时空代理图Transformer（STAGformer）。通过引入一小批可学习的“代理”令牌，STAGformer将自注意力的复杂度降低到关于车站数和时间步数的线性级别，从而高效捕捉全局时空依赖 [31]。具体而言，STAGformer包含四个核心模块：一个时空特征编码器，将历史车站特征和外部因素投影到高维表示并注入位置信息；一个图传播模块，利用图结构显式聚合空间邻居的信息；一个时间卷积模块，为每个车站提取局部时间模式；以及一个代理注意力模块，通过两步聚合与广播机制以线性复杂度建模车站与时间步之间的长距离交互。最后，融合特征通过输出层生成租还需求的多步预测。

本文的主要贡献如下：

1. 我们设计了一种融合动态节点特征与全局外部特征的编码方案，并通过图传播和时间卷积增强全局与局部模式提取。
2. 我们提出STAGformer，将代理注意力机制引入共享单车需求预测任务，在保持全局建模能力的同时实现线性计算复杂度。
3. 在两个真实数据集上的大量实验表明，STAGformer在RMSE和MAE上均优于最先进的基线模型，同时提供更高的计算效率。

本文其余部分组织如下：第2节综述相关工作；第3节定义问题并给出预备知识；第4节详细阐述STAGformer架构；第5节描述实验设置和结果分析；第6节总结论文并讨论未来工作。

参见图注 图1：2025年9月10日（周三）芝加哥共享单车需求与归还的空间不均衡。红色区域表示高需求或高归还量，蓝色区域表示低活动量。

## 2 相关工作

### 2.1 时空预测：演进与挑战

微出行系统（如共享单车）中的车站级需求预测由于复杂的空间依赖、时间动态性和大规模城市网络而天然具有挑战性。早期方法主要依赖时间序列模型，如ARIMA及其季节性变体SARIMA，它们能捕捉周期性和趋势，但无法纳入空间相关性和外部因素 [2, 1]。随后，支持向量回归（SVR）、随机森林和梯度提升树等机器学习模型被采用，通过手工构造特征（如天气、节假日）提高了精度 [5, 4]。然而，这些方法无法自动挖掘车站间的空间依赖，且对长程时间建模能力有限。

深度学习的出现彻底改变了时空预测。循环神经网络（RNN）及其变体（LSTM、GRU）被广泛用于独立建模每个车站的时间序列，有效捕捉了非线性时间依赖 [6, 7]。为同时建模空间相关性，研究人员转向基于网格的城市表示上的卷积神经网络（CNN）[8]，但网格划分无法适应非欧几里得的道路网络结构。图神经网络（GNN）的出现解决了这一问题。扩散卷积循环网络（DCRNN）[9]将扩散卷积与序列到序列架构结合，实现了图上的首次时空预测。时空图卷积网络（STGCN）[10]利用交替堆叠的一维时间卷积和图卷积，显著提高了计算效率。

后续研究进一步探索了动态图建模：ASTGCN引入注意力机制自适应调整空间权重 [11]；GMAN设计带有时空注意力模块的编码器-解码器结构以处理长距离依赖 [12]。针对大规模动态图，TrafficStream提出了带有持续学习的流式GNN框架 [13]。更近期的如Graph WaveNet [14]和AGCRN [15]等作品采用自适应图学习，无需预定义图结构即可捕捉隐藏的空间依赖。这些方法在建模局部时空依赖方面表现出色，但常受限于固定或静态的图结构，且仍难以高效捕捉全局长距离交互。

### 2.2 注意力机制与基于Transformer的模型

注意力机制在自然语言处理领域首次取得突破 [16]后，很快被引入时空预测任务。Transformer凭借其自注意力能力直接建模任意两个位置之间的依赖，在交通流预测中展现出强大潜力 [17]。然而，标准自注意力的计算复杂度为O((NT)2)O((NT)^2)，其中NN为节点数，TT为时间步数，这在城市级网络中难以承受。

为缓解这一问题，提出了几种高效的注意力变体：

- • 稀疏注意力：限制每个查询仅关注一部分键，降低了复杂度，但可能牺牲全局上下文 [18]。
- • 分离注意力：分别执行空间和时间注意力，例如先在每个时间步内对节点进行注意力 (O(TN2) O(TN^2))，再对每个节点沿时间进行注意力 (O(NT2) O(NT^2))。与联合注意力相比虽降低了成本，但仍包含关于NN或TT的二次项，当任一维度较大时仍然存在问题 [12, 11]。
- • 线性注意力：用核函数替换Softmax相似度以实现线性复杂度，但常以表达能力下降和难以捕捉尖锐注意力模式为代价 [19, 21]。

参见图注 图2：模型性能与效率对比（纽约，2025年9月，MAE；气泡大小表示参数量）。

与此同时，图注意力网络（GAT）通过注意力为邻近节点分配不同权重，在图结构数据上取得了显著成功 [22, 23, 24]。在时空预测中，许多研究将GAT与循环或卷积网络结合；ASTGCN [11]和GMAN [12]利用注意力增强空间依赖建模，而MTGNN [25]通过图注意力层捕捉多尺度时空相关性。这些方法改进了动态空间关系的建模，但仍受限于高计算复杂度，限制了其在大规模车站网络上的可扩展性。

近期，针对长序列设计的Transformer变体，如Informer [26]，已被应用于时间序列预测。然而，它们主要关注时间维度的效率，并未解决联合时空的可扩展性挑战。Set Transformer [27]引入诱导点来降低集合结构数据的复杂度，这与我们的代理方法在概念上相似，但它们并非针对时空图设计，也未纳入显式的空间图传播。

### 2.3 STAGformer的设计原理与优势

尽管上述方法取得了显著进展，现有模型仍难以在大规模共享单车网络中平衡计算效率与全局建模能力。STAGformer通过在时空领域利用代理注意力机制 [31] 并将其与互补模块集成，弥补了这些不足。我们方法的关键设计特点包括：

- • 全局感受野下的线性复杂度：代理注意力机制 [31] 用由一小批可学习代理令牌调节的两步聚合-广播过程替代二次自注意力，将复杂度从O((NT)2)O((NT)^2)降至O(NT)O(NT)。我们通过引入独立的时空代理令牌来扩展该机制至时空数据，使其能独立捕捉跨车站和跨时间交互，同时保留Softmax注意力建模任意长距离依赖的能力——这与可能牺牲全局信息交换的稀疏或基于核的线性注意力方法不同。
- • 保持表达能力：与用核函数替换Softmax并常损失表示能力的线性注意力变体不同，STAGformer在两个代理注意力步骤中继承了完整的Softmax注意力，并采用深度卷积（DWC）残差分支 [31] 来补偿潜在的特征多样性损失。这一设计确保效率提升不以牺牲预测精度为代价。
- • 局部与全局模块的集成：在代理注意力捕捉全局依赖的同时，STAGformer还包含一个面向显式空间邻居聚合的图传播模块和一个面向局部时间模式提取的时间卷积模块。这种混合设计以细粒度的局部信息补充全局建模，而这在纯Transformer架构中常常缺失。
- • 多源特征融合：STAGformer通过专门的编码方案无缝集成动态节点特征与外部因素（天气、时间、POIs），增强了捕捉许多现有模型忽略的上下文影响的能力。

总之，STAGformer通过结合基于图的局部建模与基于代理的全局注意力，为微出行需求预测提供了一种可扩展且精准的解决方案。