SPDM：基于流形约束的几何调制状态空间建模用于时间序列预测

# SPDM：基于几何调制流形约束的状态空间模型用于时间序列预测
来源：https://arxiv.org/html/2606.09917
1\]组织单位=香港大学计算与数据科学学院，城市=香港特别行政区，国家=中国

###### 摘要

多变量时间序列预测需要捕捉交互变量之间持续演变的关联结构。现有的状态空间模型通过扫描标记化的时间或空间序列来处理时间序列，丢弃了演变的几何结构。我们通过将流形约束引入状态空间建模来克服这一局限：将跨变量关联结构视为对称正定流形上的连续轨迹，其黎曼几何特征、切空间线性度和弗雷歇均值中心性充当一种原则性的几何正则化器，引导并稳定SSM的选择性扫描动力学。我们提出SPDM，一种几何感知的SSM架构，通过两种协作机制实现这一原则：一条流形轨迹路径，将动态演变的协方差矩阵从SPD流形投影到欧几里得切空间；以及一个几何门控机制，基于从流形轨迹导出的几何信号直接调制SSM的内部选择性参数。该参数化在嵌入丰富结构约束的同时保持了Mamba并行扫描的线性时间复杂度，使架构同时保持预测精度和计算效率。在11个真实世界基准数据集上的广泛实验确立了最先进的预测性能，进一步的研究证实几何约束的状态空间动力学是其性能提升背后的主导架构因素。代码见https://github.com/XsChen524/spdm

###### 关键词:

流形约束动力学\sepSPD流形\sep黎曼几何\sep状态空间建模\sep深度学习\sep时间序列预测

## 1 引言

对多个交互通道之间的结构化依赖关系进行建模的能力是神经序列建模中的一个基本挑战。在复杂的动力系统中，无论是物理系统、生物系统还是制造系统，多变量观测值连续记录着交互组件的演变状态，产生时变的相关结构，编码了子系统如何相互影响以及系统如何在运行状态之间转换[19]。因此，一个核心挑战在于赋予神经架构以几何保真度来表示这种演变的空间相关结构，这在静态邻接基方法和自注意力机制中都是缺失的。

现有的神经序列架构在很大程度上将通道间关系视为事后考虑。早期的统计和循环模型将变量视为独立通道，忽略了跨变量依赖信息。虽然Transformer[21]引入了全局范围内的时间交互并催生了一系列预测框架[16,32]，但其O(L²)自注意力产生了双重瓶颈：对于长序列而言计算不可行，以及根本无法沿着时间维度连续传播相关结构。线性化替代方案[30,33]减少了开销，但牺牲了时间精度。除了计算考虑之外，新出现的一类工作认识到相关结构具有内在的几何特性，适合结构化建模：基于Koopman的方法[22]学习非线性动力学的谱算子，TimesNet[25]通过二维时间重构发现多周期性，HyperTime[31]在非欧几里得空间中强制执行双曲蕴含约束以嵌入层次化通道关系。然而，这些方法要么依赖静态的几何先验，要么将几何变换作为辅助机制，并没有在原则性的几何流形上将相关结构建模为一条*连续演变的几何轨迹*。

最近，状态空间模型（SSMs）[17]已成为序列建模中一种原则性且高效的替代方案。Mamba架构[7]引入了具有线性时间复杂度的选择性扫描机制，实现了优于基于Transformer方法的可扩展性，并已通过双向扫描[15,24]和反向嵌入[16]扩展到时间序列预测。然而，现有的基于Mamba的模型主要通过在不同维度上进行因果扫描来进行建模和预测，而即使是显式建模成对变量依赖关系的基于图的方法[23]也将相关结构视为静态图，两者都忽略了捕捉其时间演变所必需的几何连续性。DyGraphformer[8]采用动态图卷积来推断时变的空间依赖关系，但仍然依赖Transformer主干内的离散邻接结构。RCL[27]指出标准的Mamba块对关键时间步的关注不足，这促使我们设计通过原则性的几何引导（而非事后预训练）来增强选择性的架构。

为了解决这些局限性，我们提出了流形约束状态空间动力学的原则。核心见解在于，演变的跨变量相关结构位于对称正定（SPD）矩阵流形PN上，其测地线平滑性、切空间线性度和弗雷歇均值中心性为基于SSM的预测提供了原则性的几何正则化。我们通过SPDM实现这一原则，该架构将跨变量相关结构建模为PN上的连续轨迹，使用专用的几何Mamba对其进行扫描，并将所得的几何信号直接注入双向Mamba跨变量相关（VC）编码器的选择性参数中。这样，它有效地将SSM的信息门控与演变的流形几何耦合起来。与现有方法施加静态几何约束[31,13]或将变量关系建模为离散图结构不同，SPDM在SSM参数化层面显式介入，使几何成为序列建模过程的一个构成性组件。

我们的主要贡献是：

- •我们引入了流形约束状态空间动力学的原则，证明将演变的跨变量相关结构视为SPD流形上的连续黎曼轨迹可以为基于SSM的多变量预测提供有效的几何正则化。
- •我们提出了SPDM，一种几何感知的SSM架构，通过在切空间中使用几何Mamba扫描SPD流形轨迹，并通过几何门控直接调制Mamba的选择性参数来实现这一原则，在保持线性时间复杂度的同时实现了内在的几何感知，无需外部条件。
- •我们通过在11个真实世界基准数据集上进行系统研究提供了全面的实验证据，证实流形约束动力学才是SPDM最先进预测性能背后的主导因素，而非孤立的架构组件。

通过在非欧几里得空间中对给定序列进行状态空间建模，并调制扫描过程的内在参数，SPDM实现了高效的几何跨变量模式识别，同时在处理日益增长的序列长度时保持了可观的可扩展性。这项工作为状态空间架构中的流形约束神经动力学奠定了基础，为结构化非欧几里得表示上的几何深度学习开辟了道路。

## 2 相关工作

### 2.1 Mamba与用于时间序列的状态空间模型

SSM最近已成为长序列建模的高效范式。Mamba架构[7]引入了选择性的扫描机制，支持输入相关的状态转换，具有线性时间复杂度，相比基于注意力的模型具有显著效率优势。对于时间序列预测，S-Mamba[24]采用双向Mamba分支来捕捉正向和反向的时间依赖关系，而BiMamba4TS[15]通过专门的多变量架构扩展了这一点。RCL[27]通过令牌级对比预训练增强了Mamba对时间序列预测的选择性，指出标准的Mamba块对关键时间步的关注不足，这一局限性促使我们在SSM参数化层面进行架构干预。除了时间序列，Mamba变体已被广泛应用于不同领域，包括用于多模态遥感分类的FA-Mamba[28]和用于几何信息的功能性脑组织学习的Geo-Mamba[3]，展示了Mamba架构范式的广泛适用性。然而，现有的基于Mamba的方法主要关注一维时间扫描，并将多变量交互视为平坦序列。它们缺乏显式机制来捕捉演变中跨变量相关性的*几何结构*，而这正是SPDM的核心焦点。

### 2.2 用于多变量建模的黎曼几何

黎曼几何在多变量数据分析中的应用有着丰富的历史。SPD流形PN自然地出现在对协方差矩阵或相关矩阵建模时，应用范围涵盖脑机接口、动作识别和医学成像。关于矩阵几何均值的黎曼几何的基础工作[2]建立了PN上测地线及重心（barycenter）的关键性质，而对数欧几里得框架[1]通过矩阵对数将流形嵌入欧几里得空间，定义了PN上的一族黎曼度量，提供了一种比仿射不变度量计算更高效的替代方案，同时保留了关键几何性质，如对逆变换和相似变换的不变性。经典方法如PN上的测地线滤波和弗雷歇均值计算为协方差轨迹的统计分析提供了原则性工具。

在更广泛的基于流形的时间序列分析背景下，Slavakis等人[20]开创性地使用黎曼多流形模型对大脑网络时间序列进行建模，将时序特征视为黎曼子流形并集上的点；这一工作由Ye等人[29]扩展到动态多层网络上的快速序列聚类。RM-BLS[5]通过随机扰动近似利用流形嵌入进行鲁棒混沌系统预测，进一步展示了流形表示对序列数据的价值。最近，黎曼深度学习将神经网络操作扩展到流形值数据，实现了SPD矩阵上的端到端学习。Nava-Yazdani[18]提出了直接在黎曼流形上进行岭回归用于时间序列预测，通过贝塞尔曲线提供了流形值回归的显式梯度公式。然而，这些几何方法尚未与用于时间序列预测的高效状态空间扫描相结合，SPDM通过将SPD轨迹投影到切空间并利用Mamba的并行扫描直接填补了这一空白。

### 2.3 流形上的几何深度学习

几何深度学习提供了一个将神经网络推广到非欧几里得域的统一框架。对于SPD流形，SPDNet[10]及其变体引入了尊重黎曼几何的层，如BiMap、ReEig和LogEig操作。切空间方法已被用于将流形值特征映射到欧几里得空间，在此空间上标准架构可以操作。最近，ManifoldFormer[6]通过测地线感知注意力和流形约束的神经ODE将这一范式扩展到黎曼流形上的神经动力学建模。补充性的理论研究使用黎曼曲率张量来刻画训练后的深度网络[11]，并使用几何流来保持深度度量学习中的数据流形结构[14]。最近关于黎曼SSM的工作探索了流形约束的循环动力学，但在学习的流形轨迹上的高效并行扫描仍待探索。SPDM通过将轨迹上的几何Mamba扫描输出注入成熟的Mamba VC编码器，弥合了这一差距，同时实现了几何保真度和计算效率。

### 2.4 组织结构

本文的其余部分组织如下。第3节介绍了SPDM框架，包括流形轨迹构建、切空间投影、几何门控机制和预测流水线。第4节报告了在11个基准数据集上的全面实验，涵盖预测有效性、消融研究、效率分析等。第5节对本文工作进行总结。

参见图注

图1：SPDM框架

## 3 方法

### 3.1 问题形式化

设X = [x1, x2, ..., xL] ∈ R^(L×N) 表示一个多变量时间序列，包含L个历史时间步和N个变量。每个向量xt = [x_t^1, x_t^2, ..., x_t^N] 表示在时间步t上N个相关信号的观测值。给定一个长度为L的历史观测窗口，预测目标是接下来的P个时间步：

Ŷ = [x̂_{L+1}, x̂_{L+2}, ..., x̂_{L+P}] = f_θ(X_{1:L})   (1)

其中f_θ(·) 代表