TA-SparseMG：基于多尺度门控的趋势感知稀疏预测方法用于长期时间序列

# TA-SparseMG：通过多尺度门控实现趋势感知的稀疏长期时间序列预测  
来源：https://arxiv.org/html/2606.27908  
\credit 概念化、方法学、软件、初稿撰写  
\credit 监督、审阅与编辑  
\credit 可视化、软件  
\credit 可视化、软件  
\credit 概念化、方法学、监督、审阅与编辑  
\cortext \[cor1\]通讯作者：王洪兵  
朱有记、刘晓东、熊翔光  
xxg@gznu\.edu\.cn  
贵州师范大学数学科学学院，贵阳 550025，中国  
贵州师范大学大数据与计算机科学学院，贵阳 550025，中国  

###### 摘要  
长期时间序列预测广泛应用于电力需求、交通流量、气象观测和可再生能源调度等领域。动态变化的长期时间序列预测面临固有挑战，包括统计非平稳性、局部高频扰动以及耦合的跨周期依赖性，这使得轻量级模型难以在参数效率与预测性能之间取得平衡。为解决这一问题，本文提出 TA-SparseMG，一种基于 SparseTSF 稀疏跨周期建模框架的轻量级跨周期预测模型。它包含三个关键模块：趋势感知可逆实例归一化模块、尺度自适应门控去噪模块和多尺度门控注意力 MLP 预测模块。趋势感知归一化模块捕获输入窗口统计量并校准预测窗口分布，有效缓解分布偏移。尺度自适应门控去噪模块在周期重排前进行特征平滑和残差抑制，从而减少高频扰动的干扰。多尺度门控注意力预测模块通过条件门控和特征调制增强预测头的自适应表示能力。在多个长期时间序列预测基准上的大量实验表明，所提出的 TA-SparseMG 持续实现优越且稳定的性能。消融研究证实，每个模块独立提升了分布适应能力、输入鲁棒性和跨周期特征映射能力。  

###### 关键词：  
长期时间序列预测\sep跨周期稀疏预测\sep趋势感知归一化\sep门控去噪\sep多尺度门控  

## 1 引言  

长期时间序列预测（LTSF）从历史观测推断未来的长期趋势。它广泛应用于电力负荷估计、交通流量分析、天气预报和可再生能源调度等领域。与短期预测相比，LTSF 需要更宽的感受野，并能应对复杂的周期结构和显著的统计分布变化，从而对模型的表示能力、鲁棒性和计算效率提出严格要求。随着多变量感知和在线监测的进步，现实世界的时间序列变得越来越长，并展现出更强的非平稳性、多尺度模式和跨周期特性。在保持紧凑参数预算的同时，有效利用长期时间序列（LTS）中的上下文信息，并平衡预测精度与稳定性，仍是 LTSF 领域的核心研究挑战[ref1]。  

现有的 LTSF 方法大致可分为三类技术路线：以线性变换和频域拟合为中心的轻量级方法、用于建模长程依赖的基于 Transformer 的方法，以及融入周期先验的跨周期建模方法[ref2]。DLinear[ref3] 和 FITS[ref4] 等模型采用趋势-季节分解和频域拟合，以极少的参数实现有竞争力的预测性能。PatchTST[ref5]、iTransformer[ref6]、FEDformer[ref7]、FreEformer[ref8] 和 TQNet[ref9] 专注于优化长程依赖捕获、变量间相关性挖掘和频域特征提取。SparseTSF[ref10] 和 SimpleTM[ref11] 嵌入周期先验以构建轻量级跨周期模型，在计算成本与预测性能之间取得了良好平衡。此外，分布偏移抑制[ref12,ref13,ref14]、多尺度上下文建模[ref15,ref16,ref17,ref18] 和门控特征优化[ref19,ref20,ref21] 等技术为进一步提升模型整体性能提供了可行路径。  

总体而言，现有研究在参数优化、依赖建模、频域特征提取和周期先验利用等方面推动了 LTSF 的发展。轻量级跨周期模型因其在效率与性能之间的良好权衡而日益受到关注。通过利用周期先验重构时间序列结构，并在周期对齐的特征空间中进行预测建模，这些方法避免了在全序列上执行昂贵的全局操作。例如，SparseTSF[ref10] 摒弃了复杂的注意力机制，通过周期重排简化建模，在参数有限的情况下实现了轻量级模型中的最先进性能。然而，它在处理动态 LTSF 任务时的性能仍有改进空间。  

综上所述，现有方法面临三个主要局限。首先，大多数归一化模块依赖历史时间序列的静态统计量来对齐分布，从而无法有效捕获序列内部的统计动态。当均值和波动性在历史窗口与预测窗口之间发生变化时，模型会遭受分布不匹配，降低预测可靠性[ref12,ref13,ref14]。其次，前端时间序列处理缺乏专门的去噪机制。原始数据中的高频扰动通过周期重排传播到特征空间，干扰周期模式的学习，削弱模型稳定性[ref10,ref15,ref16,ref17,ref18]。第三，基于传统浅层网络和线性变换构建的预测头遵循固定映射规则。它们无法动态调整其计算逻辑以适应跨周期时间序列模式，因此在处理多尺度变化、局部噪声和复杂周期叠加等场景时表现不足，从而限制了其表示能力[ref3,ref10,ref19,ref20,ref21]。  

为解决上述问题，本文提出 TA-SparseMG，一种轻量级增强型跨周期模型。其主要贡献总结如下：  

- • 提出 TA-SparseMG，一种轻量级增强型跨周期建模框架。它基于 SparseTSF 的核心稀疏跨周期架构，保留了固有的参数效率，同时在分布适应、特征去噪和预测头优化三个维度进行了改进。该框架为动态 LTS 任务提供了预测精度、鲁棒性和计算效率的平衡解决方案。  
- • 设计了趋势感知可逆实例归一化（TA-RevIN）模块和尺度自适应门控去噪模块。前者捕获序列内部的均值和波动性漂移模式，并将其与估计统计量相融合，以缓解窗口间的分布差异。后者在周期重排前进行时间序列平滑和残差抑制，从而减轻高频噪声对周期特征的干扰。  
- • 开发了多尺度门控注意力 MLP 预测器。它通过条件门控和注意力机制优化特征变换，能够自适应调整映射以适应不同的周期模式。  
- • 在六个主流 LTSF 基准上的大量实验表明，TA-SparseMG 持续实现性能提升。消融研究进一步验证了每个模块的有效性。  

本文其余部分结构如下：第2节（https://arxiv.org/html/2606.27908#S2）回顾了 LTSF 的最新进展，涵盖轻量级模型、跨周期建模、归一化-去噪技术和自适应预测头，并总结了现有方法的局限性。第3节（https://arxiv.org/html/2606.27908#S3）详细阐述了 TA-SparseMG 的整体架构及其核心模块的实现细节。第4节（https://arxiv.org/html/2606.27908#S4）介绍实验设置、基准结果和消融分析，以验证所提出模型及其组件的有效性。第5节（https://arxiv.org/html/2606.27908#S5）总结本文工作，讨论现有局限性，并展望未来研究方向。  

## 2 相关工作  

### 2.1 LTSF 中的轻量级建模  

LTSF 根据历史观测预测未来时间序列值，广泛应用于能源、气象、交通和金融等领域。早期研究主要依赖 ARIMA[ref22] 等统计模型和传统机器学习算法。相比之下，深度学习时代建立了以循环神经网络、卷积神经网络（CNN）和 Transformer[ref22,ref23,ref24] 为中心的技术范式。卷积架构能够构建有效的长期记忆，是时间建模的主流方法之一[ref25]。尽管复杂模型在捕获长程依赖和变量间相关性方面能力强大，但过度的参数开销和计算成本使其不适用于资源受限和实时预测场景。因此，平衡预测精度与模型复杂度已成为 LTSF 的核心研究目标。  

基于 Transformer 的架构及其变体主导了主流 LTSF 研究。Informer[ref26] 采用稀疏注意力以减少计算开销。Autoformer[ref27] 将时间序列分解与自相关机制相结合以提取周期特征。Crossformer[ref28] 使用分段嵌入和两阶段注意力机制共同建模时间和变量相关性。FEDformer[ref7] 利用频域变换提高计算效率。Pyraformer[ref29] 采用多分辨率金字塔结构简化长程依赖建模。这类模型通常包含数百万个参数，对实际部署构成了显著限制。  

因此，研究注意力已日益转向轻量级架构设计。DLinear[ref3]、FITS[ref4]、N-BEATS[ref30] 和 SparseTSF[ref10] 基于浅层 MLP 构建，以高参数效率和训练稳定性为核心设计优先级。TiDE[ref31] 构建了全连接编码器-解码器架构，验证了通过简单密集网络建模非线性依赖的可行性。TSMixer[ref19] 利用跨维度信息融合，省去复杂的注意力操作，增强了时间特征和变量关联的学习。ModernTCN[ref32] 充分利用卷积结构的计算优势，增强了模型对长短时时间模式的表示能力。这些方法通过基于线性变换的频域拟合和轻量级非线性模块，以低参数预算实现了 LTSF，并在主流基准上取得了有竞争力的性能。  

轻量级模型架构简单、训练稳定、可扩展性强，在工程部署方面具有相当大的实用价值。然而，其极简设计固有地限制了表示能力。在处理具有非平稳分布偏移、局部高频噪声和多周期特征的动态数据时，静态线性变换和浅层 MLP 难以充分揭示潜在模式。保留轻量级模型优点的同时，提升分布适应性、对噪声的鲁棒性以及预测头的表示性能，是推进轻量级 LTSF 技术的关键。  

### 2.2 周期先验与轻量级跨周期建模  

LTS 通常表现出强周期性，利用显式周期先验是提高长程预测性能和建模效率的有效策略[ref33]。现有研究通过将原始 LTS 重构为周期对齐的跨周期表示，将长期预测重新定义为跨周期趋势建模。该范式中的代表性方法包括 SparseTSF/MLP[ref10] 和 SimpleTM[ref11]：前者以最小的参数开销实现跨周期预测，后者通过轻量级骨干网络增强特征建模能力[ref20]。通过利用周期先验，这些方法缓解了长程依赖建模的挑战，并能够以紧凑的参数预算从 LTS 中高效提取上下文信息。  

现有的轻量级跨周期建模方法主要关注周期对齐的重塑策略和骨干架构设计，但对重排前后的表示质量、分布适应特性以及预测映射的自适应性投入不足。当应用于具有非平稳性、局部扰动和多尺度波动的复杂 LTS 时，固定的单周期先验配合轻量级骨干往往无法保证稳健的预测性能。最近关于周期漂移校正的研究（如 Correctformer[ref34]）也表明，显式建模周期漂移对于提高模型对演变时间模式预测的鲁棒性很重要。因此，在保留跨周期建模效率优势的同时，提高模型对复杂输入模式和跨周期变化的适应性，仍是该领域亟待解决的研究重点。  

### 2.3 归一化、去噪与自适应预测头  

LTSF 性能不仅受核心建模能力影响，还受到输入分布漂移、局部噪声以及预测头表示质量的影响。在归一化方面，可逆实例归一化技术缓解了样本级分布差异，提高了对非平稳时间序列的适应性[ref12],[ref35]。然而，大多数现有方法使用从输入窗口导出的静态统计量来恢复分布，从而忽略了窗口内的统计漂移。在长期预测场景中，未来时间序列的统计特性与输入窗口存在显著偏差；静态均值和标准差无法适应动态分布偏移[ref13],[ref36]。  

对于输入特征优化，LTS 通常包含高频扰动、短期噪声和异常波动。未经处理的干扰会污染深层特征并降低模型稳定性。关于频域 MLP 的研究表明，频域特征学习能够有效捕获全局依赖和能量分布特性[ref15]。时频融合模型（如 DTFNet[ref37]）进一步表明，联合利用时间和频谱线索有利于对非平稳时间序列进行建模。现有工作提出了多种优化策略，包括时域平滑、频域滤波、时间序列分解和多