CAMP：用于时间序列预测的周期感知多尺度补丁混合器

# CAMP：一种用于时间序列预测的周期感知多尺度补丁混合器
Source: https://arxiv.org/html/2608.04051
Vijaya Krishna YalavarthiLars Schmidt\-Thieme

###### 摘要

真实世界的时间序列通常由重复模式支配，但其主导周期可能因数据集、预测设置和单个输入窗口而异。现有的周期感知预测器通常依赖于在数据集级别选择的单个周期，这在周期行为随时间变化或存在多个周期并存时可能具有限制性。此外，基于补丁的模型通常统一处理所有补丁位置，尽管距预测边界较远的补丁可能需要更广泛的上下文细化，而较近的补丁包含的信息应更直接地保留。在移除周期行为后，剩余动态也可能跨越多个时间分辨率，无法在单一尺度上充分描述。我们提出 CAMP，一种用于解决这些挑战的周期感知多尺度补丁混合器。自适应周期学习模块为每个输入窗口分别识别主导频率，并在无需预定义周期长度的情况下生成历史和未来的周期分量。地平线引导补丁混合器引入了位置相关的细化机制，使较早的补丁能够整合更广泛的时序上下文，同时保留接近预测边界的信息。CAMP 进一步通过时间对齐的多分辨率表示对去周期残差建模，使得能够在同一预测框架内捕获不同尺度上的互补动态。在七个长期预测基准上，CAMP 在六个数据集上取得最佳平均 MSE，并在六个上取得最佳或并列最佳 MAE。它还在四个 PEMS 交通基准上的十六个设置中获得了最高的 MSE 胜场数。消融研究证实了样本自适应周期学习、多分辨率残差建模、补丁内编码和地平线引导补丁细化的互补贡献。

## 引言

参见图1：不同回看长度下测试输入窗口的中位主导周期。对于每个窗口，将最高振幅的非直流 FFT 频率转换为其对应的周期。数据集和输入长度之间的差异表明自适应周期识别的必要性。

时间序列预测（TSF）支持诸如电力消耗、天气预测、交通监控和工业传感等应用Max Planck Institute for Biogeochemistry \(2024 (https://arxiv.org/html/2608.04051#bib.bib1)\); Trindade \(2015 (https://arxiv.org/html/2608.04051#bib.bib2)\); California Department of Transportation (Caltrans) \(2024 (https://arxiv.org/html/2608.04051#bib.bib3)\); Zhouet al.\(2020 (https://arxiv.org/html/2608.04051#bib.bib23)\)。多变量时间序列（MTS）预测具有挑战性，因为变量表现出不同但相互作用的动态，而真实世界序列结合了趋势、重复周期和不规则的残差波动。未能捕获这些结构可能会扭曲未来的轨迹和重复行为。

近期研究表明，轻量级 MLP 架构可以在不依赖注意力机制的情况下建模复杂的时间依赖关系。TSMixerChenet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib8)\); Ekambaramet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib15)\)学习时间和跨变量交互，而 TimeMixerWanget al.\(2024 (https://arxiv.org/html/2608.04051#bib.bib7)\)建模跨多个尺度的变化。其他方法利用 HDMixerHuanget al.\(2024 (https://arxiv.org/html/2608.04051#bib.bib13)\)中的分层补丁依赖关系、WPMixerMuradet al.\(2024 (https://arxiv.org/html/2608.04051#bib.bib14)\)中基于小波的表示以及 FreTSYiet al.\(2023b (https://arxiv.org/html/2608.04051#bib.bib18)\)中的频域学习。

周期行为尤其有用，因为重复模式可以外推到未来区间。CycleNetLinet al.\(2024a (https://arxiv.org/html/2608.04051#bib.bib10)\)和 FreqCycleZhanget al.\(2026 (https://arxiv.org/html/2608.04051#bib.bib28)\)展示了显式建模周期分量的好处。然而，它们通常需要预先定义周期长度，或通过数据集级分析（如自相关函数 ACF）在训练前估算周期。这可能具有限制性，因为主导周期可能因数据集、回看长度和输入窗口而异，并且可能同时存在多个周期。

图1 (https://arxiv.org/html/2608.04051#Sx1.F1)总结了主导周期如何随回看长度变化。对于每个数据集和回看长度 LL，我们计算每个测试输入窗口的通道平均 FFT，选择最高振幅的非直流频率仓 ii，将其转换为标称周期 L/iL/i，并报告所有窗口的中位数。随着回看长度变化，Weather 和 ETTm1 的中位主导周期变化很大，而 ETTh1 保持在 24 附近。因此，单个预定义周期可能无法捕获跨预测设置的周期性结构，这促使我们为每个输入序列进行自适应频率识别。

我们提出 CAMP，一种周期感知多尺度补丁混合器，分别对周期和残差动态进行建模。其自适应周期学习模块使用快速傅里叶变换（FFT）Cochranet al.\(1967 (https://arxiv.org/html/2608.04051#bib.bib17)\)识别样本特定的主导频率，并通过 MLP 生成历史和未来的周期分量。因此，CAMP 既不需要预定义周期长度，也不需要单独的数据集级周期选择步骤。

在移除历史周期后，CAMP 应用平稳小波变换（SWT）Nason and Silverman \(1995 (https://arxiv.org/html/2608.04051#bib.bib11)\)将残差分解为对齐的多分辨率流，并通过补丁级 MLP 混合器进行编码。所提出的地平线引导补丁混合器逐步细化最粗略细节流的较早补丁，同时保留接近预测区间的补丁。编码后的流被聚合以预测残差，并与未来的周期分量相结合。

主要贡献如下：

- •我们提出了 CAMP，一种周期-残差预测模型，能够识别样本特定的主导频率，并在无需预定义周期长度的情况下生成历史和未来的周期。
- •我们将基于 SWT 的多分辨率分解、补丁级 MLP 编码和地平线引导补丁混合相结合，以对互补的残差动态进行建模。
- •CAMP 在长期和短期预测基准上都取得了强劲的性能。

参见图2：CAMP 概览。RevIN 归一化输入被分解为学习到的周期分量和残差。残差通过 SWT 分离为对齐的多分辨率流。最粗略的细节流由地平线引导补丁混合器编码，而其余流使用简单补丁混合器。它们的表示被平均并映射到残差预测，之后在 RevIN 反归一化之前重新注入预测的周期分量。

## 相关工作

#### 基于 MLP 的时间序列预测模型。

基于 MLP 的模型无需复杂的注意力机制即可实现有竞争力的预测性能。TSMixerChenet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib8)\); Ekambaramet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib15)\)通过 MLP 混合学习时间和通道依赖关系，而 TimeMixerWanget al.\(2024 (https://arxiv.org/html/2608.04051#bib.bib7)\)捕获分解后的时间尺度上的变化。最近的模型进一步将 MLP 混合与结构化表示相结合：HDMixerHuanget al.\(2024 (https://arxiv.org/html/2608.04051#bib.bib13)\)通过可扩展补丁建模分层依赖关系，WPMixerMuradet al.\(2024 (https://arxiv.org/html/2608.04051#bib.bib14)\)将小波分解与补丁级混合集成在一起。CAMP 遵循这一方向，但显式地将主导周期行为与残差动态分离。

#### 周期与周期性学习。

周期感知预测模型以不同方式利用重复的时间模式。TimesNetWuet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib34)\)识别主导频谱周期并构建基于周期的表示，而 DEPTSFanet al.\(2022 (https://arxiv.org/html/2608.04051#bib.bib29)\)学习参数化的周期和残差分量。SparseTSFLinet al.\(2024b (https://arxiv.org/html/2608.04051#bib.bib30)\)通过跨周期稀疏预测解耦周期性和趋势。KoopaLiuet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib35)\)使用傅里叶滤波器和 Koopman 预测器分离时不变和时变动态，而 BasisFormerNiet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib39)\)学习可解释的历史和未来基。CycleNetLinet al.\(2024a (https://arxiv.org/html/2608.04051#bib.bib10)\)和 FreqCycleZhanget al.\(2026 (https://arxiv.org/html/2608.04051#bib.bib28)\)显式建模循环周期，但需要预定义或预先估计的周期。CAMP 则选择样本特定的主导频率，并直接生成历史和未来的周期分量，而不固定全局周期长度。

#### 时间序列预测中的补丁处理。

将补丁用作标记的做法由 Vision TransformerDosovitskiyet al.\(2021 (https://arxiv.org/html/2608.04051#bib.bib16)\)推广，后来被应用于时间序列预测。补丁将相邻观测值分组为局部时间片段，在保留局部结构的同时减少序列长度。PatchTSTNieet al.\(2023 (https://arxiv.org/html/2608.04051#bib.bib4)\)学习补丁表示而不是处理单个时间步，而 SRSNetWuet al.\(2025 (https://arxiv.org/html/2608.04051#bib.bib24)\)引入选择性补丁和动态重组以保留信息丰富的片段。CAMP 将基于补丁的 MLP 编码器应用于残差流，并引入了一个保留近期补丁、同时逐步细化早期信息的地平线引导补丁混合器。

#### 频域预测。

频域表示揭示了在时域中可能不太明显的周期性和全局结构。FEDformerZhouet al.\(2022b (https://arxiv.org/html/2608.04051#bib.bib36)\)将时间分解与频率增强建模相结合，而 FiLMZhouet al.\(2022a (https://arxiv.org/html/2608.04051#bib.bib37)\)使用傅里叶投影来保留信息丰富的历史模式。FreTSYiet al.\(2023b (https://arxiv.org/html/2608.04051#bib.bib18)\)将 MLP 应用于频域