基于LLM的在线时间序列预测的组合频谱提示

# 基于组合频谱提示的LLM在线时间序列预测
来源：https://arxiv.org/html/2609.02093
会议：第35届ACM国际信息与知识管理会议论文集；2026年11月7–11日；意大利罗马  
《第35届ACM国际信息与知识管理会议论文集》（CIKM '26），2026年11月7–11日，意大利罗马  
DOI：10.1145/3799682.3841092 (https://doi.org/10.1145/3799682.3841092)  
ISBN：979-8-4007-2539-5/2026/11  
CCS：计算方法学 机器学习算法  
作者：  
Hyunchul Kim  
机构：KAIST，韩国大田市  
邮箱：[[email protected]](mailto:[email protected])  
Jae-Gil Lee  
机构：KAIST，韩国大田市  
邮箱：[[email protected]](mailto:[email protected])  
Chanyoung Park  
机构：KAIST，韩国大田市  
邮箱：[[email protected]](mailto:[email protected])

© cc

###### 摘要\.

为应对时间序列的序列化与演化特性，**在线时间序列预测**（OTSF）任务已在多个领域得到广泛研究。现有研究侧重于通过基于内存缓冲区的检索策略来适应非平稳环境。然而，我们观察到此类框架在长期适应方面存在困难，并且无法泛化到未见过的模式。为此，我们引入了**CoSPOT**，这是一个基于LLM的在线时间序列预测框架，它利用预训练的LLM作为核心在线预测器，这得益于其强大的少样本学习能力。为实现高效的在线自适应，CoSPOT保持LLM参数冻结，并采用基于频域基的组合频谱提示来指导模型理解输入的整体分布，从而大幅减少在线阶段需要更新的参数数量。具体而言，CoSPOT将时间序列分解为频率基，并根据其幅度组合相应的频谱基提示，使得未见过的模式可以表示为已学习基提示的新组合。我们在真实数据集上的大量实验表明，CoSPOT在各种具有挑战性的在线场景中展现出优越性和实用性，包括延长的在线阶段以及存在显著分布偏移的跨数据集设置。我们的代码已发布在：https://github.com/seungyoon-Choi/CoSPOT\。

###### 关键词：

时间序列预测, 在线学习, 提示学习, 大型语言模型

††cc‑license:by

## 1\. 引言

早期基于深度学习的时间序列预测研究（Nie et al., 2022; Zhang and Yan, 2023; Zhou et al., 2022b; Zhou et al., 2021; Wu et al., 2021; Wu et al., 2022）主要集中在利用静态训练和评估数据集的批量学习方法上。然而，鉴于时间序列数据的序列化和演化特性，底层模式随时间发生偏移是不可避免的。因此，传统的批量学习方法往往无法适应这些变化，而频繁地重新训练模型以适应新模式，在实际应用中既费力又不切实际。为解决这些挑战，在线学习范式——使模型能够在动态环境中随着新数据的到来进行增量更新——正受到越来越多的探索。

![参考图标题](图 1\.) 
(a) 先前方法与我们的提出方法（即CoSPOT）在延长在线阶段下的性能对比。
(b) 先前方法与CoSPOT在模式存在分布偏移的跨数据集场景下的性能对比。
(c & d) DSOF 与基于LLM的时间序列预测方法在延长在线阶段和跨数据集场景下的性能对比。注意，图(a)和(c)使用了ETTh2数据集。

关于在线时间序列预测（OTSF）的现有研究（Pham et al., 2022; Wen et al., 2023; Lau et al., 2025）已聚焦于对演化数据流的有效适应。开创性工作FSNet（Pham et al., 2022）通过采用轻量级的每层适配器和用于模式检索的联想记忆，解决了快速适应和模式复用的问题。在此基础上，OneNet（Wen et al., 2023）引入了强化学习，根据实时性能动态集成模型。此外，DSOF（Lau et al., 2025）识别了先前设置中的信息泄漏问题，并提出了一个双流（即教师-学生）残差框架来处理延迟适应。这些方法共享一种策略，即采用基于内存缓冲区的检索来适应非平稳环境。

尽管取得了最近的进展，但现有方法基于缓冲区的设计在实际OTSF场景中面临两个根本性挑战。
**(1) 对延长在线阶段的适应性不足。** 在线场景中新数据持续流入，模型需要具备足够的长期适应能力，以便从演化的模式中有效学习。如图1(a)所示，增加在线阶段（即测试数据）的比例会导致先前方法的性能显著下降¹。这种性能下降源于内存缓冲区固有的容量限制：随着在线期延长，不断涌现的模式多样性使得在联想记忆中明确保留所有模式变得困难，从而导致灾难性遗忘。
**(2) 对未见过模式的适应性不足。** 在在线预测场景中，先前未见过的模式（即模式分布偏移）可能在测试时（即在线阶段）出现。因此，模型必须具备对此类偏移的适应性，以便进行有效调整。图1(b)展示了在训练和在线阶段的时间序列模式被故意设置为不同的条件下获得的实验结果。具体来说，我们使用了来自同一领域的两个数据集（即ETTh1和ETTh2），并在两种场景下进行了实验：一种是模型训练和在线更新都在ETTh2上进行（蓝色），另一种是模型先在ETTh1数据集上训练，然后随着ETTh2数据流的输入进行在线更新（红色）。我们观察到，现有的OTSF方法在训练期间未见过的模式上性能大幅下降，因为它们依赖联想记忆来检索与新输入相似的模式。换句话说，当出现前所未有的模式时，从先前学习到的模式中进行检索变得不可靠，导致在分布偏移下的适应失败。

¹ 为了在给定数据集中创建更具挑战性和延长的在线阶段，我们偏离了先前研究中典型的20%/5%/75%划分，而是采用了10%/5%/85%的训练/验证/测试划分。

为解决延长在线阶段和对未见过模式的适应性挑战，我们提出了CoSPOT，这是一个基于**组合频谱提示**的大型语言模型（LLM）在线时间序列预测框架。我们的设计动机源于一个观察：集成预训练的LLM对于维持延长在线阶段的适应能力至关重要。最近的研究（Jin et al., 2023; Chang et al., 2023; Zhou et al., 2023）表明，当与时间序列任务对齐时，LLMs可以显著提升预测性能，尤其是在**少样本**设置下。LLMs的这种可迁移性在OTSF中尤其具有优势，因为它能在有限数据下实现有效适应。在图1(c)中，我们将仅依赖时间序列模型的最先进OTSF模型（即DSOF）与那些将时间序列骨干网络与LLMs对齐的模型（即TimeLLM、LLM4TS和GPT4TS）在延长的在线阶段下进行了比较。令人惊讶的是，我们发现，尽管这些基于LLM的模型最初并非为在线学习设计²，但随着在线阶段的延长，它们展现出与DSOF相当的性能。然而，尽管它们在延长的在线阶段有效，基于LLM的模型在泛化到模式偏移方面存在困难（图1(d)），这限制了它们在OTSF中的适用性。这一缺陷凸显了模型表征能力持续适应的必要性。然而，更新LLM本身在在线场景中并不实际，因为大量的参数阻碍了快速适应。为解决这个问题，我们提出了一种新颖的提示机制，通过保持LLM冻结，同时利用可训练的提示来引导模型响应演化的模式，从而减轻这一负担。为了进一步增强模型的泛化能力，CoSPOT将其提示锚定在频域表示上，我们称之为**频谱提示**。这使我们的方法有别于依赖时域表示的先前OTSF方法，因为频域特征在捕获底层周期性结构方面更为优越（Zhou et al., 2022b; Yi et al., 2023）。具体来说，我们使用离散傅里叶变换（DFT）将输入时间序列分解为频率分量。每个作为时间序列模式基本构建块的通用频率基，都与一个可学习的频谱基提示相关联。然后，根据相应频率分量的幅度，对这些频谱基提示进行组合聚合，形成一个特定于输入的组合频谱提示，输入到LLM中。这种设计有效地转变了适应问题：模型不是记忆无限多的具体模式，而是将任何未见过的模式表示为频谱基提示的新组合，这些提示在在线阶段预先学习且保持冻结。因此，我们的框架实现了两个关键优势：（i）**泛化**：新出现的模式通过重新组合与频率基相关的频谱基提示来表示，从而实现对分布偏移的鲁棒适应。（ii）**效率**：由于频谱提示库和LLM在在线阶段保持冻结，CoSPOT无需大规模参数更新的计算开销，即可实现归纳适应。

² 我们遵循其原始训练协议，并在仅在线阶段微调输出投影层。

在本研究中，我们做出了以下贡献：
- • 我们指出现有基于内存缓冲区的OTSF方法在长期适应方面存在困难，并且无法泛化到未见过的模式。
- • 我们提出了CoSPOT，这是首个将LLMs整合到OTSF中的方法。CoSPOT采用组合频谱提示，通过组合锚定在频域基上的频谱基提示来构建特定于输入的提示。
- • 通过在各种在线学习场景下的大量实验，我们证明了CoSPOT以极少的在线参数更新，持续优于最先进的OTSF方法。

## 2\. 相关工作

**在线时间序列预测。** 鉴于时间序列数据的演化特性，在线预测在实际应用中日益重要（Kuznetsov and Mohri, 2016; Gultekin and Paisley, 2018; Aydore et al., 2019）。最近，提出了在线深度学习模型以进一步捕获时间序列数据中的复杂模式。FSNet（Pham et al., 2022）引入校准模块，以动态平衡对近期变化的快速适应和对先验知识的保留。OneNet（Wen et al., 2023）结合强化学习来建模跨变量和跨时间的概念漂移。针对先前研究中的信息泄漏问题，DSOF（Lau et al., 2025）重新定义了OTSF设置，并提出了一种双流机制来更新模型参数。然而，先前的研究并未明确建模输入信号中的模式，阻碍了它们适应未观测分布的能力。此外，它们对模式信息的显式存储限制了模型对延长在线阶段的适应性。

**基于LLM的时间序列预测。** LLMs的最新进展促使研究人员探索其在数据稀疏时间序列领域的预测任务中的可迁移性。LLM4TS（Chang et al., 2023）引入两阶段微调方法来利用LLMs进行时间序列预测。GPT4TS（Zhou et al., 2023）重新训练LLMs的位置编码和归一化层，以在保持预训练知识的同时提升下游任务性能。此外，TimeLLM（Jin et al., 2023）采用重编程方法将时间序列数据与词嵌对齐。受这些模型已证实的适应性的启发，我们利用LLMs以实现在线场景中的快速调整。

**基于提示的持续学习。** 无回放持续学习方法利用预训练模型（如ViT）的强大通用表示能力（Dosovitskiy et al., 2020）。通过仅为每个任务微调小型的、可学习的**提示**，这些方法实现了显著的内存和计算效率，因为核心模型参数保持不变。VPT（Jia et al., 2022）优化单个提示，L2P（Wang et al., 2022b）使用共享的提示池。S-Prompts（Wang et al., 2022a）为每个单独任务训练一个独特的提示，以解决灾难性遗忘。然而，将提示学习应用于解决时间序列领域的分布偏移问题仍有待探索。考虑到时间序列数据的连续性，在线学习场景比假设任务离散的持续学习更为合适。CoSPOT是首个通过编码底层频率基的知识，实现了对在线学习场景至关重要的高效且可扩展的提示机制。

**时间序列预测中的频率分析。** 由于时间序列数据中复杂的时间变化，诸如离散傅里叶变换（DFT）和离散小波变换（DWT）等频率分析技术被广泛用于捕获重复模式。DFT分析全局频率分量，而DWT提供不同尺度的局部频率信息。FEDformer（Zhou et al., 2022b）是一个代表性的频域预测模型，它通过傅里叶增强