时间序列的模型无关检索增强扩展预测

# 模型无关的检索增强扩展时序预测
来源：https://arxiv.org/html/2608.14054
###### 摘要

基于预训练基础模型的时间序列预测展现出强大的零样本能力。然而，在特定领域应用中，对于历史数据较短或可忽略不计的时间序列，要达到最优性能通常需要通过微调或检索增强生成进行适配。微调虽然有效，但计算成本高昂。本研究探索在单变量时间序列中应用检索增强生成作为更高效的替代方案，特别是检索增强预测，并提出检索增强扩展预测——一种基于检索增强预测构建的模型无关方法。检索增强扩展预测对检索和聚合机制进行了关键改进：（1）直接在输入空间而非嵌入空间进行检索，降低推理开销；（2）采用基于拼接的聚合方式保留时间结构，而非简单平均。在多个基准数据集上的实证评估表明，检索增强预测在准确率和推理开销方面均优于检索增强预测。此外，与零样本和微调基础模型的全面比较显示，检索增强预测能达到与微调相当甚至更优的性能，同时避免其计算负担，证明其是时序预测领域适配的实用且可扩展的方法。

索引术语—检索增强预测，检索增强生成，基础模型，时间序列，微调。

## 1 引言

图1：架构。左：传统微调，在训练过程中使用训练集更新模型参数。中：检索增强预测，其中训练集用于构建向量数据库。推理时，输入被嵌入以检索最相似样本；其平均值与查询对齐后拼接形成增强输入，送入预训练模型。右：检索增强扩展预测，相似度直接在输入空间而非嵌入空间计算。检索样本通过聚合构建增强输入，实质上用聚合器模块替代了检索增强预测的对齐模块，随后输入预训练模型进行预测。时间序列预测对金融、能源系统、医疗保健和气候科学等多个领域的决策至关重要。近年来，基于Transformer的基础模型展现出令人瞩目的零样本预测能力。代表性模型包括Moirai、Chronos、MoiraiMoE、PatchTST、TimeGPT-1、TimesFM、GTT、Time-LLM、UniTime、UniTS、ChatTime、OFA和Time-MoE，它们利用注意力机制捕捉长期时间依赖关系。然而，这些模型在历史上下文有限的场景下面临挑战。当时间序列数据提供的上下文窗口不足时，零样本方法难以达到满意的准确性。此时需要进行领域适配，通常通过微调或检索增强生成实现。

微调使用特定领域数据更新模型参数，但其计算成本与模型规模和数据集规模成正比。相比之下，检索增强生成起源于自然语言处理，通过检索相关示例增强模型输入而不更新参数，提供了替代方案。推理时，从预构建的特定领域数据库中检索相关样本来增强输入，使模型能够处理更长的上下文窗口并捕捉领域相关的时间依赖关系，无需重新训练。

尽管检索增强生成在自然语言处理中已被广泛研究，但在时间序列领域相对较少探索。近期方法包括时间序列检索增强预测、检索增强扩散模型时间序列预测、检索增强时间序列预测和基于检索增强生成的时间序列基础模型等需要定制架构或领域特定训练，限制了其模型无关的适用性。只有检索增强预测和金融时间序列检索增强生成保持模型无关特性。检索增强预测依赖大语言模型，导致计算开销与微调相当。检索增强预测使用嵌入检索相似时间序列样本，并对其未来分量取平均后与查询输入拼接。然而，这种平均策略会稀释重要的时间模式，从而限制其有效性。

我们提出检索增强扩展预测，这是一种针对时间序列预测的模型无关方法，通过两项关键改进解决了检索增强预测的局限性。首先，与检索增强预测不同，我们在输入信号而非嵌入空间操作。这一修改将检索时间减少为原来的四分之一（上下文长度为32、64、128时）。其次，我们通过拼接检索样本而非取平均来保留数据的时间结构。为评估检索增强扩展预测，我们在六个基准数据集上使用三个基础模型进行了全面评估。我们是首个在时间序列背景下比较检索增强生成与模型微调的研究。结果显示，相比基础模型，检索增强扩展预测的平均绝对比例误差提升了11-16%。检索增强预测在同一基础上的提升较为温和（1-7%），而检索增强扩展预测的结果与微调相当甚至更优。总结：1）检索增强扩展预测在输入空间操作；2）检索增强扩展预测弃用检索增强预测的对齐步骤，采用聚合器模块；3）我们首次评估了与微调的比较，使检索增强生成方法首次超越微调。

## 2 方法

给定长度为的单变量时间序列样本，我们称为上下文，目标是预测长度为的未来序列。为此，我们从训练样本构建向量数据库，并在推理时利用这些包含领域信息的样本来增强输入，得到增强输入。随后，增强输入通过预训练基础模型生成预测。我们的方法建立在检索增强预测基础上，引入两项关键改进，详见以下小节。

### 2.1 检索增强预测

检索增强预测如图1中间面板所示。与进一步训练基础模型不同，训练样本在上下文和未来之间分割，上下文被嵌入并输入向量数据库。推理时，查询样本被嵌入，并通过计算查询嵌入与存储嵌入之间的欧氏距离从数据库执行检索。

检索器基于特征空间中的欧氏距离识别前个最相似序列，并检索相应上下文、未来分量和得分。上下文和未来对沿时间维度拼接形成，个检索样本通过平均聚合得到单一代表性序列。随后，针对输入应用实例归一化，将均值设为零，标准差设为一以缓解分布偏移。检索增强预测在拼接前对归一化后的和自身进行对齐。对齐通过沿垂直轴移动一个序列，使的最后一点与的第一点匹配，消除两者边界处的不连续性。归一化、对齐和拼接后形成增强输入，随后输入预训练基础模型生成输出。为恢复原始输入尺度的输出，需对进行反归一化得到最终预测。

虽然此方法有效，但对检索样本的平均操作导致信息损失，限制模型充分利用所有检索示例信息的能力。此外，每次推理步骤应用嵌入引入的计算开销降低了整体性能。时间序列本身是实数值序列，存在于欧氏距离直接度量相似性的度量空间中，无需额外的投影步骤（可能造成信息损失）。

### 2.2 检索器

我们的方法采用与检索增强预测相同的检索机制，关键区别在于省略了嵌入步骤。时间序列输入已是连续数值向量，直接度量距离定义明确。额外的嵌入层会引入计算开销且不能保证准确性提升，若不适合领域甚至可能降低性能。通过直接在输入空间操作，检索增强扩展预测在保持检索质量的同时降低了推理开销。

### 2.3 聚合器

对输入应用与检索增强预测相同的实例归一化，得到归一化序列、均值和标准差。归一化的检索样本和得分计算为：

（1）

其中对应上下文长度的平方差和，计算方式与检索增强预测相同。我们将得分除以进行归一化，得到尺度不变距离。

我们的目标是聚合所有检索样本而非取平均，从而保留完整的检索信息。然而，此方法在每个推理阶段生成长序列，增加预训练模型处理这些扩展序列的计算负担。为平衡信息保留与计算效率，我们定义得分阈值来区分检索候选（高相关性）和检索残差（低相关性）。

（2）

检索样本根据公式2分为候选集和残差集。候选样本拼接形成，残差样本取平均得到。向量在单一序列中包含与输入最相似的样本，用最相关模式丰富样本。相比之下，残差虽然相关性较低，但未被完全丢弃而是取平均。阈值有助于在极长的增强样本（包含相关性低的片段）和极短的增强样本（因跨多样本平均而丢失信息）之间取得平衡。我们未丢弃残差集，因为这些样本仍包含有用信息（这也是检索增强预测进行增强的方式）。最终增强输入构建为：

（5）

检索样本按得分升序拼接以保留基于相似性的相关性。当残差集或候选集为空时，增强输入仅使用可用集构建。

此外，作为改进的一部分，我们移除了检索增强预测引入的对齐步骤。原对齐旨在消除检索样本与输入之间的不连续性。但我们提出，移除此对齐后，检索样本将被预训练模型视为过去的周期性表示。鉴于检索样本与输入高度相似，增强样本有效代表更长的半周期序列，使模型能更自然地捕捉扩展的时间模式。

## 3 实验

我们的实验旨在证明检索增强扩展预测：（1）相比基础模型和检索增强预测提升了预测准确性；（2）在无需参数更新的情况下优于微调；（3）受益于输入空间检索和结构保持聚合。

### 3.1 实验设置

我们在六个跨领域的基准数据集上评估方法，使用0.8的分割比例和实例归一化作为预处理步骤。MoiraiMoE作为主要骨干模型（推理时间：16毫秒）。