面向连续功率预测：非平稳时间序列中现实世界能源系统的实用持续学习

# 面向连续功率预测：非平稳时间序列中实际能源系统的实用持续学习
来源：https://arxiv.org/html/2606.24955

11institutetext:智能嵌入式系统，卡塞尔大学，34121 卡塞尔，德国
11email:\{yujiang\.he, frederic\.uhrweiller, bsick\}@uni\-kassel\.de

###### 摘要

部署在真实能源市场中的功率预测模型必须在非平稳条件下运行，由于天气变化、基础设施升级和消费行为改变，数据分布会持续演化。在实践中，这些模型面临严格的操作限制：历史数据可能有限或无法用于重复训练，且通常需要不间断的长期服务。本文通过提出连续功率预测范式来应对这些挑战，该范式将功率预测视为一个持续学习问题，而非静态离线任务。基于一个适用于回归的自适应持续学习框架，我们系统地研究了来自三个方法论类别的六种代表性持续学习方法的实际有效性。这些方法在关于数据可访问性和更新策略的不同现实假设下进行了评估。在真实世界功率数据集上的实验验证表明，持续学习能使预测模型自适应分布漂移、随时间积累知识，并缓解灾难性遗忘，而无需依赖大规模历史数据存储。除性能提升外，我们的研究还提供了不同持续学习方法在现实操作约束下的稳定性和自适应行为的实际见解。总体而言，本文阐明了如何将持续学习务实集成到工业功率预测管线中，为动态环境中的长期部署提供可扩展且可持续的解决方案。

## 1 引言

功率预测是现代能源系统的核心组成部分，支持市场运营和电网管理。在实际部署中，预测模型必须在非平稳条件下运行长时间生命周期，数据分布会因天气模式、基础设施和消费行为的变化而演化。同时，操作限制（如对历史数据的有限访问以及不间断服务要求）使得重复离线训练不切实际。在实践中，非平稳性既表现为输入分布的漂移，也表现为由于概念漂移导致的输入与目标之间潜在关系的变化。虽然收集大规模训练数据集可以部分缓解此类影响，但这种方法成本高、速度慢，且通常与数据隐私保护要求不兼容。相反，在流入数据上简单微调模型会导致灾难性遗忘，从而削弱长期预测可靠性。

我们通过连续功率预测（CPF）范式来解决这些挑战，该范式借助持续学习（CL）将功率预测视为一个终身自适应过程，而非静态离线任务。此处，*continuous* 强调模型生命周期内不间断的系统级操作，而 *continual* 则指代实现增量适应和知识保留的重复学习机制。目标是使预测模型能够自主适应分布漂移并随时间积累知识，而无需依赖大规模历史数据存储。

基于模块化的 CLeaR（回归持续学习）框架[6](https://arxiv.org/html/2606.24955#bib.bib1)，该框架支持对回归任务的不同持续学习方法进行统一比较，本文研究了六种实用 CL 方法在真实操作假设下对功率预测的实际有效性。本文的主要贡献可总结如下：

- • 我们将 CPF 形式化为一种操作范式，适用于在非平稳条件和严格操作限制下运行的终身能源预测系统。
- • 我们在现实数据可访问性约束下对六种代表性持续学习方法进行了统一的大规模实证评估，提供了机制层面的见解，揭示了它们在不同电力实体上的稳定性-可塑性权衡。
- • 我们通过在公开可访问的数据集上评估所有实现，并发布 CLeaR 框架及所有评估的 CL 方法的代码，确保可复现性¹¹代码将在接受后公开。.

## 2 相关工作

CL 研究模型如何按顺序学习多个任务而不发生灾难性遗忘，这一现象根本上源于稳定性-可塑性困境。大量 CL 研究将解决方案分为三大类[2](https://arxiv.org/html/2606.24955#bib.bib4)：基于正则化的方法[8](https://arxiv.org/html/2606.24955#bib.bib5), [21](https://arxiv.org/html/2606.24955#bib.bib6), [17](https://arxiv.org/html/2606.24955#bib.bib7) 约束参数更新；基于重放的方法[14](https://arxiv.org/html/2606.24955#bib.bib8), [13](https://arxiv.org/html/2606.24955#bib.bib9), [18](https://arxiv.org/html/2606.24955#bib.bib10), [19](https://arxiv.org/html/2606.24955#bib.bib11) 利用存储或合成的历史样本来锚定优化；以及基于架构的方法[15](https://arxiv.org/html/2606.24955#bib.bib12) 为不同任务分配专用参数子空间以消除干扰。然而，标准化的 CL 基准主要集中在分类设置上[2](https://arxiv.org/html/2606.24955#bib.bib4), [7](https://arxiv.org/html/2606.24955#bib.bib15), [10](https://arxiv.org/html/2606.24955#bib.bib14)，这些方法在预测场景中的适用性仍存在悬而未决的问题，而 CL 文献中对预测场景的探索相对较少[6](https://arxiv.org/html/2606.24955#bib.bib1), [1](https://arxiv.org/html/2606.24955#bib.bib16)。

在电力系统这一特定领域，由于消费模式演化、发电变化和操作限制，连续预测是实际需求[4](https://arxiv.org/html/2606.24955#bib.bib3)。虽然最先进的预测架构（如 Informer[22](https://arxiv.org/html/2606.24955#bib.bib17)、Autoformer[20](https://arxiv.org/html/2606.24955#bib.bib18) 和 PatchTST[12](https://arxiv.org/html/2606.24955#bib.bib19)）在静态基准测试中取得了显著准确性，但它们大多依赖于离线训练或在大型历史数据集上的定期重训练。在数据可访问性受限、隐私约束或不间断服务要求的实际部署中，此类假设通常不可行。关于自适应时间序列预测的相关文献涵盖了概念漂移检测和模型更新的方法，包括统计变化检测和漂移感知学习[3](https://arxiv.org/html/2606.24955#bib.bib23), [11](https://arxiv.org/html/2606.24955#bib.bib26)、在线学习算法[16](https://arxiv.org/html/2606.24955#bib.bib28) 以及基于集成自适应技术[9](https://arxiv.org/html/2606.24955#bib.bib27)。这些方法旨在不断演化的分布下保持预测性能，但通常强调检测和反应式重训练，而非显式考虑内存约束下的稳定性-可塑性权衡。

有界内存的持续回归最近已在模块化框架（如 CLeaR[6](https://arxiv.org/html/2606.24955#bib.bib1), [5](https://arxiv.org/html/2606.24955#bib.bib2)）中实例化，该框架集成了基于缓冲区的存储、新颖性检测和多种流式更新策略。然而，在现实操作约束下对不同类型 CL 方法进行系统实证评估仍然有限。我们的工作在此基础上，通过在真实电网数据集上采用一致协议对多种 CL 方法进行统一实证评估。通过将基于正则化、基于重放和基于生成的方法置于共同框架中，并分析它们在不同非平稳条件下的行为，我们提供了超越静态基准设置的见解。这一视角通过阐明在动态、资源受限的预测环境中哪些特定适应策略可能更受青睐，对 CL 文献和应用数据科学界均有贡献。

## 3 CLeaR 框架与实例化

CLeaR 是一个为回归问题设计的自适应模块化 CL 框架，其中预测模型必须在流式数据和有限历史存储约束下随时间演化以适应变化的数据分布[6](https://arxiv.org/html/2606.24955#bib.bib1)。在框架层面，CLeaR 包含两个主要模块：基于缓冲区的 CL 模块和新颖性检测模块。CL 模块主要包括：(1) 一个基于神经网络的预测模型，(2) 熟悉和新鲜缓冲区，(3) 用于更新模型参数的 CL 方法，以及 (4) 一个触发机制。熟悉缓冲区存储与当前模型状态一致的样本，而新鲜缓冲区则累积指示数据流中分布漂移的样本。这些缓冲区类型是 CLeaR 框架固有的，因为需要持续监控潜在的任务变化以实现受控适应。额外缓冲区（如重放缓冲区）是可选的，取决于特定实例化中采用的 CL 方法（见第 3.2 节）。新颖性检测模块根据一个量化检测函数（与部署模型相对）将输入样本分配到缓冲区。操作上，CLeaR 遵循新颖性驱动的流式适应循环。给定一个有界内存约束下的数据流 \(\{x_t, y_t\}_{t=1}^T\)，CLeaR 迭代执行：(1) 接收流式样本；(2) 生成预测并评估检测信号；(3) 将样本分配到适当的缓冲区；(4) 当预定义条件满足时触发参数更新；(5) 用更新后的模型替换已部署模型；(6) 在新模型状态下继续监控。值得注意的是，这些组件根据应用需求进行实例化。CLeaR 的一个具体实现称为 CLeaR 实例，通过指定每个定义的模块获得。图 1 展示了本研究中使用的实例。虽然图中描绘了真实重放实例化，但下文描述的检测和更新机制在所有实例中共享，除非另有说明。

参见标题
图 1：带有真实重放的 CLeaR 实例，显示双分支新颖性检测（重建误差和预测误差）、缓冲区分配和异步模型更新。
第 3.1 节描述了本工作中采用的检测和更新机制的实例化，而第 3.2 节详细介绍了本工作中评估的 CL 方法。

### 3.1 新颖性检测与更新机制

所有评估的 CLeaR 实例共享一个共同的预测架构，该架构由一个用于表示学习的自编码器（AE）和一个针对目标的特定多层感知机预测器组成。AE 首先接受训练以学习输入特征的紧凑表示。训练完成后，编码器参数被冻结，学习到的表示被输入预测器进行监督训练。该架构有意设计为模块化且可扩展的。神经网络可以替换为更先进的神经网络，扩展为多任务学习，或在需要生成重放时替换为变分自编码器（VAE）。模型提供两个可测量的误差信号：重建误差和预测误差。前者反映输入分布的漂移，后者捕捉输入-目标关系中的偏差。这些信号构成了本实例化中新颖性检测的基础。

在每个时间步，部署的模型生成预测并计算这两个误差。每个误差与一个动态调整的阈值进行比较。在本实例化中，阈值定义为最近更新模型的缩放运行平均误差。具体来说，每次更新后，阈值重新估计为 \(\tau = \alpha \cdot \bar{e}\)，其中 \(\bar{e}\) 表示当前存储在熟悉和新鲜缓冲区中的样本上的平均重建或预测误差，\(\alpha\) 是用户定义的缩放因子，控制灵敏度。较小的 \(\alpha\) 增加对偏差的灵敏度，而较大的值减少不必要的更新。阈值在预热阶段使用完整的预热数据集进行初始化，之后仅在每个模型更新后进行调整。熟悉样本上的误差反映稳定性，而新鲜样本上的误差反映适应质量。因此，重新估计的阈值隐含地反映了更新模型所达到的当前稳定性-可塑性平衡。

超过重建或预测阈值的样本分别指示输入分布和底层输入-目标关系中的潜在漂移。输入样本 \(x\) 存储在自编码器的相应熟悉或新鲜缓冲区中，而标记对 \(\{x, y\}\) 则分配给与预测器关联的缓冲区。这种分离使得能够独立监控分布偏移和条件偏移。每个新鲜缓冲区与预定义容量关联。当存储的新鲜样本数量达到该容量时，相应的模型组件被安排进行更新。通过基于容量的触发机制，更新频率由模型性能、检测阈值灵敏度和数据流中分布漂移的幅度共同决定。模型更新完成后，更新后的模型替换之前部署的模型。之后，相应的阈值被重新估计，相应的缓冲区被清空。流式监控在新模型状态下继续，直到下一次更新被触发。

在本研究中，对于大多数实例化，更新是异步执行的。自编码器和预测器维护独立的缓冲区，并仅在其各自的新鲜缓冲区达到容量时才进行更新。这使得能够对分布偏移和条件偏移做出差异化响应。然而，对于生成重放，采用同步更新以确保表示学习和合成数据生成之间的一致性。不同的 CLeaR 实例共享此工作流，但在参数更新期间使用的 CL 方法上有所不同，如第 3.2 节所述。

### 3.2 持续学习方法

我们不重复持续学习的标准分类，而是关注在 CPF 操作约束下，不同更新机制如何在 CLeaR 中实例化。具体来说，我们研究三种更新策略，它们在参数适应过程中历史信息的保存和访问方式上有所不同：(1) 基于正则化的权重巩固，(2) 来自显式存储历史样本的真实重放，以及 (3) 伪