面向电网层级的电力负荷预测基准：时间序列Transformer优于传统方法

# 跨电网层级的负荷预测基准：时间序列Transformer优于传统方法
来源：https://arxiv.org/html/2607.15705
\(2026年4月24日\)

###### 摘要

精准的多层级负荷预测对未来智能电网至关重要，既包括用于供需平衡的聚合控制区预测，也涵盖用于需求侧管理和能源管理系统的单个终端用户负荷预测。我们提出了一个跨电网层级的综合负荷预测基准，包含三个数据集，分别代表输电系统运营商控制区、低压电网馈线和单个终端用户。我们评估了十种短期负荷预测方法，发现基于Transformer的方法始终优于传统方法，预测误差降低6.6–10.7%。为了分析架构设计的影响，我们引入了YAformer，这是一种灵活的Transformer架构，整合了先前工作中的改进，并通过超参数优化进行了调优。然而，标准Transformer实现了更优的性能，表明这些架构改进对于精准负荷预测并非必需。我们进一步评估了基于Transformer的时间序列基础模型Chronos-2，该模型在两个数据集上展现出具有竞争力的零样本性能，但未能准确捕捉TSO数据中的特殊事件。详细分析揭示了各模型的优势与不足，消融研究强调了长输入上下文、协变量和持续重新训练的重要性——这些方面在时间序列预测文献中常被忽视。

负荷预测，基准，高压，低压，Transformer，时间序列基础模型

††ccs:应用计算 预测††ccs:计算方法 机器学习

数据和材料可用性：

ARIMA自回归积分滑动平均模型
CNN卷积神经网络
DM检验 Diebold–Mariano检验
EHV超高压
GAM广义加性模型
GEFCom全球能源预测竞赛
HPC高性能计算
HPO超参数优化
HV高压
kNNk近邻
LightGBM轻量梯度提升机
LSTM长短时记忆网络
LV低压
MAE平均绝对误差
MLP多层感知机
nMAE归一化MAE (https://arxiv.org/html/2607.15705#id14.14.id14)
nRMSE归一化RMSE (https://arxiv.org/html/2607.15705#id19.19.id19)
ReLU修正线性单元
RMSE均方根误差
RQ研究问题
TFT时序融合Transformer
TSFM时间序列基础模型
TSO输电系统运营商
YAformer又一种Transformer

## 1. 引言

向气候中性能源系统转型影响着电力需求和供应。热力、交通和工业部门的电气化正在增加总体需求，而中低压层面分布式可再生能源的日益整合则带来了更大的波动性。因此，维持供需实时平衡变得更具挑战性，现有电网基础设施在负荷高峰或高发电时段达到极限(Çakmak and Hagenmeyer,2022 (https://arxiv.org/html/2607.15705#bib.bib369))。在此背景下，智能电网技术旨在提高现有资产的利用率(Ramchurn et al.,2012 (https://arxiv.org/html/2607.15705#bib.bib300))，但其有效性依赖于跨能源系统多个层级的精准电力负荷预测。在超高压 (https://arxiv.org/html/2607.15705#id4.4.id4) (EHV (https://arxiv.org/html/2607.15705#id4.4.id4)) 和高压 (https://arxiv.org/html/2607.15705#id9.9.id9) (HV (https://arxiv.org/html/2607.15705#id9.9.id9)) 层面，预测支持调度、停电规划以及平衡能源采购；在低压 (https://arxiv.org/html/2607.15705#id13.13.id13) (LV (https://arxiv.org/html/2607.15705#id13.13.id13)) 层面，预测支持阻塞管理、需求响应和储能调度；在用户层面，预测对于能源管理和削峰填谷至关重要。这些应用呈现出不同的数据特性，从EHV (https://arxiv.org/html/2607.15705#id4.4.id4) 和 HV (https://arxiv.org/html/2607.15705#id9.9.id9) 层面相对稳定且聚合的时间序列，到低压和用户层面高度异构且波动的模式，后者常因新装设备而出现突变。与此同时，智能电表等计量基础设施的持续部署正在增加数据可用性，为数据驱动的预测方法创造了新的机会。整合天气数据和日历信息等协变量对于实现精准负荷预测至关重要(Haben et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib297))。

近期关于时间序列预测的出版物采用了Transformer模型(Vaswani et al.,2017 (https://arxiv.org/html/2607.15705#bib.bib97))，包括专门为时间序列预测设计的Transformer变体，如LogSparse Transformer(Li et al.,2019 (https://arxiv.org/html/2607.15705#bib.bib109))、时序融合Transformer (https://arxiv.org/html/2607.15705#id21.21.id21) (TFT (https://arxiv.org/html/2607.15705#id21.21.id21)) (Lim et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib140))、Informer(Zhou et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib6))、FEDformer(Zhou et al.,2022 (https://arxiv.org/html/2607.15705#bib.bib479))、Autoformer(Wu et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib96)) 和 PatchTST(Nie et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib106))。由于存在多种不同的时间序列Transformer模型，本文分析了文献中提出的架构改进中哪些有益于电力负荷预测，以便为实际用例提供建议。

时间序列基础模型 (https://arxiv.org/html/2607.15705#id22.22.id22) (Liang et al.,2024 (https://arxiv.org/html/2607.15705#bib.bib39)) 是时间序列预测中的一个新范式。TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 在多种时间序列数据集上预训练，可在零样本设置下应用于新的时间序列，无需额外训练。大多数 TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 基于Transformer构建，这突显了分析时间序列Transformer架构设计的必要性。

当提出新的预测方法时，例如时间序列 Transformer 和 TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22)，有必要将它们与传统方法进行基准测试，以评估其是否提高了相对于当前技术水平的模型准确性(Hewamalage et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib253))。由于不同负荷聚合层级的数据特征各异，本文在三个代表输电系统运营商 (https://arxiv.org/html/2607.15705#id23.23.id23) (TSO (https://arxiv.org/html/2607.15705#id23.23.id23)) 层面、LV (https://arxiv.org/html/2607.15705#id13.13.id13) 馈线层面和用户层面的不同数据集上，对 Transformer 和 TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 与传统方法进行了基准测试。

在此背景下，我们的贡献如下：

1. \(1\) 我们选择并处理了三个高度相关且具有代表性的数据集，用于跨电网层级的新开发负荷预测方法的基准测试，分别代表 TSO (https://arxiv.org/html/2607.15705#id23.23.id23) 控制区、LV (https://arxiv.org/html/2607.15705#id13.13.id13) 电网馈线和单个终端用户。
2. \(2\) 我们通过引入 YAformer (https://arxiv.org/html/2607.15705#id24.24.id24) 来研究Transformer架构对预测精度的影响。YAformer是一种灵活的Transformer架构，整合了文献中提出的多种改进，并通过超参数优化 (https://arxiv.org/html/2607.15705#id8.8.id8) (HPO (https://arxiv.org/html/2607.15705#id8.8.id8)) 进行了优化。
3. \(3\) 我们将标准 Transformer、YAformer (https://arxiv.org/html/2607.15705#id24.24.id24) 和 TSFM (https://arxiv.org/html/2607.15705#id22.22.id22) Chronos-2 (Ansari et al.,2025 (https://arxiv.org/html/2607.15705#bib.bib181)) 与七种传统预测方法和一种基线进行了比较，并突出了它们在预测精度和运行时间方面的优缺点。

本文其余部分结构如下：第 2 节 (https://arxiv.org/html/2607.15705#S2) 介绍时间序列 Transformer、TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 和基准测试的相关工作。第 3 节 (https://arxiv.org/html/2607.15705#S3) 介绍 YAformer (https://arxiv.org/html/2607.15705#id24.24.id24) 和比较方法。第 4 节 (https://arxiv.org/html/2607.15705#S4) 介绍数据集和实验设置。第 5 节 (https://arxiv.org/html/2607.15705#S5) 描述结果，第 6 节 (https://arxiv.org/html/2607.15705#S6) 进行讨论。第 7 节 (https://arxiv.org/html/2607.15705#S7) 总结全文并强调未来潜在工作。

## 2. 相关工作

电力负荷预测历史悠久，最早的方法可追溯到 20 世纪 40 年代 (Hong,2014 (https://arxiv.org/html/2607.15705#bib.bib110))。此后，它成为一个活跃的研究领域，最近每年有超过 1,000 篇出版物发表 1. 尽管该领域文献数量庞大，但关于负荷预测的文献综述普遍认为，存在一小部分在研究和实践中常用的成熟方法 (Hong et al.,2020 (https://arxiv.org/html/2607.15705#bib.bib291); Scheidt et al.,2020 (https://arxiv.org/html/2607.15705#bib.bib137); Haben et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib337))。这包括统计方法如自回归积分滑动平均模型 (https://arxiv.org/html/2607.15705#id1.1.id1) (ARIMA (https://arxiv.org/html/2607.15705#id1.1.id1))、机器学习方法如 k 近邻 (https://arxiv.org/html/2607.15705#id10.10.id10) (kNN (https://arxiv.org/html/2607.15705#id10.10.id10)) 和梯度提升机，以及深度学习方法如多层感知机 (https://arxiv.org/html/2607.15705#id15.15.id15)、卷积神经网络 (https://arxiv.org/html/2607.15705#id2.2.id2) 和长短时记忆网络 (https://arxiv.org/html/2607.15705#id12.12.id12) (LSTM (https://arxiv.org/html/2607.15705#id12.12.id12))。

Transformer 是一种为机器翻译开发的深度学习模型 (Vaswani et al.,2017 (https://arxiv.org/html/2607.15705#bib.bib97))，在包括语言建模 (Radford et al.,2019 (https://arxiv.org/html/2607.15705#bib.bib10))、计算机视觉 (Dosovitskiy et al.,2020 (https://arxiv.org/html/2607.15705#bib.bib108)) 和表格数据 (Hollmann et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib9)) 在内的许多领域带来了改进。Transformer 也被用于时间序列预测 (Wu et al.,2020 (https://arxiv.org/html/2607.15705#bib.bib26)) 和特别是电力负荷预测 (Zhang et al.,2022 (https://arxiv.org/html/2607.15705#bib.bib179))。存在许多用于时间序列预测的 Transformer 架构，包括 LogSparse Transformer (Li et al.,2019 (https://arxiv.org/html/2607.15705#bib.bib109))、TFT (https://arxiv.org/html/2607.15705#id21.21.id21) (Lim et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib140))、Informer (Zhou et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib6))、FEDformer (Zhou et al.,2022 (https://arxiv.org/html/2607.15705#bib.bib479))、Autoformer (Wu et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib96)) 和 PatchTST (Nie et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib106))。这些模型的架构改进包括 LSTM (https://arxiv.org/html/2607.15705#id12.12.id12) 层 (Lim et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib140))、LogSparse 注意力 (Li et al.,2019 (https://arxiv.org/html/2607.15705#bib.bib109))、卷积注意力 (Li et al.,2019 (https://arxiv.org/html/2607.15705#bib.bib109))、ProbSparse 注意力 (Zhou et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib6))、基于自相关的注意力 (Wu et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib96))、最大池化 (Zhou et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib6)) (在 (Zhou et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib6)) 中称为“自注意力蒸馏”)、时间序列分解 (Zhou et al.,2022 (https://arxiv.org/html/2607.15705#bib.bib479)) 和分块输入 (Nie et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib106); Ansari et al.,2025 (https://arxiv.org/html/2607.15705#bib.bib181))。然而，这些出版物中的评估并未推广到电力负荷预测，因为它们经常在来自不同领域的数据集上进行，侧重于长预测范围，并忽略了对于电力负荷预测至关重要的外生特征 (Haben et al.,2021 (https://arxiv.org/html/2607.15705#bib.bib337))。虽然关于 Transformer 用于电力负荷预测的工作展示了其潜力 (Zhang et al.,2022 (https://arxiv.org/html/2607.15705#bib.bib179); Hertel et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib463); Giacomazzi et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib225))，但目前尚缺乏在代表不同聚合层级的电力负荷数据集上对多种 Transformer 架构的评估。

最近，TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 被引入，它们是广义的时间序列预测模型，在来自不同领域（通常包括合成数据）的大量时间序列数据上进行训练，从而能够在零样本设置下应用于新的时间序列（即，不针对特定时间序列的数据进行训练）。TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 如 Moirai (Woo et al.,2024 (https://arxiv.org/html/2607.15705#bib.bib27))、Moirai-2 (Liu et al.,2026 (https://arxiv.org/html/2607.15705#bib.bib3))、TimeGPT (Garza et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib51))、Lag-Llama (Rasul et al.,2023 (https://arxiv.org/html/2607.15705#bib.bib31))、Chronos (Ansari et al.,2024 (https://arxiv.org/html/2607.15705#bib.bib66)) 和 Chronos-2 (Ansari et al.,2025 (https://arxiv.org/html/2607.15705#bib.bib181)) 都基于 Transformer。虽然时间序列 Transformer 主要用于 TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22)，但也存在其他架构，包括基于表格 Transformer 模型的 TabPFN-TS (Hoo et al.,2025 (https://arxiv.org/html/2607.15705#bib.bib45)) 和基于扩展 LSTM (https://arxiv.org/html/2607.15705#id12.12.id12) 的 TiRex (Auer et al.,2025 (https://arxiv.org/html/2607.15705#bib.bib64))。我们选择 Chronos-2 进行实验，因为它能良好地处理协变量，并且在几个电力负荷预测数据集上优于其他 TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) (Kreusel et al.,2026 (https://arxiv.org/html/2607.15705#bib.bib1); Hertel et al.,2026 (https://arxiv.org/html/2607.15705#bib.bib2); Cheong et al.,2026 (https://arxiv.org/html/2607.15705#bib.bib95))。

随着 TSFMs (https://arxiv.org/html/2607.15705#id22.22.id22) 的发展，用于评估预测模型的大型基准数据集被引入，但将这些结果泛化到电力负荷