面向可迁移日前电价预测的基础模型的市场信息感知门控LoRA

# 面向可迁移日前电价预测的基础模型市场信息感知门控LoRA

Source: https://arxiv.org/html/2608.11359

###### 摘要

电价预测对市场参与者至关重要，但由于电价具有波动性、市场特定性，且与预期的系统条件密切相关，因此预测难度较大。现有监督方法主要依赖特定市场的历史数据，限制了其在新建立或数据稀缺市场中的应用。本文提出了一种市场信息感知的适配框架，将Chronos-2时序基础模型迁移至日前电价预测任务。该框架首先构建一个多源市场信息（MSMI）接口，将7天价格上下文与预出清供需、备用、检修、机组容量和联络线变量对齐，然后训练一个源域门控低秩适配器（LoRA），仅更新约1%的模型参数，无需目标市场标签。门控根据备用紧张程度和运行状态信号对冻结的源适配器进行缩放。采用留一市场法（LOMO）协议评估跨市场迁移能力。在中国四个省级日前现货市场上的实验表明，所提框架相较于市场信息感知的零样本Chronos-2，平均MAE/RMSE降低了6.24%/7.99%；相较于普通Source-LoRA，平均MAE/RMSE降低了3.05%/3.52%。实验表明，该增益无法通过可学习的全局标量或随机门控初始化重现，而相较于Source-LoRA的额外改进有限。这些结果表明，市场结构化输入和状态相关门控LoRA可为数据稀缺的电力市场提供一条实用的迁移路径。

###### 关键词：

Chronos-2、电价预测、门控LoRA、时序基础模型、迁移学习。

## I引言

随着电力市场的不断发展，准确的价格预测对市场参与者而言已变得至关重要。与纯物理变量不同，市场出清价格由可再生能源波动、网络约束、策略性行为和监管规则共同塑造。因此，价格序列往往兼具日历规律性与突发的尖峰和机制转换[26 (https://arxiv.org/html/2608.11359#bib.bib1)]。概率预测也日益重要，因为参与者不仅需要预期的价格轨迹，还需要对下行风险、稀缺事件和区间可靠性的评估[21 (https://arxiv.org/html/2608.11359#bib.bib3)]。

当现货市场改革与快速的可再生能源并网叠加时，这一挑战更加突出。风电和光伏渗透率的上升重塑了供需曲线，而新建或频繁改革的市场往往缺乏监督学习所需的长期、平稳记录。这一问题在中国尤为突出，各省现货市场在规则、电源结构、可再生能源渗透率和运行条件方面存在差异[11 (https://arxiv.org/html/2608.11359#bib.bib5)]。对于此类市场，核心问题在于：在获得足够的本地标签之前，预测能力能否迁移至目标市场。

### I-A相关工作

电价预测长期以来依赖于统计、机器学习和深度学习模型。综述表明，预测性能对市场选择、数据划分和基准设计高度敏感[26 (https://arxiv.org/html/2608.11359#bib.bib1)]，而文献[16 (https://arxiv.org/html/2608.11359#bib.bib2)]中的开放基准强调了滚动评估和强基线的重要性。当日历效应和滞后价格被正确编码时，高维自回归和正则化模型仍具有竞争力[35 (https://arxiv.org/html/2608.11359#bib.bib4)]。外生变量可进一步提高精度，但不加区分地纳入特征可能会削弱泛化能力[19 (https://arxiv.org/html/2608.11359#bib.bib8)]。鉴于现货价格的尖峰和异方差性，方差稳定的目标变换也会显著影响预测精度[23 (https://arxiv.org/html/2608.11359#bib.bib29)]。深度学习方法包括循环、注意力机制以及混合CNN–LSTM模型[3 (https://arxiv.org/html/2608.11359#bib.bib26),14 (https://arxiv.org/html/2608.11359#bib.bib33),24 (https://arxiv.org/html/2608.11359#bib.bib34)]，还包括Temporal Fusion Transformer[17 (https://arxiv.org/html/2608.11359#bib.bib17)]、Autoformer[28 (https://arxiv.org/html/2608.11359#bib.bib14)]和FEDformer[34 (https://arxiv.org/html/2608.11359#bib.bib15)]。概率预测同样通过预测区间优化、集成密度估计和生成式实时价格模型取得了进展[32 (https://arxiv.org/html/2608.11359#bib.bib27),4 (https://arxiv.org/html/2608.11359#bib.bib32),33 (https://arxiv.org/html/2608.11359#bib.bib28)]。尽管市场内精度有所提升，但大多数研究仍需要大量目标市场数据进行监督训练，迁移能力有限。

当目标域标签有限时，迁移学习已被探索。对于电价预测，域不匹配仍是一个主要障碍，因为价格动态具有市场特定性[10 (https://arxiv.org/html/2608.11359#bib.bib6)]。在可再生能源预测中，多域适配已被用于在目标数据有限的情况下改进概率风电功率预测[8 (https://arxiv.org/html/2608.11359#bib.bib7)]。这些研究为本文采用的留一市场法设计提供了动机。一种更通用的迁移机制由时序基础模型提供，这类模型从大规模异构语料库中学习通用预测表示。Chronos-2将数值序列分词化以进行预训练预测[1 (https://arxiv.org/html/2608.11359#bib.bib35)]；Lag-Llama研究概率自回归基础建模[22 (https://arxiv.org/html/2608.11359#bib.bib18)]；Moirai使用统一架构实现跨不同变量结构的通用预测[27 (https://arxiv.org/html/2608.11359#bib.bib20)]；TimesFM研究大规模解码器-only零样本预测[6 (https://arxiv.org/html/2608.11359#bib.bib21)]。近期诸如TimeXer等外生变量Transformer也表明，已知协变量应被视为预测接口的一部分，而非事后补充[25 (https://arxiv.org/html/2608.11359#bib.bib16)]。

最近，PriceFM在欧洲市场上预训练了一个概率电价基础模型。它侧重于大规模跨市场预训练，而对通用骨干网络的适配和无目标市场的市场信息接口的探索相对较少[30 (https://arxiv.org/html/2608.11359#bib.bib22)]。能源领域研究将时序基础模型适配至目标数据有限的风电功率预测，解决了异质源域和跨场景泛化问题[29 (https://arxiv.org/html/2608.11359#bib.bib25)]。该工作强调了窗口构建和混合跨场景训练是将通用时序模型适配至能源应用的关键。

表I：与可迁移日前电价预测相关的代表性方法比较。参考文献 | 目标 | 模型族 | 未来信息 | 跨市场 | 概率性
---|---|---|---|---|---
Ziel和Weron[35 (https://arxiv.org/html/2608.11359#bib.bib4)] | 电价 | 高维ARX | 是 | 否 | 否
Ludwig*等人*[19 (https://arxiv.org/html/2608.11359#bib.bib8)] | 电价 | LASSO/随机森林 | 是 | 否 | 否
Bottieau*等人*[3 (https://arxiv.org/html/2608.11359#bib.bib26)] | 电价 | 可解释Transformer | 有限 | 否 | 是
Lago*等人*[16 (https://arxiv.org/html/2608.11359#bib.bib2)] | 电价 | DNN基准 | 是 | 否 | 否
Lim*等人*(TFT)[17 (https://arxiv.org/html/2608.11359#bib.bib17)] | 通用时序 | 带协变量的注意力模型 | 是 | 否 | 是
Autoformer/FEDformer[28 (https://arxiv.org/html/2608.11359#bib.bib14),34 (https://arxiv.org/html/2608.11359#bib.bib15)] | 通用时序 | 分解Transformer | 否 | 否 | 否
Gündüz*等人*[10 (https://arxiv.org/html/2608.11359#bib.bib6)] | 电价 | 迁移学习 | 有限 | 欧盟内 | 否
Chronos[2 (https://arxiv.org/html/2608.11359#bib.bib19)] | 通用时序 | 基础模型（分词化） | 否 | 零样本 | 是
Lag-Llama[22 (https://arxiv.org/html/2608.11359#bib.bib18)] | 通用时序 | 基础模型（自回归） | 否 | 零样本 | 是
Moirai[27 (https://arxiv.org/html/2608.11359#bib.bib20)] | 通用时序 | 基础模型（通用） | 有限 | 零样本 | 是
TimesFM[6 (https://arxiv.org/html/2608.11359#bib.bib21)] | 通用时序 | 基础模型（仅解码器） | 否 | 零样本 | 否
TimeXer[25 (https://arxiv.org/html/2608.11359#bib.bib16)] | 通用时序 | 外生Transformer | 是 | 否 | 否
Yan*等人*[29 (https://arxiv.org/html/2608.11359#bib.bib25)] | 风电功率 | 基础模型+少样本/重新预训练 | 有限 | 跨风电场 | 是
本文工作 | 电价 | 基础模型+源域LoRA | 是 | LOMO | 是

- • 未来信息：在预测时域内可获取已知的未来信息；跨市场：在无目标市场训练标签的情况下部署于目标市场；概率性：原生分布预测。ARX：带外生输入的自回归模型；LASSO：最小绝对收缩和选择算子；DNN：深度神经网络。

### I-B研究空白与贡献

表I (https://arxiv.org/html/2608.11359#S1.T1)沿与预测问题最相关的三个维度总结了代表性方法：模型是否暴露于预测时域内的已知未来信息、是否支持无目标市场训练标签的跨市场迁移、以及模型是否产生概率预测。有两个观察值得注意。首先，电价预测专项研究和外生变量Transformer确实利用了外部信息，但假设存在目标市场监督；相反，时序基础模型支持零样本迁移，但通常作为单变量或弱外生信息预测器运行。其次，能源领域中的时序大模型研究迄今集中于风电等物理过程；日前电价尚未在无目标市场迁移协议下、以完整未来市场信息暴露的形式被研究。

日前电价暴露了通用时序基础模型与市场感知预测之间的差距。日前价格是通过将预期的供需条件映射为出清价格而形成的。因此，出清前可获得的未来负荷、可再生能源出力、备用条件、检修容量、机组可用性和联络线计划，在一般意义上并非辅助变量；它们是价格形成所依据的经济信息集的一部分。纯价格基础模型仅从价格历史推断未来价格，即使明天的系统条件已经可得。相反，完全监督的目标市场模型可以使用这些变量，但失去了表示新建或标签稀缺目标市场的能力。缺失的部分——在表I (https://arxiv.org/html/2608.11359#S1.T1)中表现为未填充的组合——是一个将目标市场标签排除在训练之外、同时使基础模型能够利用日前市场出清信息的迁移框架。

本文开发了一个基于Chronos-2的可迁移日前电价预测框架，将跨市场预测表述为接口与适配问题。主要贡献如下。

- • 多源市场信息（MSMI）接口。MSMI接口为预训练骨干网络提供7天价格上下文、历史协变量、已知未来信息以及预测时域内的日前市场出清信息。消融测试表明，该任务接口是性能提升的主要来源。
- • 源域与门控LoRA适配。我们在源市场上训练一个轻量级LoRA，然后引入一个市场状态门控，根据备用紧张程度、净负荷、可再生能源占比、容量紧张程度和近期波动率对LoRA更新进行缩放。这保持了预训练骨干网络的冻结，同时将源适配器转变为紧凑的运行状态感知校准机制。
- • 无目标市场迁移证据。我们将日前电价预测从独立的每市场监督学习重构为跨市场迁移，并使用留一市场法协议进行评估。实验表明，大部分可迁移增益来自市场信息和源域对齐，且市场状态门控无法用可学习标量或随机门控初始化替代。

所提方法详见第II节 (https://arxiv.org/html/2608.11359#S2)。第III节 (https://arxiv.org/html/2608.11359#S3)描述实验设置、主要结果和局限性。第IV节 (https://arxiv.org/html/2608.11359#S4)总结全文。

## II所提方法

首先形式化日前电价预测问题，然后概述整个框架。后续小节给出详细内容。

### II-A问题形式化与概述

令M\mathcal{M}表示一组省级现货市场。对于每个市场m∈Mm\in\mathcal{M}，我们观测到日前价格序列yt(m)y_{t}^{(m)}和市场出清信息xt(m)\mathbf{x}_{t}^{(m)}。给定长度为LL的历史上下文窗口，目标是预测未来HH个日前价格：

y^t+1:t+H(m)=f(xt+1:t+H(m)|yt−L+1:t(m),xt−L+1:t(m)).\hat{\mathbf{y}}_{t+1:t+H}^{(m)}=f\left(\mathbf{x}_{t+1:t+H}^{(m)}|\mathbf{y}_{t-L+1:t}^{(m)},\mathbf{x}_{t-L+1:t}^{(m)}\right)。(1)本文中L=672L=672且H=96H=96，对应15分钟分辨率下的7天历史和1天预测时域。

Chronos-2作为一个通用预训练时序预测器，将近期目标观测和预测时域协变量作为输入，并产生具有分位数输出的概率预测。其仅编码器架构可直接容纳历史价格和已知的未来市场信息，而无需修改骨干网络。这一能力非常适合日前电力市场，其中负荷、可再生能源发电、备用、检修、可用容量和联络线潮流在出清前已知或已排定，而价格尖峰和尾部风险仍与决策相关。由此产生的设置将市场信息接口和源域LoRA适配的可迁移价值与架构重新设计分开。

我们在LOMO协议下评估模型。在每一折中，一个市场被留出作为目标市场。零样本设置直接在留出市场上评估Chronos-2，不对数据集进行任何训练。适配设置仅在源市场上微调Chronos-2，然后在留出市场上评估。在零样本和源市场适配中均不使用目标市场训练数据。图1 (https://arxiv.org/html/2608.11359#S2.F1)总结了所提适配框架。该方法刻意采用“接口优先”策略：我们不改动预训练的Chronos-2骨干网络。市场知识通过无目标市场的评估协议、利用日前出清信息的任务接口以及仅在非目标市场上训练的源域低秩适配器进入模型。