TabPFN-TS在区域供热网络零样本概率热负荷预测中的系统评估

# 区域供热网络中TabPFN-TS零样本概率热负荷预测的系统性评估
来源：https://arxiv.org/html/2608.20024
Karim K\. Ben Hicham附属机构：过程系统工程，亚琛工业大学，\[\-0\.2em\] Forckenbeckstr\. 51, 52074 Aachen, Germany
Kai Derzsi
Philipp Althaus
Alexander Mitsos附属机构：过程系统工程，亚琛工业大学，\[\-0\.2em\] Forckenbeckstr\. 51, 52074 Aachen, Germany
Dirk Müller\[0\.6em\]能源高效建筑与室内气候教席
亚琛工业大学\[\-0\.2em\]Mathieustr\. 10, 52074 Aachen, Germany\[0\.4em\]通讯作者：[ben\.spoek@eonerc\.rwth\-aachen\.de](mailto:[email protected])

###### 摘要
区域能源枢纽需要可靠的热负荷预测以实现高效运行调度。传统预测工作流程通常在历史数据上训练针对特定系统的模型，当网络因新用户接入、改造或运行模式变化而改变时，这可能成为负担。因此，零样本时间序列基础模型和上下文预测提供了一个有前景的替代方案：它们能在推理时通过近期观测进行适应，而无需重复重新训练。本研究系统地评估了TabPFN-TS在区域供热网络概率热负荷预测中的表现，将其与最先进的时间序列基础模型和经过训练的机器学习基线模型进行对比。与在大量真实时间序列上预训练的基础模型不同，TabPFN-TS依赖于合成预训练数据，这避免了直接的预训练-测试数据重叠，但也引出了其所学习的先验知识是否能捕捉区域供热动态的问题。我们在典型的运行周内分析了协变量选择、上下文长度、时间分辨率和预测范围，并在一个完整日历年内验证了所选配置，还在第二个网络上测试了可迁移性。结果表明，采用12周滚动上下文和环境温度的每日24小时逐小时预测是一个简洁高效的配置；更长的上下文窗口并未提高准确性。TabPFN-TS在确定性预测精度上接近Chronos-2，在主数据集上的CVRMSE值分别为13.06%和12.48%，并且在每日排名比较中处于临界差异阈值内。尽管Chronos-2在全年聚合误差方面表现最低，但TabPFN-TS显示出更好的经验校准性。最后，诊断性发现启发了一种多分辨率残差校正预测器，该预测器结合了低频基础预测器和短期残差预测器，以提高长期规划预测的准确性。
关键词：区域供热；热负荷预测；TabPFN-TS；先验数据拟合网络；时间序列基础模型；零样本预测；概率预测

## 1引言
为实现欧盟11 (https://arxiv.org/html/2608.20024#bib.bib11)的气候目标，建筑供暖必须脱碳。区域供热网络提供了一条有前景的实现途径31 (https://arxiv.org/html/2608.20024#bib.bib32)，因为它们能够整合余热和可再生热源25 (https://arxiv.org/html/2608.20024#bib.bib26)。要实现这一潜力，需要在热源可用性波动的情况下协调热源和储能，因此准确的热需求预测对于成本和排放优化运行尤为重要47 (https://arxiv.org/html/2608.20024#bib.bib47)。区域供热网络中的热需求受到多个叠加驱动因素的影响29 (https://arxiv.org/html/2608.20024#bib.bib30)，包括依赖于天气的空间供暖需求49 (https://arxiv.org/html/2608.20024#bib.bib49)、相对随机的生活热水消耗23 (https://arxiv.org/html/2608.20024#bib.bib24)，以及额外的运行、每日和季节性变化7 (https://arxiv.org/html/2608.20024#bib.bib7)。此外，区域供热网络是一个随时间持续演变的系统。建筑物可能被接入或断开网络，通过改善隔热进行翻新，配备额外的供暖或储能技术，或因入住率和使用模式的变化而改变。这些变化可能无法被网络运营商完全掌握。因此，区域供热网络中的热负荷预测具有挑战性，因为它必须同时考虑天气驱动的季节性趋势、随机的消费组成部分、运行效应以及连接建筑存量的渐进变化，而这些变化可能改变潜在的需求动态。8 (https://arxiv.org/html/2608.20024#bib.bib8)这些特点使得使用传统的、手动指定的模型进行热负荷预测变得困难，尤其是在缺乏关于连接建筑及其运行的详细和最新信息的情况下。数据驱动的预测方法因此在此任务中具有吸引力，因为它们可以直接利用运行数据，但许多传统的监督机器学习模型通常需要为应对此类变化而进行显式的训练和重新训练。5 (https://arxiv.org/html/2608.20024#bib.bib5)
表格基础模型的最新进展，如TabPFN21 (https://arxiv.org/html/2608.20024#bib.bib22)和TabICL41 (https://arxiv.org/html/2608.20024#bib.bib43)，在这方面非常有前景。这些模型完全通过上下文学习在表格预测基准测试中实现了最先进的性能21 (https://arxiv.org/html/2608.20024#bib.bib22);41 (https://arxiv.org/html/2608.20024#bib.bib43)，即无需针对特定任务的训练，通常也不需要昂贵的超参数调整。此外，像TabPFN-TS22 (https://arxiv.org/html/2608.20024#bib.bib23)这样的时间序列扩展，尽管未在时间序列数据上进行预训练，但通过简单的时间序列特征化，其表现与领先的预测模型37 (https://arxiv.org/html/2608.20024#bib.bib38)相当。然而，由于TabPFN-TS依赖于合成先验知识22 (https://arxiv.org/html/2608.20024#bib.bib23)，目前尚不清楚该先验知识是否充分捕捉了区域供热网络复杂的热需求动态。因此，我们研究了TabPFN-TS在热负荷预测中的适用性，并评估其是否能够直接从近期的热需求观测和已知的未来天气协变量中产生准确的点预测和校准的概率预测分布。我们使用Chronos-23 (https://arxiv.org/html/2608.20024#bib.bib3)作为时间序列基础模型类别的强大基准，而经过训练的模型则作为经典的统计、机器学习和深度学习基准。本工作的贡献如下：
- •我们对TabPFN-TS在区域供热网络概率热负荷预测中的应用进行了详细评估。
- •我们研究了协变量选择和上下文长度如何影响TabPFN-TS的预测，以识别在有限输入数据需求下实现高性能的配置。
- •我们比较了逐小时和15分钟分辨率，以评估TabPFN-TS能否捕捉与区域供热运行相关的更高频热负荷动态。
- •我们评估了从4小时到一周的预测范围，以表征依赖于预测范围的TabPFN-TS性能及其与合适上下文长度的相互作用。
- •我们将TabPFN-TS与经典的机器学习方法和Chronos-2（作为时间序列基础模型类别的强大参考）进行了比较。
- •基于实证结果，我们推导了一种多分辨率残差校正预测器，并在区域供热网络的热负荷数据上对其进行了验证。

## 2相关工作
本节回顾了与本研究相关的预测方法和基础模型概念。首先回顾了区域供热网络及其运行挑战的既有预测方法。然后介绍了表格先验数据拟合网络TabPFN及其扩展TabPFN-TS。最后，讨论了能源预测领域近期的基础模型基准。
### 2.1区域供热网络中的热负荷预测
热负荷预测方法范围广泛，包括物理信息模型、统计模型、机器学习方法和深度学习方法。36 (https://arxiv.org/html/2608.20024#bib.bib37)
物理启发和灰盒方法融合了建筑和区域供热动态的知识10 (https://arxiv.org/html/2608.20024#bib.bib10);35 (https://arxiv.org/html/2608.20024#bib.bib36)，而工程化的负荷形状指标则提供了对运行需求模式更经验性的表示16 (https://arxiv.org/html/2608.20024#bib.bib17)。经典的数据驱动方法将预测构建为监督回归问题，包括线性回归和带外生输入的自回归模型12 (https://arxiv.org/html/2608.20024#bib.bib12);6 (https://arxiv.org/html/2608.20024#bib.bib6)。机器学习方法通过非线性关系扩展了这些公式。常见例子包括支持向量回归38 (https://arxiv.org/html/2608.20024#bib.bib39)、决策树模型13 (https://arxiv.org/html/2608.20024#bib.bib13)和梯度提升方法（如XGBoost43 (https://arxiv.org/html/2608.20024#bib.bib45)）。神经网络方法包括前馈网络24 (https://arxiv.org/html/2608.20024#bib.bib25)、非线性ARX模型40 (https://arxiv.org/html/2608.20024#bib.bib42)、卷积循环架构45 (https://arxiv.org/html/2608.20024#bib.bib46)、循环神经网络26 (https://arxiv.org/html/2608.20024#bib.bib27)、基于注意力的LSTM51 (https://arxiv.org/html/2608.20024#bib.bib50)以及基于Transformer的模型（如Informer18 (https://arxiv.org/html/2608.20024#bib.bib19)）。这些模型类别并非取代早期方法，而是为表示热需求动态提供了日益灵活的替代方案。大多数区域供热网络负荷预测模型都针对特定网络进行拟合，并且可能需要随着系统动态变化而重新训练。17 (https://arxiv.org/html/2608.20024#bib.bib18)
适应概念漂移仍然具有挑战性30 (https://arxiv.org/html/2608.20024#bib.bib31)，因为必须检测变化、选择合适的适应窗口并考虑重复出现的概念48 (https://arxiv.org/html/2608.20024#bib.bib48)。这种重复性在区域供热系统中尤为重要，因为空间供暖和生活热水需求相对主导地位的季节性转换形成了循环的运行模式29 (https://arxiv.org/html/2608.20024#bib.bib30)。这些局限性促使人们寻求能够通过上下文而非重复参数拟合进行适应的预测方法。下一小节将介绍用于表格预测的上下文学习及其向时间序列预测的扩展。
### 2.2基于TabPFN的表格预测及其向时间序列数据的扩展
TabPFN21 (https://arxiv.org/html/2608.20024#bib.bib22)是一个基于上下文学习的表格预测基础模型。它在大量完全合成的监督学习任务上进行预训练，在推理时，根据带标签的上下文示例预测查询标签。与深度神经网络或梯度提升决策树相比，这不需要针对每个目标数据集进行传统的基于梯度的训练循环。20 (https://arxiv.org/html/2608.20024#bib.bib21);21 (https://arxiv.org/html/2608.20024#bib.bib22);41 (https://arxiv.org/html/2608.20024#bib.bib43)
更正式地说，模型同时接收带标签的上下文示例Dc=\(Xc,yc\)D\_\{c\}=\(X\_\{c\},y\_\{c\}\)和不带标签的查询示例x∗x\_\{\*\}，并在一次前向传播中产生预测y∗y\_\{\*\}。在这个意义上，目标任务的训练数据成为了预训练模型的上下文数据。
贝叶斯解释是先验数据拟合网络的核心。34 (https://arxiv.org/html/2608.20024#bib.bib35)
令φ\\phi表示一个潜在的数据生成任务或过程。后验预测分布可以写为：
p⁡(y∗∣x∗,Dc)=∫p⁡(y∗∣x∗,φ)p(φ∣Dc)dφ。 p\(y\_\{\*\}\\mid x\_\{\*\},D\_\{c\}\)=\\int p\(y\_\{\*\}\\mid x\_\{\*\},\\phi\)\\,p\(\\phi\\mid D\_\{c\}\)\\,d\\phi\.(1)
使用贝叶斯法则：
p⁡(φ∣Dc)=p⁡(Dc∣φ)p(φ)p⁡(Dc), p\(\\phi\\mid D\_\{c\}\)=\\frac\{p\(D\_\{c\}\\mid\\phi\)p\(\\phi\)\}\{p\(D\_\{c\}\)\},(2)
因此：
p⁡(y∗∣x∗,Dc)\\displaystyle p\(y\_\{\*\}\\mid x\_\{\*\},D\_\{c\}\)=1p⁡(Dc)∫p⁡(y∗∣x∗,φ)p(Dc∣φ)p(φ)dφ\\displaystyle=\\dfrac\{1\}\{p\(D\_\{c\}\)\}\\int p\(y\_\{\*\}\\mid x\_\{\*\},\\phi\)\\,p\(D\_\{c\}\\mid\\phi\)\\,p\(\\phi\)\\,d\\phi(3)
∝∫p⁡(y∗∣x∗,φ)p(Dc∣φ)p(φ)dφ。\\displaystyle\\propto\\int p\(y\_\{\*\}\\mid x\_\{\*\},\\phi\)\\,p\(D\_\{c\}\\mid\\phi\)\\,p\(\\phi\)\\,d\\phi\.
显式计算这个积分通常是难以处理的。PFN转而分摊了计算：它经过训练，可以在一次前向传播中将\(Dc,x∗\)\(D\_\{c\},x\_\{\*\}\)直接映射到后验预测分布的近似值。这个近似值是相对于合成预训练先验的贝叶斯近似，而不是对真实世界目标系统的显式后验。实际结果是，在默认使用情况下，TabPFN消除了标准的基于梯度的按数据集训练循环。20 (https://arxiv.org/html/2608.20024#bib.bib21);21 (https://arxiv.org/html/2608.20024#bib.bib22)基本应用无需经典的超参数搜索，尽管推理时集成、预处理变体、微调或超参数调整仍可用于提高性能。
正如Hoo等人22 (https://arxiv.org/html/2608.20024#bib.bib23)所提出的，TabPFN-TS可以通过将时间序列重新构建为表格回归问题来直接用于时间序列预测。每个时间步成为表格中的一行。特征集包括时间特征（如运行时间索引、循环日历特征、非循环年特征）、自动提取的季节性特征，以及可选的、在预测时已知未来值的时变协变量。历史观测构成带标签的上下文DcD\_\{c\}，而未来时间点构成查询行，其具有已知特征x∗x\_\{\*\}和未知目标y∗y\_\{\*\}。然后TabPFN在一次非自回归前向传播中输出整个预测范围的概率预测。值得注意的是，同一研究报告称TabPFN-TS在GIFT-Eval1 (https://arxiv.org/html/2608.20024#bib.bib1)基准上表现强劲，尽管底层的TabPFN模型仅在合成的非时序表格数据上进行了预训练。合成预训练范式对于当前应用很重要：由于TabPFN是在合成的监督预测任务上预训练的，而非在真实区域供热时间序列集合上预训练，因此与历史区域供热回测数据存在直接或间接的预训练-测试重叠的风险大大降低。此外，概率预测可以解释为在学习到的合成先验下后验预测分布的近似。这使得TabPFN-TS对于热负荷预测特别有意义，因为可靠的不确定性估计在运行上很重要，而仅有点预测无法完全描述随机的需求过程。Hoo等人22 (https://arxiv.org/html/2608.20024#bib.bib23)报告称，TabPFN-TS能够区分信号与噪声，相应地调整其概率预测，纳入协变量，并处理季节性模式，而趋势识别（特别是线性和指数趋势）仍然是一个已知的弱点。
### 2.3能源预测中的基础模型基准
Re