Halo:通过异方差估计提升预测精度

arXiv cs.LG 论文

摘要

Halo 通过异方差学习修改深度预测模型以包含尺度估计,在电力市场价格基准测试中显著提升了点预测精度。

arXiv:2609.10589v1 公告类型:新 摘要:异方差预测通常以不确定性量化为动机,其中网络在估计位置参数的同时估计尺度参数。本文表明,与时间序列外异方差估计的负面结果相反,这种方法也改进了点估计。Halo 是一种修改,它重用现有深度预测模型的架构,为其隐含分布的尺度提供第二个输出,并在匹配的负对数似然下进行训练。在三个最先进的模型(一个 Transformer 模型、一个与变分自编码器配对的图网络和一个单层卷积网络)上,采用高斯和拉普拉斯损失进行适应,验证了这一现象。在标准预测基准的五个电力市场价格中,Halo 在 30 个模型-市场-指标比较中有 28 个改进了均方误差和平均绝对误差,将平均均方误差降低了 2.6% 至 16.5%,平均平均绝对误差降低了 1.7% 至 11.0%。得出两个发现:(1) 尺度估计是来自第二个投影头还是来自完整的并行网络远不如网络是否估计尺度重要,(2) 在已经为点估计基线调整的超参数下,改进仍然成立,因此重新调整是可选的。
查看原文
查看缓存全文

缓存时间: 2026/09/11 08:15

# Halo:通过异方差估计提升预测精度
来源:https://arxiv.org/html/2609.10589
###### 摘要

异方差预测是指神经网络在估计位置参数的同时估计尺度参数,这通常被用于不确定性量化。但本文表明,与时间序列外异方差估计报告的负面结果相反,这种方法也能提升点估计的精度。Halo是一种改造方案,它复用现有深度预测模型的架构,为其增加第二个输出以表示隐含分布的尺度,并在匹配的负对数似然下进行训练。通过在三个最先进模型(一个Transformer、一个与变分自编码器配对的图网络,以及一个单层卷积网络)上分别采用高斯损失和拉普拉斯损失进行适应性改造,验证了这一现象。在标准预测基准的五个电价市场中,Halo在30个模型-市场-指标对比中有28个提升了MSE和MAE,将平均MSE降低2.6%至16.5%,平均MAE降低1.7%至11.0%。研究得出两个结论:(1)尺度估计来自第二个投影头还是完整的并行网络远不如网络是否估计尺度本身重要;(2)该改进在已为点估计基线调优的超参数下依然有效,因此重新调参是可选的。

## 1引言

使用深度神经网络(DNN)进行时间序列预测,相较于计算机视觉和自然语言处理等其他DNN问题,带来了一些独特的挑战。表面上看,它与语言模型有相似之处:输入是一个词序列(表示为标记),输出是跟随输入的下一个词序列。在时间序列中,输入是数据点序列,输出是下一个数据点序列。然而,与语言建模不同,数据点本身并不像词汇那样具有语义含义(Nie等人, 2022 (https://arxiv.org/html/2609.10589#bib.bib12))。对于许多实际的时间序列,其自身过去值在预测未来值方面,往往不如相关(外生)时间序列的过去值信息丰富(Granger, 1969 (https://arxiv.org/html/2609.10589#bib.bib5);Box等人, 2015 (https://arxiv.org/html/2609.10589#bib.bib3))。例如,在预测股票价格收益时,股票价格的过去值对未来收益的影响通常小于利率和公司基本面等外生时间序列(Chincarini和Kim, 2022 (https://arxiv.org/html/2609.10589#bib.bib4))。此外还存在其他挑战:由于时间序列很少是平稳的,模型训练所用的较旧数据可能与用于推理的较新数据具有不同的分布(Kim等人, 2021 (https://arxiv.org/html/2609.10589#bib.bib7);Liu等人, 2022 (https://arxiv.org/html/2609.10589#bib.bib11))。另外,模型训练必须避免数据泄露,即测试集或验证集的数据影响了训练模型,从而对其预测能力产生虚假信心。虽然明显的泄露形式容易阻止,但更微妙的泄露可能不被察觉并扭曲结果,例如相对于被预测的内生时间序列而言,在未来采样的外生时间序列(Hewamalage等人, 2023 (https://arxiv.org/html/2609.10589#bib.bib6))。

本文介绍了一种修改现有时间序列深度学习架构以提升精度的技术。基本思想是使用异方差预测,即预测模型除了学习输出的位置参数外,还学习尺度参数。进行异方差预测本身就有用,因为它有助于量化预测的不确定性。我们提出了一个更强的主张:学习尺度参数有助于预测模型改进其位置估计。我们将此技术称为*Halo*,强调找到点估计周围的“光晕”(分布)使得网络更容易定位点估计本身。本文探讨了Halo方法的细节,例如如何构建位置和尺度的估计结构,以及异方差估计如何与非平稳性调整相互作用。最终形成了一种能提升多个最先进(SOTA)模型性能的技术。

## 2相关工作

自20世纪80年代以来,神经网络就被用于时间序列预测(Lapedes和Farber, 1987 (https://arxiv.org/html/2609.10589#bib.bib9);Werbos, 1988 (https://arxiv.org/html/2609.10589#bib.bib21))。在2010年代,深度神经网络流行起来,出现了诸如DA-RNN(Qin等人, 2017 (https://arxiv.org/html/2609.10589#bib.bib15))、LSTNet(Lai等人, 2018 (https://arxiv.org/html/2609.10589#bib.bib8))和ES-RNN(Smyl, 2020 (https://arxiv.org/html/2609.10589#bib.bib18))等循环神经网络(RNN)方法。TCN(Borovykh等人, 2017 (https://arxiv.org/html/2609.10589#bib.bib2))表明卷积神经网络(CNN)在预测任务上可以超越RNN,而N-BEATS(Oreshkin等人, 2019 (https://arxiv.org/html/2609.10589#bib.bib14))展示了如何构建不使用RNN或CNN的有效DNN。与深度学习的其他领域一样,Transformer(Vaswani等人, 2017 (https://arxiv.org/html/2609.10589#bib.bib20))在时间序列预测中变得流行。一些早期的Transformer模型,如FEDFormer(Zhou等人, 2022 (https://arxiv.org/html/2609.10589#bib.bib25))、Autoformer(Wu等人, 2021 (https://arxiv.org/html/2609.10589#bib.bib22))和Informer(Zhou等人, 2021 (https://arxiv.org/html/2609.10589#bib.bib24)),被证明在预测任务上不如简单的线性模型有效(Zeng等人, 2023 (https://arxiv.org/html/2609.10589#bib.bib23))。PatchTST(Nie等人, 2022 (https://arxiv.org/html/2609.10589#bib.bib12))表明,对时间序列的块(子序列)进行分词,而非对序列中的单个数据点分词,能产生更有意义的标记,并有效解锁了Transformer作为时间序列预测工具的价值。TimeXer(Wang等人, 2024 (https://arxiv.org/html/2609.10589#bib.bib1))有效地将分块与外生时间序列结合,用于更通用的时间序列预测。GCGNet(Li等人, 2026 (https://arxiv.org/html/2609.10589#bib.bib10))能够结合分块、图神经网络(GNN)和变分自编码器(VAE),超越了TimeXer。默认情况下,GCGNet可以访问未来的外生输入,这正是Hewamalage等人(2023)(https://arxiv.org/html/2609.10589#bib.bib6)所反对的那种泄露类型。尽管如此,作者证明即使没有未来的外生输入,它也能超越TimeXer,尽管其性能有所下降。Zhou等人(2025)(https://arxiv.org/html/2609.10589#bib.bib26)仅使用分块和一个单层CNN就创建了一个具有竞争力的模型CrossLinear。

神经网络中的异方差估计可以追溯到20世纪90年代(Nix和Weigend, 1994 (https://arxiv.org/html/2609.10589#bib.bib13))。虽然点估计在时间序列深度学习文献中最为常见,但DeepAR(Salinas等人, 2020 (https://arxiv.org/html/2609.10589#bib.bib16))确实采用了概率建模方法。有趣的是,Stirn等人(2023)(https://arxiv.org/html/2609.10589#bib.bib19)展示了一个表面上似乎与本文主要主张相矛盾的结果:在四个神经网络模型上,异方差估计导致了更差的点估计。这些模型都不是时间序列预测器,并且规模都远小于本文考虑的模型。这表明未来可以进一步研究异方差估计在何种情况下确实或不改善点估计,因为在神经网络中这似乎不是一个普适的结果。

## 3 Halo

本文所研究的基本预测问题如下:一个网络接收输入\((x_{\text{endo}},x_{\text{exo}}) \in \mathbb{R}^{T} \times \mathbb{R}^{T \times C}\),并生成预测\(\hat{y} \in \mathbb{R}^{H}\)。\(x_{\text{endo}}\)表示要预测的*内生信号*的最后\(T\)个数据点。\(\hat{y}\)是对\(y \in \mathbb{R}^{H}\)的估计,即信号中接下来的\(H\)个数据点。令\(s\)表示感兴趣的底层内生信号,在时间\(t\),\((x_{\text{endo}}(1), \ldots, x_{\text{endo}}(T)) = (s(t-T+1), \ldots, s(t))\),且\((y(1), \ldots, y(H)) = (s(t+1), \ldots, s(t+H))\)。\(T\)是预测的*回溯窗口*,\(H\)是*预测范围*。\(x_{\text{exo}}\)表示\(C\)个*外生输入*的最后\(T\)个数据点,这些信号与内生信号相关,有助于预测其未来值。\(C\)是*外生通道*的数量。

该网络是一个函数\(f: \mathbb{R}^{T} \times \mathbb{R}^{T \times C} \times \Phi \rightarrow O\),其中\(\Phi\)是网络参数空间,\(O\)是输出空间。网络在训练期间学习其参数,并在推理期间保持这些参数恒定。对于点估计,\(O = \mathbb{R}^{H}\),且\(\hat{y} = f(x_{\text{endo}}, x_{\text{exo}}, \phi)\)。对于异方差估计,\(O = \mathbb{R}^{H} \times (0, \infty)^{H}\)。如果位置和尺度的分布参数分别是\(a\)和\(b\),则写为\((\hat{a}, \hat{b}) = f(x_{\text{endo}}, x_{\text{exo}}, \phi)\)。例如,对于具有均值\(\mu\)和方差\(\sigma^2\)的高斯分布,\((\hat{\mu}, \hat{\sigma}^2) = f(x_{\text{endo}}, x_{\text{exo}}, \phi)\)。

简化假设:

- •假设内生信号是单通道。这是为了清晰,并非异方差估计的根本限制。
- •假设每个外生信号与内生信号具有相同的回溯窗口。同样,这是为了简化阐述,并非方法的根本限制。
- •假设预测模型看不到未来的外生输入。一些近期架构,如GCGNet(Li等人, 2026 (https://arxiv.org/html/2609.10589#bib.bib10))和DAG(Qiu等人, 2025 (https://arxiv.org/html/2609.10589#bib.bib27)),允许预测模型看到未来的外生输入,其观点是一些外生输入本身可能具有高度准确的预测。本文为了避免这种情况,以限制数据泄露(Hewamalage等人, 2023 (https://arxiv.org/html/2609.10589#bib.bib6)),因为通常未来的外生输入可能包含关于尚未预测的内生值的信息。此外,预测模型可以将时间\(t\)对时间\(t+h\)做出的未来值预测视为时间\(t\)的外生值,因此这并非根本限制。
- •假设用于异方差损失的分布由位置参数\(a\)和尺度参数\(b\)参数化。本文考虑的示例如此,但这并非异方差损失的必要条件。例如,威布尔分布有三个参数,而指数分布只有一个参数。

### 3.1异方差损失

本小节探讨几种形式为\(L\left((y_{1},\ldots,y_{N}),(\hat{y}_{1},\ldots,\hat{y}_{N})\right)\)的损失函数,其中每个\(y_i\)和\(\hat{y}_i\)都是\(\mathbb{R}^{H}\)的成员。这表示在\(N\)个样本和预测范围\(H\)上的损失。为了保持阐述清晰,形如:

$$
\frac{1}{N}\sum_{i=1}^{N}(y_{i}-\hat{y}_{i})^{2}, \quad (1)
$$

的损失函数,实际上是以下形式的简写:

$$
\frac{1}{H}\sum_{t=1}^{H}\left[\frac{1}{N}\sum_{i=1}^{N}(y_{i}(t)-\hat{y}_{i}(t))^{2}\right]. \quad (2)
$$

也就是说,实际上损失是在预测范围内取平均,但为了保持公式简短易读,在本节中将其写成好像预测范围为1且只有一个输出值要考虑的形式。

深度学习时间序列文献中最常见的两种损失函数是均方误差(MSE)和平均绝对误差(MAE)。它们的定义为:

$$
\text{MSE} = \frac{1}{N}\sum_{i=1}^{N}(y_{i}-\hat{y}_{i})^{2}, \quad (3) \\
\text{MAE} = \frac{1}{N}\sum_{i=1}^{N}|y_{i}-\hat{y}_{i}|. \quad (4)
$$

使用其中任何一个作为训练损失函数都有其概率解释。最小化任一损失函数对应于最小化某个假设分布\(P(Y \mid X)\)的负对数似然(NLL)函数,其中\(Y\)是输出随机变量,\(X\)是输入随机变量。更具体地说,给定学习到的模型参数\(\phi\),令\(x_i\)表示样本\(i\)的输入对\((x_{\text{endo}}, x_{\text{exo}})\),并将\(y_i\)的估计\(\hat{y}_i = f(x_i, \phi)\)视为某个隐含分布函数的位置参数。这里\(f\)是网络函数。

如果该分布是高斯分布\(\mathcal{N}(\mu, \sigma^{2})\),其均值\(\mu\)依赖于输入,方差\(\sigma^{2}\)是某个恒定但未知的常数,那么给定\(N\)个数据点,NLL为:

$$
\text{NLL} = \frac{N}{2}\log(2\pi) + \frac{1}{2}\sum_{i=1}^{N}\log(\sigma^{2}) + \sum_{i=1}^{N}\frac{(y_{i}-\mu_{i})^{2}}{2\sigma^{2}}. \quad (5)
$$

在这种情况下,若\(\hat{\mu}_i = \hat{y}_i = f(x_i, \phi)\)且\(\sigma^2\)为常数,则最小化MSE的\(\phi\)也是最小化NLL的\(\phi\)。

类似地,如果分布是拉普拉斯分布\(\mathcal{L}(\mu, b)\),其位置参数为\(\mu\),尺度参数\(b\)是恒定但未知的,那么最小化MAE等价于最小化NLL:

$$
\text{NLL} = N\log(2) + \sum_{i=1}^{N}\log(b) + \sum_{i=1}^{N}\frac{|y_{i}-\mu_{i}|}{b}. \quad (6)
$$

移除方差/尺度参数是恒定的假设,并修改网络使其不仅估计\(\hat{\mu}_i = f(x_i, \phi)\),而是同时估计位置和尺度,例如在高斯情况下\((\hat{\mu}_i, \hat{\sigma}_i^2) = f(x_i, \phi)\),就得到了一个异方差模型。异方差模型本身就有用。例如,异方差模型可以生成概率预测,给出可能值的范围而非单个值。本文提供的证据表明,即使只关心点估计,异方差估计也是有用的,因为它帮助网络对位置参数做出更好的点估计。从经验上看,当网络同时学习位置和尺度时,它会调整其点估计以考虑变异性。也就是说,网络学会了考虑方差。

注意,对于高斯分布,本文使用了Seitzer等人(2022)(https://arxiv.org/html/2609.10589#bib.bib17)引入的\(\beta\)-NLL函数来寻找均值和方差参数:

$$
\beta\text{-NLL} = \frac{1}{2N}\sum_{i=1}^{N}\text{sg}\left(\|\sigma_{i}\|\right)\log(\sigma_{i}^{2}) + \frac{1}{2N}\sum_{i=1}^{N}\text{sg}\left(\|\sigma_{i}\|\right)\frac{(y_{i}-\mu_{i})^{2}}{\sigma_{i}^{2}}. \quad (7)
$$

这里\(\text{sg}(\cdot)\)是...

相似文章

针对CTF4Science Lorenz挑战的度量感知混合预测

arXiv cs.LG

本文描述了一种针对CTF4Science Lorenz挑战的度量感知混合预测系统,该系统结合了神经去噪器、ODE拟合和直方图尾部分布替代,以优化九个任务对中的不同度量,在公开排行榜上取得了83.85529分的成绩。