AdaWeather: 自适应混合概率天气预报与对数遗憾

# AdaWeather：对数遗憾下自适应混合概率天气预报
来源: https://arxiv.org/html/2606.02663  
Saptarishi Dhanuka Ashoka University, India saptarishi\.dhanuka@ashoka\.edu\.in  
& Sarvesh Iyer Ashoka University, India sarvesh\.iyer@ashoka\.edu\.in  
Manmeet Singh Western Kentucky University manmeet\.singh@wku\.edu  
& Mihir More Ashoka University, India mihir\.more@ashoka\.edu\.in  
Rushil Gupta Ashoka University, India rushil\.gupta\_ug2023@ashoka\.edu\.in  
& Dhruman Gupta Ashoka University, India dhruman\.gupta\_ug2023@ashoka\.edu\.in  
Parthasarathi Mukhopadhyay Ashoka University, India parthasarathi\.mukhopadhyay@ashoka\.edu\.in  
& Sandeep Juneja Ashoka University, India sandeep\.juneja@ashoka\.edu\.in  

###### 摘要
近期机器学习的发展催生了与最先进的数值天气预报模型相媲美的概率天气预报模型。但没有任何模型能在时空上始终占据主导地位，且相对性能高度依赖具体情境。这促使人们寻求自适应方法来组合多种预报，以获得改进和稳健性。尽管文献中已提出组合预报方法，但这些方法要么通过监督学习实现，要么通过专家建议预测方法实现。我们提出AdaWeather，一种自适应框架，它利用机器学习以及专家混合方法来组合多个概率预报，从而得到统一的改进型概率预报。传统专家方法针对事后最佳单一专家建立遗憾界，我们则扩展了算法和分析，表明我们的方法相对于事后最佳静态专家混合具有对数遗憾。实验上，我们专注于温度预报，并观察到相对于现有方法的改进。

## 1 引言
天气预报在农业、能源和灾害管理等众多领域具有关键应用。虽然数值天气预报模型被业务化使用，但神经天气模型，如FourCastNet (Pathak et al., 2022), Pangu-Weather (Bi et al., 2023), GraphCast (Lam et al., 2023), AIFS (Lang et al., 2024), GenCast (Price et al., 2024), NeuralGCM (Kochkov et al., 2024), ClimaX (Nguyen et al., 2023), Aurora (Bodnar et al., 2024) 和 Stormer (Nguyen et al., 2024)，现在在各种指标上已与这些系统相当，且计算成本更低。然而，尽管存在从图神经网络、3D地球特定注意力、球面傅里叶算子到基于扩散的采样器等架构归纳偏置，基准测试 (Rasp et al., 2024) 表明，这些模型表现出显著相似的总体性能，没有任何一个预报器能够在变量、预报时效或情境方面持续占据主导地位 (Chakraborty et al., 2025; Nai et al., 2025; Liu et al., 2025)。自然的应对方式是将它们组合起来，正如业务气象学中所做的那样 (Bauer et al., 2015)。广义上，这些组合或混合方法要么是离线式的，要么是在线式的。离线算法在历史数据上学习一个静态预测器，而在线算法则根据最近的预报误差逐步生成动态预报。许多现有方法采用离线路线，包括经典专家混合模型 (Jacobs et al., 1991; Jordan and Jacobs, 1994) 及其现代稀疏变体 (Shazeer et al., 2017; Fedus et al., 2022)。这些方法已适应于气象领域，如空间条件化MOEs (Dryden and Hoefler, 2022)、变量自适应MOEs (Chen et al., 2025)、持久性增强混合模型 (Pérez-Ortiz et al., 2019) 等 (Chakraborty et al., 2025)。样本级融合 (Liu et al., 2025) 和生成式超级集成模型 (Nai et al., 2025) 也贡献了许多强大的架构主干 (Zhou et al., 2021; Wu et al., 2021; Zhou et al., 2022; Nie et al., 2023; Oreshkin et al., 2020; Wu et al., 2023)。这类方法具有统计驱动性，因为它们利用模型误差中依赖于协变量的结构，但在部署时是固定的，并且对分布漂移没有保证。在线算法通过随着观测到来顺序重新加权基础预测器来缓解这一问题 (Zhang et al., 2023; Pham et al., 2023; Lau et al., 2025; Fu et al., 2022; Liu and Etesami, 2025)。我们可以从“专家建议预测”的角度来看待，其中组合或混合模型（“专家”）的过程（称为聚合算法）能产生最优结果 (Vovk 1990, 1995; Freund 1996; Littlestone and Warmuth 1994; Cesa-Bianchi and Lugosi 2006)。这在分析混合模型相对于最佳可能方法的损失或其遗憾时特别有用。在损失函数是可混合的（例如连续排序概率评分CRPS）假设下，这些方法在非平稳环境中相对于变化的比较器拥有对数且可控的遗憾 (Aydore et al., 2019; Herbster and Warmuth, 1998; Hazan and Seshadhri, 2009; Jadbabaie et al., 2015)。经典的、侧重于NWP的统计后处理方法，如集合模型输出统计 (Gneiting et al., 2005)、贝叶斯模型平均 (Raftery et al., 2005) 和正确评分规则校准 (Gneiting and Raftery, 2007)，利用历史预报-观测数据重新校准或组合现有预报输出，这使得它们比学习型监督聚合器更简单，但适应性和理论保证不如在线方法。因此存在一个差距：离线方法利用了历史结构，但在分布漂移下不稳定；而在线聚合器可证明具有自适应性，但看不到结构。据我们所知，我们未发现任何先前工作能有效结合这些方法，而本研究填补了这一空白。我们首先训练一个U-Net来学习历史模式，这为我们提供了所谓的“侧信息” (Cover and Ordentlich 1996)，用于聚合算法，将其作为专家与其他模型一起添加。我们不仅获得了更好的性能，而且还针对事后理论最佳混合（而不仅仅是先前工作中单独的最佳专家）提出了新颖的遗憾界 (V’yugin and Trunov 2021; Haussler et al. 1994; Vovk 1990)。

**关键贡献：**
1. **面向天气模型的离线-在线组合框架**：我们在历史数据上训练一个时空U-Net聚合模型，并将其添加到现有天气模型中。然后，我们将这一组专家传递给一个在线聚合算法，该算法执行最终预测，并在实证上相较于其他方法取得了改进的结果。
2. **遗憾保证**：我们推导出一个新颖的遗憾理论上界，在特殊情况下，该上界在常数因子内匹配最优极小极大界 (Freund 1996)。

在本文中，我们首先在第2节阐述相关工作，在第3节形式化问题，在第4节提出离线-在线方法，在第5节提供理论分析，最后给出数据、实验和结果，更多证明和实现细节见附录。

参见图注
图1: 整体框架

## 2 相关工作
以下涵盖与我们工作相关的几个方面：

##### 神经天气模型：
近期基于AI的天气模型——FourCastNet (Pathak et al., 2022), Pangu-Weather (Bi et al., 2023), GraphCast (Lam et al., 2023), ClimaX (Nguyen et al., 2023), Stormer (Nguyen et al., 2024), AIFS (Lang et al., 2024), Aurora (Bodnar et al., 2024), NeuralGCM (Kochkov et al., 2024), GenCast 等 (Price et al., 2024)——通常通过WeatherBench 2 (Rasp et al., 2024) 与IFS (Bauer et al., 2015) 和ERA5进行基准测试。尽管架构多样，最近的基准测试记录显示出近乎经验的收敛性和缺乏持续主导地位 (Chakraborty et al., 2025; Nai et al., 2025; Liu et al., 2025)。

##### 天气和时间序列中的多模型组合：
业务预报长期以来通过大规模多模型平均、超级集成回归 (Krishnamurti et al., 1999)、贝叶斯模型平均 (Raftery et al., 2005)、集合模型输出统计 (Gneiting et al., 2005) 和正确评分规则校准 (Gneiting and Raftery, 2007) 来组合模型。深度学习时代将组合重新框定为可学习问题。专家混合模型 (Jacobs et al., 1991; Jordan and Jacobs, 1994; Shazeer et al., 2017; Fedus et al., 2022) 已被调整为空间条件化路由 (Dryden and Hoefler, 2022)、用于增量预报的变量自适应专家 (Chen et al., 2025)、持久性增强混合模型 (Pérez-Ortiz et al., 2019) 以及ViT门控MoWE (Chakraborty et al., 2025)。样本级自适应融合 (Liu et al., 2025) 和生成式超级集成模型 (Nai et al., 2025) 扩展了设计空间。这些组合器所依赖的架构主干，如Informer (Zhou et al., 2021), Autoformer (Wu et al., 2021), FEDformer (Zhou et al., 2022), PatchTST (Nie et al., 2023), N-BEATS (Oreshkin et al., 2020), DeepAR (Salinas et al., 2020) 和 TimesNet (Wu et al., 2023)，与分布漂移归一化 (Kim et al., 2022; Liu et al., 2023) 紧密交互。

##### 概念漂移下的在线预报：
OneNet (Zhang et al., 2023) 通过在线凸规划耦合变量独立和跨变量预报器；FSNet (Pham et al., 2023) 将互补学习系统理论 (McClelland et al., 1995; Kumaran et al., 2016) 应用于时间序列；DSOF (Lau et al., 2025) 引入双流以消除在线评估中的信息泄露；RLMC (Fu et al., 2022) 将动态加权视为强化学习；Liu 和 Etesami (2025) 提出了一种具有无遗憾保证的在线MOE。这些方法共享的持续学习机制 (Lopez-Paz and Ranzato, 2017) 与更广泛的概念漂移文献 (Tsymbal, 2004; Gama et al., 2014) 相关联。

##### 专家建议预测：
理论基础可追溯到 Vovk (1990); Littlestone 和 Warmuth (1994) 以及 Haussler 等人 (1994)，他们为可混合损失建立了紧凑的 ln⁡N 遗憾界。随后，Freund (1996) 通过指数权重统一了分析。我们推荐读者参阅 Cesa-Bianchi 和 Lugosi (2006); Shalev-Shwartz (2012); Hazan (2016) 以获取进一步整合该领域的工作。CRPS的可混合性由 Dombry 和 Zaoui (2024) 确立，并由 V’yugin 和 Trunov (2021) 在线利用。在大气科学中，专家聚合已通过EWA和MLpoly应用于法国温度组合 (Pfitzner et al., 2025)，但仅限于使用NWP预报的稀疏站点数据，并且没有离线混合阶段。

## 3 问题形式化

### 3.1 预备知识

##### F