通过数据缩放突破高分辨率天气预报的极限
摘要
本文提出了BaguanHR框架,该框架使用变量级超分辨率技术从低分辨率源合成高分辨率天气数据,克服了基于机器学习的预报中的数据限制,并展示了幂律缩放效应以提升性能。
arXiv:2608.14652v1 公告类型:新
摘要:基于机器学习的0.1度全球天气预报模型的发展受到高分辨率数据有限性的制约,因为数十年的再分析数据仅以0.25度分辨率提供。虽然现有方法在有限的0.1度样本上微调0.25度预报模型,但我们表明这种转移受到低分辨率预报中固有的不可逆信息损失的阻碍。因此,我们提出BaguanHR框架,将重点从模型转移转向数据转移。我们首先表明,超分辨率(SR)具有比预报更低的条件熵和输入放大,使其成为分辨率转移的更稳健载体。通过利用变量级SR的优势,我们从ERA5合成了大量的0.1度数据。BaguanHR在合成加真实数据集上的性能超越了基于ML的方法和IFS-HRES,在72小时内超过85%的预报时效内实现了优越性能。此外,我们的研究结果突出了幂律缩放效应,因为数据翻倍使72小时预报的RMSE降低4.6%,120小时预报的RMSE降低4.9%。我们的结果表明,扩展高分辨率基于ML的预报主要是一个数据瓶颈,而变量级超分辨率提供了一个简单而通用的解决方案,以解锁长时间的低分辨率再分析数据用于高分辨率训练。
查看缓存全文
缓存时间: 2026/08/18 10:20
# 通过数据扩展推动高分辨率天气预报的极限
来源:https://arxiv.org/html/2608.14652
¹南京大学 严重天气气象科学技术国家重点实验室,南京,中国
²南京大学 大气科学学院,南京,中国
³蚂蚁健康,蚂蚁集团,杭州,中国
⁴阿里巴巴集团 达摩院,杭州,中国
⁴电子邮件:\{zhaoy2024,guanlongma\}@smail\.nju\.edu\.cn
⁴电子邮件:yuanhl@nju\.edu\.cn
⁴电子邮件:\{niupeisong\.nps,tian\.zt,ls\.537724\}@antgroup\.com
⁴电子邮件:maziqing\.mzq@alibaba\-inc\.com
⁴电子邮件:rongjinemail@gmail\.com
Peisong Niu\*
https://orcid.org/0009-0007-7023-0900
Tian Zhou\*
https://orcid.org/0000-0003-1789-5413
Ziqing Ma
https://orcid.org/0000-0003-1567-5054
Guanlong Ma
https://orcid.org/0009-0008-7350-3991
Rong Jin
Huiling Yuan†
https://orcid.org/0000-0003-4725-9039
Liang Sun†
https://orcid.org/0009-0002-5835-7259
###### 摘要
基于机器学习的0.1°全球天气预报模型的发展,受到高分辨率数据有限可用的制约,因为数十年的再分析数据仅在0.25°分辨率下可用。虽然现有方法在有限的0.1°样本上微调0.25°预报模型,但我们发现这种转换受到粗分辨率预报中固有的不可逆信息损失的阻碍。因此,我们提出了BaguanHR框架,将重点从模型迁移转移到数据迁移。我们首先证明,超分辨率比预报具有更低的条件熵和输入放大效应,这使其成为分辨率迁移更稳健的载体。通过利用变量级超分辨率的优势,我们从ERA5合成了大量的0.1°数据。BaguanHR在合成数据加真实数据集上的表现超越了基于机器学习的方法和IFS-HRES,在72小时内超过85%的预报时长中实现了更优的性能。此外,我们的研究揭示了幂律缩放效应:数据量增加一倍,可使72小时预报的均方根误差降低4.6%,使120小时预报的均方根误差降低4.9%。我们的结果表明,扩展基于机器学习的高分辨率预报主要瓶颈在于数据,而变量级超分辨率为利用长期粗分辨率再分析数据进行高分辨率训练提供了一种简单而通用的解决方案。
††脚注:\*这些作者对本工作贡献相同。††脚注:†通讯作者。
## 1 引言
全球天气预报领域正在经历深刻变革,数据驱动的模型现在在中期预报中已超越了成熟的数值天气预报系统。然而,将这些模型推向更高的空间分辨率,仍从根本上受到长期、一致、高分辨率全球数据集可用性的限制。例如,欧洲中期天气预报中心的业务分析仅在2016年后才提供全球0.1°(约9公里)数据,到2026年最多只能提供约10年的训练数据,这对于训练大规模机器学习预报模型来说远远不够,容易导致严重的过拟合。相比之下,ERA5等再分析数据仅在更粗的0.25°分辨率下提供了47年(截至2026年)的数据,造成了分辨率与数据量之间的不平衡,这已成为高分辨率机器学习气象预报的关键瓶颈。
近期一系列研究试图通过架构设计和在小量0.1°高分辨率数据上微调,将预训练的0.25°预报模型迁移到0.1°分辨率,以克服这一挑战。该策略利用了粗模型中编码的先前动力学知识,但受到两个因素的内在限制。首先,预训练的粗分辨率模型无法充分利用0.1°分析场中丰富的信息,因为其学习到的表示与低分辨率网格紧密相关。其次,天气预测是一项比降尺度复杂得多的任务;将粗分辨率预报模型适配到更细的网格,需要同时学习精细尺度过程和正确的多尺度动力学,而这通过有限的微调很难实现。因此,从粗到细的迁移通常仅能带来有限的精度提升,并且严重依赖复杂的架构修改。
我们提出了一种范式转换:迁移数据,而非模型。我们的核心见解是:超分辨率是一个同时条件重建任务,其条件熵在理论上低于多步预报。基于此,超分辨率应(i)本质上更易于学习,(ii)在不完美输入下更稳定,以及(iii)适合作为可扩展的机制,以突破高分辨率预报的数据瓶颈。我们通过一系列实验验证了这些推论,逐步闭合了这一推理循环。
(图表引用)图1:对2米气温、10米风速和500百帕位势高度基于熵的鲁棒性评估。x轴对应不同的噪声水平,y轴为均方根误差和放大因子。更低的放大因子反映了更强的内在稳定性。
我们通过两个主要视角探究该方法背后的机制。首先,我们分析了超分辨率和预报在2米气温、10米风速和500百帕位势高度上的鲁棒性,如图1所示。通过测量注入单位高斯噪声后误差的增长(放大因子),我们发现:(i)超分辨率是一个更简单的任务,其均方根误差远低于一步预报(例如,500百帕位势高度分别为13.8 vs. 23.6),这与现有研究一致;(ii)超分辨率更稳定,其放大因子(0.6–0.8×)显著低于预报(1.0–1.2×)。其次,我们的数据分析定律研究证明,0.1°预报强烈受限于数据量,并随着训练数据量的增加呈现幂律改进。具体而言,将训练数据从7年扩展到18年,可使长期预报的均方根误差降低超过4.5%。
基于这些发现,我们采用了“合成数据加真实数据”的策略。具体来说,我们在有限的成对0.1°–0.25°样本上训练每个变量的超分辨率模型,将其应用于数十年的ERA5数据以合成高分辨率的0.1°训练数据,然后从头开始训练0.1°预报模型。这种数据驱动的方法显著优于从粗到细的基线方法,且无需专门的架构或微调,表明通过变量级超分辨率构建数据是解决高分辨率机器学习预报扩展问题的最佳途径。
本文的主要贡献如下:
- 我们提出了BaguanHR框架,它利用超分辨率较低的条件熵,作为一种稳健的数据增强策略用于高分辨率天气预报。BaguanHR优于各种基于机器学习的方法和IFS-HRES。具体来说,在72小时内超过85%的预报时长表现出更优的性能,特别是与IFS-HRES相比,均方根误差降低了4.0%。
- 我们从实验和理论两个方面进行了全面调查,阐明了“合成数据加真实数据”策略有效性的机制。通过利用每个变量超分辨率的内在鲁棒性,我们的方法与传统的从粗到细方法相比,均方根误差最多可降低20%,为高分辨率建模建立了一个更稳定的框架。
- 我们建立了高分辨率预报的基本数据分析定律,揭示了性能随数据量增加而按幂律改进的规律。具体而言,将训练数据集从7年扩展到18年,可使长期(120小时)预报的均方根误差降低4.9%,72小时预报降低4.6%。
- 我们的研究强调了视角的转变:对于基于机器学习的高分辨率气象预报,通过超分辨率构建数据比架构设计或迁移学习更具扩展性和有效性。由于数据可用性是高分辨率预报的主要瓶颈,我们的范式直接针对数据问题,并且可以扩展到其他高分辨率任务。
## 2 相关工作
### 2.1 数据驱动的气象预报模型
近期突破0.25°模型分辨率限制的0.1°预报工作,侧重于从预训练的粗粒度系统迁移知识。Aurora引入了用于patch对齐的双线性上采样,而Fengwu-GHR采用了用于高分辨率外推的恒等保持映射。这些方法凸显了利用迁移学习达到业务级精度的增长趋势,但它们仍然主要将高分辨率预报视为在有限0.1°数据下的模型迁移问题。相比之下,我们的方法从以数据为中心的视角解决同一挑战,通过超分辨率扩展有效的0.1°数据集。这条以数据为中心的路径是对神经算子方法的补充,包括傅里叶神经算子和粗化算子,它们从以架构为中心的视角解决多分辨率物理建模问题。
### 2.2 气象预报任务中的扩展定律
受自然语言处理和计算机视觉领域扩展定律的启发,近期研究开始探讨气象学中计算、数据与性能之间的关系。尽管有研究分析了0.25°以下分辨率的模型和数据扩展,另有研究报道了跨模型规模和计算预算的基本幂律。然而,在0.1°分辨率下扩展数据时,这些性能提升是否持续存在仍是一个开放问题,尤其是在高分辨率分析数据稀缺的情况下。这促使我们研究高分辨率领域内有效的数据扩展策略。
## 3 合成数据向真实数据迁移的原理
### 3.1 鲁棒性评估:超分辨率与预报
为证明采用超分辨率作为更优的数据增强策略是合理的,我们比较了在不同输入噪声水平下两种范式的性能:预报(时间演变)和超分辨率(空间重建)。这些任务的定义如下:
- **高分辨率预报**:BaguanHR旨在生成0.1°空间分辨率的全球中期预报(H=1801,W=3600)。令\(X_t \in \mathbb{R}^{V \times H \times W}\)表示时间t的大气状态,其中V为变量数。预报模型旨在学习一个映射\(\Phi_F: X_t \rightarrow X_{t+\Delta t}\),其中\(\Delta t = 6\)小时。未来状态通过自回归方式预测,将前一时刻的输出作为下一时刻的输入。
- **超分辨率**:为增强训练数据,我们定义了一个空间重建任务,以桥接粗再分析数据与高分辨率分析数据之间的差距。给定低分辨率状态\(Z_t \in \mathbb{R}^{V \times H' \times W'}\)(0.25°),超分辨率模型学习一个映射\(\Phi_{SR}: Z_t \rightarrow \hat{X}_t\),生成一个0.1°伪标签\(\hat{X}_t\),该伪标签与源数据保持物理一致性,同时增强了空间细节。
为评估模型鲁棒性,我们使用不同强度\(\sigma\)的高斯噪声\(\delta \sim \mathcal{N}(0, \sigma^2)\)扰动输入场。敏感性通过放大因子量化,定义为预测误差相对于基线的变化除以噪声幅度:\(\|\text{RMSE}_\sigma - \text{RMSE}_0\| / \sigma\)。该指标捕捉了超分辨率和预报模型对输入扰动的边际响应。通过隔离仅由输入扰动引起的增量误差,该因子揭示了模型映射函数的内在稳定性。高放大因子意味着小的输入波动在推理过程中被显著放大,而低因子则表明架构具有韧性。
我们的分析揭示,超分辨率方法在两个关键方面优于预报方法。首先,如图1所示,在所有测试的气象变量(包括2米气温、10米风速和500百帕位势高度)上,超分辨率始终表现出比预报低得多的放大因子。其次,在每一个噪声强度下,超分辨率在均方根误差方面相对于预报模型都保持着显著优势。这些发现共同表明,超分辨率对输入不确定性本质上不敏感,并且在抑制误差传播方面更为有效。这些结果证明,超分辨率对输入扰动的内在稳定性和韧性验证了其在稳健数据增强中的应用。
### 3.2 “合成数据加真实数据”与“从粗到细”自适应
(图表引用)图2:“合成数据加真实数据”从头训练范式与“从粗到细”迁移方法的比较性能。x轴为预报时长(天),不同颜色显示不同的相对均方根误差差异值。
在研究伊始,我们对高分辨率适配的两种技术范式进行了全面比较:传统的“从粗到细”方法和我们提出的“合成数据加真实数据”策略。该比较旨在确定在0.1°建模中,模型级迁移还是数据驱动增强提供了更有效的路径。
#### 3.2.1 实验设置
当前的0.1°分辨率模型主要由两个方法代表,它们都遵循“从粗到细”的技术路线。在本研究中,我们选择通过复现其中一项工作的方法来实施方案,该方案通过分解和组合迁移学习将预训练的0.25°模型适配到0.1°分辨率。相比之下,“合成数据加真实数据”范式(如第4节所述)通过生成高分辨率合成数据来扩充训练集,并从头开始训练0.1°模型。为确保公平比较,两种范式均在2025年实时分析数据上进行评估。
#### 3.2.2 训练数据集
“合成数据加真实数据”的训练集整合了两个关键组成部分:
- **实时分析数据**:我们使用0.1° ECMWF 4D-Var分析数据(2017–2024年)。对于分析存档中不可用的累积变量(fdir、ssrd和tp),我们从零时刻IFS-HRES预报中获取。
- **合成数据**:为补充有限的0.1°存档,我们应用每个变量的超分辨率(SR)...相似文章
AirCast-SR: 基于潜在一致性扩散的公里尺度大气超分辨率基础模型
AirCast-SR 是一个基于扩散模型的基础模型,能够将全球AI天气预报从0.25°降尺度到1公里分辨率,每小时生成一次预报,可产生67小时预报,具有接近零偏差和结构真实感,同时在单个商用GPU上仅需数分钟即可完成推理。
极端降水降尺度的多分位数回归
介绍了Q-SRDRN,一种使用分位数损失的多分位数超分辨率网络,用于改进极端降水降尺度,在保持整体精度的同时,显著提高了强降雨事件的检测率。
基于经验神经正切核的极端天气预报可扩展不确定性量化
本文提出基于神经正切核的不确定性量化方法,用于确定性深度学习天气模型,在极端事件期间无需重新训练即可获得更尖锐的自适应预测区间。
AdaWeather: 自适应混合概率天气预报与对数遗憾
介绍了AdaWeather,一个自适应框架,它利用机器学习和专家混合来组合多个概率天气预报,相比最佳的静态专家混合实现了对数遗憾,并在温度预报方面展示了实证改进。
维度平衡提升大规模时空预测性能
本文提出一个框架,利用基于熵的诊断方法来协调空间和时间特征表示,在涉及城市交通、气象和疫情数据集的大规模时空预测任务中实现了显著的精度提升。