NIVA：面向可操作地球系统智能的多模态基础模型

# 一个用于地球系统可操作智能的多模态基础模型
来源：https://arxiv.org/html/2606.28546
###### 摘要

近年来，人工智能驱动的天气与气候建模在提升预报技巧的同时降低了计算成本。然而，现有数据驱动方法在模拟耦合的地球系统动力学方面能力有限，而这正是将可预测性扩展到大约≈\approx2周时间尺度之外所必需的。为解决这一问题，我们提出了NIVA，一种旨在学习地球系统组件间统一表征的多模态基础模型。虽然完整框架面向大气、海洋、冰和陆地相互作用，但在此我们聚焦于双模态设置（海洋和大气），作为控制条件下的概念验证，以评估基础模型能否学习耦合动力学。NIVA在大规模地球系统模拟数据上训练，学习到物理上有意义的跨模态结构，为次季节到季节预测奠定了基础。作为初步验证，我们展示了NIVA通过准确预测主要气候指数，捕捉到了关键的气候变率模态。

机器学习, ICML

## 1 引言

请参阅图注图1：NIVA端到端流水线示意图。该框架利用ESM输出对基础模型进行预训练，使其学习耦合的地球系统表征，并可迁移至一系列下游任务。

基础模型已成为从大规模数据中学习通用表征的强大范式，能够灵活适应多种下游任务。在自然语言处理和计算机视觉等领域，这些模型已将关注点从特定任务的解决方案转向捕捉复杂系统底层结构的统一架构 (Radfordet al.,2018 (https://arxiv.org/html/2606.28546#bib.bib9); Devlinet al.,2019 (https://arxiv.org/html/2606.28546#bib.bib7); Oquabet al.,2024 (https://arxiv.org/html/2606.28546#bib.bib3); Kirillovet al.,2023 (https://arxiv.org/html/2606.28546#bib.bib1); Beyeret al.,2024 (https://arxiv.org/html/2606.28546#bib.bib5); Chenget al.,2024 (https://arxiv.org/html/2606.28546#bib.bib6); Radfordet al.,2021 (https://arxiv.org/html/2606.28546#bib.bib4); Touvronet al.,2023 (https://arxiv.org/html/2606.28546#bib.bib8))。在地球系统科学领域，日益增多的工作致力于开发基础模型，原因是该系统的高维非线性动力学特性，加上长期数据集的日益丰富，促使人们采用数据驱动方法直接从观测中学习这些过程。

早期的地球系统基础模型，包括ClimaX (Nguyenet al.,2023 (https://arxiv.org/html/2606.28546#bib.bib10)), AtmoRep (Lessiget al.,2023 (https://arxiv.org/html/2606.28546#bib.bib13)), Aurora (Bodnaret al.,2024 (https://arxiv.org/html/2606.28546#bib.bib12)) 和 Prithvi WxC (Schmudeet al.,2024 (https://arxiv.org/html/2606.28546#bib.bib11))，展示了从大规模大气数据中学习任务无关表征的潜力。这些模型支持一系列下游应用，包括预报、降尺度和事件反事实分析，在短期预测任务中往往能与传统数值方法相媲美。然而，尽管取得了这些进展，现有模型在范围上仍然有限，因为它们主要关注大气变量，并未完全捕捉更广泛地球系统的耦合动力学，例如海洋、海冰和陆地表面。因此，其预测技巧被限制在较短时间尺度上，因为大约≈2\approx 2周以上的大气可预测性取决于这些缓慢演变组件中存储的记忆 (Oort and Peixoto,1992 (https://arxiv.org/html/2606.28546#bib.bib14))。

此外，现有模型主要基于观测再分析数据集进行训练，而这些数据集以大气观测和数据同化系统为主。这导致了对地球系统的大气中心视角，使得海洋等缓慢演变的组件观测不足且约束较弱，尤其是在与其变率相关的时间尺度上。此外，在高时间分辨率数据（例如每小时）上进行训练，使这些模型偏向于快速大气过程和短期变率，限制了它们捕捉较慢变化以及地球系统不同部分之间在周至季节时间尺度上相互作用的能力。

这一限制至关重要，因为次季节到季节（S2S）时间尺度的可预测性依赖于大气与海洋、海冰和陆地表面等较慢组件之间的相互作用 (Oort and Peixoto,1992 (https://arxiv.org/html/2606.28546#bib.bib14))。因此，通过强调高频大气动力学而低估低频变率和耦合，当前的基础模型难以应对S2S预报和大尺度气候变率等关键挑战。

为填补现有工作的这一空白，我们提出了NIVA，这是一种旨在学习耦合地球系统动力学的多模态基础模型。借鉴视觉-语言架构的方法论 (Chenget al.,2024 (https://arxiv.org/html/2606.28546#bib.bib6); Heet al.,2021 (https://arxiv.org/html/2606.28546#bib.bib16); Singhet al.,2022 (https://arxiv.org/html/2606.28546#bib.bib18); Jiaet al.,2021 (https://arxiv.org/html/2606.28546#bib.bib17)), NIVA学习跨异质组件的高维共享表征，从而能够模拟大气、海洋、海冰和陆地表面之间的相互作用。

为了进一步奠定方法基础，我们将围绕以下核心问题展开研究：

- • 多模态基础模型能否学习到捕捉地球系统组件间耦合动力学的统一表征？
- • 联合海洋-大气表征学习在多大程度上能恢复物理上有意义的气候变率模态？
- • 地球系统的数值模拟是否是预训练数据源的有效选择，以便学习可迁移到观测领域的耦合动力学？

回答这些问题有助于理解数据驱动的AI模型如何捕捉耦合的地球系统动力学，这对于将可预测性扩展到当前大气可预测性极限（约≈2\approx 2周）以外至关重要。我们的总体目标是开发一个基础模型，使其学习到一个物理上有意义且可泛化的潜在空间，该空间编码了地球系统组件间的相互作用。

在这项工作中，我们聚焦于海洋-大气子系统，该子系统对S2S可预测性至关重要，因为海洋具有更长的内在记忆，并在调节大尺度大气变率中起关键作用。我们展示了NIVA通过准确预测主要气候变率模态来捕捉这些相互作用，从而证明了所学潜在空间编码了物理上有意义的耦合动力学。

我们的结果表明，多模态表征学习可以直接从数据中恢复大尺度气候变率的关键驱动因素，提供了一条在数据驱动框架内建模耦合地球系统过程的途径。所学潜在空间旨在支持迁移到下游任务，例如气候风险评估、极端事件预测和气候归因；我们将在未来工作中对这些能力进行系统评估。此外，我们还开发了NIVA作为一个模块化和可扩展的框架，以便在未来的扩展中能够可扩展地集成额外的地球系统组件。

## 2 相关工作

### 2.1 数值地球系统模型

数值地球系统模型（ESMs）是模拟和预测地球气候与天气系统行为的主要工具。它们通过在离散空间网格上数值积分统治性的物理方程（包括流体动力学、热力学和辐射传输）来表示大气、海洋、陆地表面和冰冻圈的耦合动力学 (Flato,2011 (https://arxiv.org/html/2606.28546#bib.bib44))。

数值ESM支撑着广泛的科学和业务应用。在数值天气预报（NWP）中，它们通过将观测数据同化到初始状态并随时间推进系统，用于生成从几小时到几周前的预报 (Baueret al.,2015 (https://arxiv.org/html/2606.28546#bib.bib45))。在更长时间尺度上，ESM是气候风险评估和预估的核心，它们用于模拟不同排放路径下的未来情景 (O’Neillet al.,2016 (https://arxiv.org/html/2606.28546#bib.bib46))。它们还在气候变化归因中发挥关键作用，能够进行控制性实验，以分离特定驱动因素（如温室气体排放或气溶胶）的影响 (Stottet al.,2010 (https://arxiv.org/html/2606.28546#bib.bib47))。

尽管处于核心地位，数值ESM存在一些众所周知的局限性。它们计算成本高昂，通常需要高性能计算基础设施来运行 (Balajiet al.,2017 (https://arxiv.org/html/2606.28546#bib.bib49); Acostaet al.,2024 (https://arxiv.org/html/2606.28546#bib.bib53))。其开发和维护涉及复杂的代码库，其中许多已历经数十年的演变，并以Fortran等遗留语言实现 (Baueret al.,2021 (https://arxiv.org/html/2606.28546#bib.bib50))。此外，发生在网格尺度以下的关键过程（如对流和云微物理）必须通过经验参数化来表示，这限制了保真度 (Schneideret al.,2017 (https://arxiv.org/html/2606.28546#bib.bib51))。构建、调优和解释这些模型需要跨越众多学科的深厚领域专业知识，导致进入门槛高、迭代速度慢 (Balajiet al.,2017 (https://arxiv.org/html/2606.28546#bib.bib49))。

### 2.2 多模态表征学习

多模态表征学习整合来自异质数据源的信息，以推导出捕捉模态间关系的上下文丰富的语义表征 (baltrušaitis2017multimodalmachinelearningsurvey)。通过学习共享潜在空间，这些模型支持跨模态任务，如检索、对齐和推理 (Xuet al.,2015 (https://arxiv.org/html/2606.28546#bib.bib21); Luet al.,2019 (https://arxiv.org/html/2606.28546#bib.bib20); Radfordet al.,2021 (https://arxiv.org/html/2606.28546#bib.bib4))。最近的进展，特别是对比方法如CLIP (Radfordet al.,2021 (https://arxiv.org/html/2606.28546#bib.bib4)) 和 ALIGN (Jiaet al.,2021 (https://arxiv.org/html/2606.28546#bib.bib17))，已经证明在配对数据上的大规模预训练可以通过将语义相关的样本拉近、将不相关的样本推开，从而产生高度可泛化的表征。这种公式特别适合捕捉模态间的不对称概率关系。尽管对比学习在多种领域和任务中广泛采用 (van den Oordet al.,2019 (https://arxiv.org/html/2606.28546#bib.bib23); Elizaldeet al.,2022 (https://arxiv.org/html/2606.28546#bib.bib22); Yueet al.,2022 (https://arxiv.org/html/2606.28546#bib.bib24); Wuet al.,2026 (https://arxiv.org/html/2606.28546#bib.bib25))，但其主要焦点仍然是视觉-语言模态。在这项工作中，我们将多模态表征学习扩展到地球系统领域，通过学习一个编码了可泛化且物理一致的地球系统表征的共享潜在空间，来模拟海洋和大气状态之间的耦合动力学。

### 2.3 天气与气候基础模型

如第1节 (https://arxiv.org/html/2606.28546#S1) 所述，虽然用于天气与气候的基础模型学习了支持一系列下游任务的泛化表征，但它们仍然局限于较短时间尺度 (Nguyenet al.,2023 (https://arxiv.org/html/2606.28546#bib.bib10); Lessiget al.,2023 (https://arxiv.org/html/2606.28546#bib.bib13); Bodnaret al.,2024 (https://arxiv.org/html/2606.28546#bib.bib12); Schmudeet al.,2024 (https://arxiv.org/html/2606.28546#bib.bib11))。这主要是因为它们将地球系统建模为仅包含大气的问题，忽略了控制长期记忆的较慢组件，如海洋、海冰和陆地冰 (Oort and Peixoto,1992 (https://arxiv.org/html/2606.28546#bib.bib14))。

尽管Aurora (Bodnaret al.,2024 (https://arxiv.org/html/2606.28546#bib.bib12)) 和 Prithvi WxC (Schmudeet al.,2024 (https://arxiv.org/html/2606.28546#bib.bib11)) 试图通过训练覆盖跨越多重地球系统组件的异质变量和数据集来弥补这一差距，但它们都依赖单流公式，这实际上将系统视为一个统一的输入空间。这种设计没有考虑不同子系统之间非对称依赖性或双向耦合，而后者是地球系统动力学的核心。此外，它们对短时间上下文的依赖限制了其表示长期记忆和从地球系统慢变组件中捕捉有意义表征的能力。因此，尽管它们提高了可扩展性和跨任务泛化能力，但并未解决学习耦合地球系统动力学这一核心挑战。

NIVA通过将地球系统建模重新定义为多模态表征学习问题来应对这些局限性，它将不同组件视为具有独立编码器的不同模态，并通过对比对齐学习一个共享潜在空间，从而显式捕捉跨组件依赖关系，并使表征能够反映地球系统的耦合本质。

## 3 NIVA

NIVA遵循一个两阶段流水线，包括预训练和后训练（微调）。在预训练期间，NIVA使用一个针对海洋-大气系统的双模态联合学习框架，类似于多模态模型中的图像-文本表征学习（见第2.2节 (https://arxiv.org/html/2606.28546#S2.SS2)）。这种类比源于模态间的统计不对称性：单个文本引用（例如“狗”）可以对应许多有效的图像；类似地，由于大气变率较高，一个缓慢演变的海洋状态可以对应多个动力学一致的大气实现。NIVA利用这种结构，通过学习一个共享潜在空间来建模两个系统之间的条件关系和跨模态约束。

### 3.1 数据

如第1节 (https://arxiv.org/html/2606.28546#S1) 所述，现有的天气与气候基础模型主要在高时间分辨率数据上进行训练，这使它们偏向于快速大气过程，并限制了捕捉较低频率变率模态的能力。这进而限制了它们对控制长期行为的地球系统组件间耦合相互作用的建模能力。NIVA通过在较低时间分辨率下运行来应对这一限制，使模型能够更好地表示缓慢演变的子系统及其相互作用。然而，基础模型预训练本质上是数据密集型的。观测数据集虽然具有物理基础，但时间范围有限（通常<50<50年），因此对海洋、海冰、陆地冰和陆地表面等较慢组分的表示不足。为了克服这一限制，我们利用社区地球系统模型版本2大型集合（CESM2-LE）的大规模模拟进行预训练，该集合提供了长期、一致且完全耦合的地球系统表征。相比之下