地理空间基础模型的新兴范式：从预训练到智能体推理

# 地理空间基础模型的新兴范式：从预训练到智能体推理
来源：https://arxiv.org/html/2607.12177
11机构：Google Public Sector, Washington DC 20001, USA
11邮箱：shelleycazares@google\.com###### 摘要

随着基础模型的出现，卫星与航空影像分析迎来了新时代。本文阐述了地理空间基础模型（GeoFM）的概念——这类人工智能/机器学习（AI/ML）模型通过多样化方法在海量地理空间数据集上进行预训练。我们首先阐明GeoFM所带来的核心范式转变：职责分离，即大规模模型提供商执行计算密集的预训练，领域专家则可快速微调或提示这些模型，以完成特定的关键任务。这种方法在保障下游任务安全性和机密性的同时，推动了先进AI/ML技术的普及。接着，我们探讨不同类型GeoFM解锁的新能力，区分了通过掩码自编码等自监督技术产生的可微调视觉模型，以及通过对比学习产生的视觉-语言模型（支持开放词汇图像分析等零样本任务）。然后，我们讨论将GeoFM投入实际应用时的考量因素，从性能-成本分析到更广泛的MLOps生态系统。为此，我们引入模型适配策略的分类法，并提出一个框架，帮助领域专家为其特定任务集选择最具成本效益的适配方法。最后，我们展望了智能体地理空间推理（Agentic Geospatial Reasoning）的未来前景，其中大型语言模型充当智能编排器，利用GeoFM作为工具，以自然语言回答高层次用户查询，并自动化复杂的分析工作流程，推动该领域从感知走向认知。

## 1 引言

地球观测数据在数量与种类上的持续增长，既带来了巨大机遇，也构成了显著挑战。尽管卫星和航空影像为从灾害响应到环境监测等应用提供了丰富的信息源，但以足够规模和速度分析这些数据的能力仍是关键瓶颈。传统的监督机器学习方法虽然强大，但通常需要为每项具体任务准备大量、精细标注的数据集。这一要求构成了重大瓶颈，因为数据整理和标注的成本与时间对于需要快速部署的应用来说往往难以承受。

自然灾害后的快速损毁评估是一个典型的挑战案例。在五级飓风等事件发生后，响应团队需要立即获得可操作的情报，以便优先分配资源。传统监督学习方法的局限性已有充分记载[14 (https://arxiv.org/html/2607.12177#bib.bib14)]。为此类任务进行数据整理和标注可能需要数天甚至数周，这在危机时期是难以接受的。为突破这一瓶颈，研究表明，半监督学习可以通过仅使用特定地理区域的一小部分标注数据来取得优异性能，从而缓解这一挑战[14 (https://arxiv.org/html/2607.12177#bib.bib14)]。

虽然半监督学习减少了危机期间的标注负担，但本文探讨了一种新兴范式：地理空间基础模型（GeoFM），它将该原则进一步推进。GeoFM不是在单个受灾区域被动收集的未标注数据集上训练模型，而是主动在全球范围内进行预训练，以供通用用途。GeoFM是一种AI/ML模型，在海量、多样化的全球地理空间数据语料上进行预训练，随后可被适配（微调或提示）以执行多种下游地理空间任务。这种预训练的全局知识意味着，当新危机发生时，GeoFM无需从头开始，从而在适配过程中实现更高的数据效率。

这种主动式方法带来了GeoFM范式最重要的贡献：职责分离。计算密集的通用预训练由拥有足够资源的大型组织执行，使用未标注或弱标注数据，无需访问下游任务特定信息。领域专家随后可使用自己少量的专有标签进行任务特定适配，确保其敏感数据和用例的安全性与机密性。这种范式在保障下游任务安全性和机密性的同时，推动了尖端AI/ML技术在应用地理空间影像社区的普及。

本文聚焦于基于俯视影像的GeoFM，即用于处理卫星和机载向下视角影像的模型。我们将首先定义GeoFM的两种主要预训练策略：自监督学习和对比学习。然后，我们将考察这些不同预训练策略所解锁的新能力。接着，我们将涵盖将这些模型投入实际应用的具体方面。最后，我们将展望未来：智能体地理空间推理，其中多模态大型语言模型充当智能编排器，利用GeoFM作为工具，直接根据自然语言提示自动化复杂的分析工作流程。

## 2 地理空间基础模型范式

基于影像的GeoFM通常采用视觉变换器架构[8 (https://arxiv.org/html/2607.12177#bib.bib8)]，其自注意力机制特别适合建模卫星和航空影像固有的长程空间依赖关系。这些模型在精心挑选的、涵盖不同地理区域、季节和一天中不同时间的大规模数据集上进行预训练，旨在构建地球表面的全面表征。基础模型范式的核心创新在于其两阶段生命周期：通用预训练阶段，然后是任务特定适配阶段。预训练策略从根本上决定了模型的能力。目前出现了两种主导方法：用于视觉模型的自监督预训练，以及用于视觉-语言模型的弱标注对比预训练。

### 2.1 预训练策略1：视觉模型的自监督学习

第一种方法专注于仅从图像中学习稳健的视觉特征，通常使用掩码自编码（MAE）[11 (https://arxiv.org/html/2607.12177#bib.bib11)]等自监督学习方法。模型由一个主干（编码器）和一个临时头部（解码器）组成。它通过端到端训练来执行一个前置任务：根据图像中剩余的可见补丁重建随机掩码的补丁（图1 (https://arxiv.org/html/2607.12177#S2.F1)，左图）。这种预训练过程由像素级重建损失驱动，不需要人工提供的标签，迫使主干将图像中的可见信息压缩成一个强大的通用特征表示（嵌入），然后头部利用该表示完成重建。

虽然重建任务是预训练的机制，但最终的主干才是开发者的目标。一旦预训练完成，临时重建头部被丢弃，留下一个强大的、预训练好的主干，可用于下游应用。用户可以随后将一个全新的任务特定头部附加到预训练主干上，并使用小型标注数据集通过监督学习进行微调（图1 (https://arxiv.org/html/2607.12177#S2.F1)，右图）。这种高效的工作流程是基础模型范式的核心承诺。

参见图注图1：视觉地理空间基础模型的两阶段生命周期。（左图）自监督预训练阶段，模型主干通过在临时头部的帮助下重建掩码补丁，学习提取强大的嵌入。（右图）监督微调阶段，使用预训练的主干，丢弃其临时重建头部，并在小型标注数据集上训练新的任务特定头部。
### 2.2 预训练策略2：视觉-语言模型的对比学习

第二种主导的预训练方法侧重于将视觉特征与人类语言对齐。这是通过在（图像、文本描述）对的大规模弱监督数据集上应用对比学习技术（例如CLIP[17 (https://arxiv.org/html/2607.12177#bib.bib17)]、SigLIP[26 (https://arxiv.org/html/2607.12177#bib.bib26)]）来实现的。在预训练过程中，模型学习将图像及其对应的文本描述（弱标签）映射到共享的嵌入空间。训练目标是最大化正确配对的嵌入相似度（例如余弦相似度），同时最小化批次内错误配对的相似度。

这种预训练过程创建了一个理解视觉内容与文本之间语义关系的模型。正是这种视觉-语言对齐，使得强大的零样本能力成为可能，例如开放词汇图像分析，模型可以泛化到预训练期间未见过的概念。因此，直接提示是这些对比训练所得GeoFM的主要应用模式。

### 2.3 总体优势：职责分离

无论采用何种预训练策略，职责分离仍然是GeoFM范式的一个关键优势。工业研究实验室和其他大规模模型提供商可以承担预训练的巨额计算成本，从而使更广泛的社区能够实现最先进的性能。领域专家可以微调视觉模型，将学习到的嵌入有效迁移到新任务，或者直接提示视觉-语言模型进行强大的零样本分析。

具体来说，职责分离为领域专家提供了两大优势：

- •安全性和机密性：由于预训练可以使用未标注或弱标注数据完成，预训练GeoFM的大型组织无需访问领域专家的专有标签或用例，从而确保了其敏感任务的安全性和机密性。
- •减少标注资源：虽然微调GeoFM仍然需要标注数据集，但所需的数据集规模通常远小于从头训练定制模型所需的数据量。这大大降低了数据整理和标注的成本与时间，使最先进的性能更易获得。

### 2.4 现有地理空间基础模型概览

GeoFM是一个快速发展的领域，拥有充满活力的生态系统，包括来自工业界和学术界研究团队的知名模型。值得注意的早期模型包括斯坦福大学的SatMAE[7 (https://arxiv.org/html/2607.12177#bib.bib7),23 (https://arxiv.org/html/2607.12177#bib.bib23)]，它开创性地将MAE概念专门适配到地理空间数据。它引入了新颖的时间和光谱位置编码，以有效地在Sentinel-2卫星的10m-60m分辨率、多光谱、时间序列影像上预训练变换器主干。

随后的研究侧重于改进MAE框架处理遥感数据尺度变化的能力，即同一对象类型可能因影像来源不同而以截然不同的分辨率出现。ScaleMAE[18 (https://arxiv.org/html/2607.12177#bib.bib18),2 (https://arxiv.org/html/2607.12177#bib.bib2)]通过引入基于图像地面采样距离（GSD）的尺度感知位置编码，以及一种新颖的解码器，以多尺度重建图像来显式学习多尺度特征，从而解决这一挑战。最近，Cross-Scale MAE[25 (https://arxiv.org/html/2607.12177#bib.bib25),1 (https://arxiv.org/html/2607.12177#bib.bib1)]提出了一种替代方法：在预训练期间使用尺度增强，并通过对比和生成（重建）损失强制执行跨尺度一致性，从而消除对已知GSD元数据的依赖。

另一个近期方法是构建更全面、原生地理空间的模型。由IBM和NASA开发的Prithvi-EO-2.0[24 (https://arxiv.org/html/2607.12177#bib.bib24),13 (https://arxiv.org/html/2607.12177#bib.bib13),16 (https://arxiv.org/html/2607.12177#bib.bib16)]是一个基于MAE的模型，在30m分辨率的全球HLS（协调Landsat和Sentinel-2）影像数据集上进行预训练，明确地将时间和位置数据纳入其嵌入中，以增强对地观测任务的性能。类似地，Clay[6 (https://arxiv.org/html/2607.12177#bib.bib6)]也是一个基于MAE的模型，设计用于接受各种不同分辨率和光谱波段的传感器数据，以及时间和位置数据。

还有一种方法是利用大规模的非地理空间数据集。Meta的DINOv3[21 (https://arxiv.org/html/2607.12177#bib.bib21),9 (https://arxiv.org/html/2607.12177#bib.bib9)]是一个通用视觉模型，在数十亿网络图像上使用自蒸馏（一种判别式SSL方法）进行预训练。它在密集的地理空间任务（如分割）上展示了卓越的迁移学习性能。它的成功证明了从自然图像中学到的特征，在足够规模下，可以有效泛化到俯视视角。作者还通过在Maxar高分辨率（0.6m）卫星影像上从头训练一个独立的DINOv3模型，展示了其预训练方案的通用性，其性能优于许多领域特定模型。

最后，一些模型旨在产生一种新型数据产品：通用的、可供分析的“嵌入场”。谷歌DeepMind的AlphaEarth Foundations[5 (https://arxiv.org/html/2607.12177#bib.bib5),10 (https://arxiv.org/html/2607.12177#bib.bib10)]就是例证。它采用多损失训练策略，结合重建、自蒸馏和文本对比目标，将多模态输入（光学、雷达、LiDAR、文本、气候数据）处理成时间连续的表征。最终产品不是一个可以用新影像微调或提示的模型，而是一个全球10m分辨率的嵌入数据集，可直接在Google Earth Engine中获取，旨在作为各种映射任务的通用特征空间。这与Google Research的Remote Sensing Foundations（RSF）模型不同，后者是在高分辨率（0.1m-10m）影像上预训练的视觉和视觉-语言变换器，可以在用户的新影像上进行微调或提示[3 (https://arxiv.org/html/2607.12177#bib.bib3),15 (https://arxiv.org/html/2607.12177#bib.bib15),19 (https://arxiv.org/html/2607.12177#bib.bib19)]。视觉和视觉-语言RSF模型分别使用MAE和对比学习进行预训练，随后对选定的下游任务进行监督学习。AlphaEarth Foundations嵌入和Remote Sensing Foundations模型都是Google Earth AI[4 (https://arxiv.org/html/2607.12177#bib.bib4)]的关键组成部分。

表1 (https://arxiv.org/html/2607.12177#S2.T1)提供了所有这些模型的比较总结，展示了多样化的格局以及一个健康且快速发展的领域。虽然在架构方