现在我们知道了吗？TerraMind与THOR的系统比较

# 现在我们知道了吗？TerraMind 与 THOR 的系统性比较
来源：https://arxiv.org/html/2607.18504

Frederick Schindlegger¹˒²∗，Kenzo Bounegta²˒³∗，Eva Gmelich Meijling²，Johannes Jakubik⁴，Arnt-Børre Salberg⁵，Theodor Forgaard⁵，Nicolas Longepe²，Valerio Marsocci²

¹德国明斯特大学，明斯特，德国  
²欧洲空间局φ实验室，ESRIN，弗拉斯卡蒂，意大利  
³Rubicon，巴黎，法国  
⁴IBM Research，苏黎世，瑞士  
⁵挪威计算中心，奥斯陆，挪威  
∗同等贡献。

###### 摘要
地理空间基础模型（GFM）的基准测试越来越倾向于通过总分进行排名，但这种排名掩盖了模型之间*为何*存在差异：差距有多大归因于架构、解码器容量，又有多少是特定用例的人为产物？本研究通过对比欧洲空间局φ实验室资助、具有截然不同设计理念的两个GFM来弥补这一空白：THOR，它引入了一种计算自适应架构，支持可变补丁大小，并将哨兵-1、-2和-3数据统一到其原生分辨率下；以及TerraMind，一种多模态生成式GFM，采用双尺度标记/像素目标进行预训练，实现了任意到任意跨模态生成（思考模态），从而在推理时推断缺失的传感器。我们并非给出单一排行榜，而是探究这两个架构实际差异的维度——补丁大小、解码器复杂度、微调方案、输入模态及模型规模——涵盖十个跨越不同领域的用例，包括语义分割和回归任务，涉及气候灾害响应、甲烷泄漏检测、积雪监测或海冰制图。我们发现，架构设计选择——特别是补丁大小和解码器类型——对性能差异的解释程度高于模型身份本身；这两个模型体现了互补的投资策略（TerraMind侧重预训练规模，THOR侧重推理时标记化）；并且正确解读结果需要对数据集进行特征描述。最终呈现的图景并非单一胜者，而是一组假设和一套诊断性消融方法，我们预计该方法将适用于THOR和TerraMind之外的未来GFM。

关键词：地理空间基础模型，ViT，THOR，TerraMind，微调，地球观测

## 1 引言
随着地球观测（EO）数据档案每年以拍字节级规模扩展，如何从这些庞大且异质的数据集中提取有意义信息仍是主要瓶颈。机器学习为EO分析提供了强大工具，当标注数据匮乏时，任务特定的监督模型可实现较高精度。然而，其性能在应用于训练领域之外时往往会下降，这给跨传感器、分辨率和地理区域的泛化带来了挑战。地理空间基础模型（GFM）应运而生，成为一种有前景的解决方案。通过在大量无标注、多传感器数据集上预训练，GFM旨在生成通用表示，有效迁移至广泛的下游任务。过去三年中，GFM的数量大幅增长。显著例子包括Prithvi系列[35](https://arxiv.org/html/2607.18504#bib.bib3)、Olmo-Earth[20](https://arxiv.org/html/2607.18504#bib.bib4)，以及不断扩展的地球嵌入模型类别，如AlphaEarth[7](https://arxiv.org/html/2607.18504#bib.bib44)。尽管取得进展，仍存在空白，特别是在跨模型彻底比较以及理解架构设计选择如何影响实际性能方面。对于EO从业者而言，模型在空间和时间上泛化至训练分布之外的能力至关重要。基础模型必须支持多样化输入模态，在操作条件下保持稳健性，并证明其在精心设计的基准任务之外的价值。为满足这些需求，欧洲空间局（ESA）通过φ实验室资助了两项互补的GFM计划。THOR[14](https://arxiv.org/html/2607.18504#bib.bib2)引入了一种视觉变换器（ViT）架构，支持推理时可变补丁大小，无需重新训练即可在计算成本与特征分辨率之间进行动态权衡。它是首个在单一模型内以原生分辨率（10 m–1 km）统一哥白尼哨兵-1（SAR）、哨兵-2（多光谱）和哨兵-3（OLCI/SLSTR）数据的GFM，并在新的22 TB多传感器数据集上预训练。TerraMind[22](https://arxiv.org/html/2607.18504#bib.bib1)是一种多模态生成模型，在来自TerraMesh数据集[3](https://arxiv.org/html/2607.18504#bib.bib17)的5000亿标记上预训练，该数据集包括哨兵-1 SAR影像、哨兵-2光学影像、土地利用/土地覆盖（LULC）图、归一化植被指数（NDVI）图、数字高程模型（DEM）、地理坐标和自然语言描述。其双尺度变换器编码器-解码器同时捕捉标记级上下文和像素级空间细节，并引入了思考模态（TiM）机制，使得在微调和推理时能够将缺失模态的生成作为中间推理步骤。这两个模型展现了截然不同的设计理念。THOR强调计算适应性和异质传感器集成，旨在实现数据有限场景和轻量级解码器使用。TerraMind优先考虑丰富的跨模态表示和生成能力，能够插补缺失的输入模态。本文系统评估了这些权衡。

现有的GFM基准测试非常适合回答*哪个模型排名最高*，但极不适合回答*为什么*。聚合排行榜对精心策划的任务集进行平均得分，这混淆了预训练骨干网络、解码器、微调策略和空间标记化方案的贡献，并且对于观察到的差距是反映真正的架构优势还是数据集特定的人为产物，提供的指导很少。THOR和TerraMind特别适合弥合这一差距，因为它们在共享资助计划和共享评估框架（TerraTorch[16](https://arxiv.org/html/2607.18504#bib.bib18)）下实例化了两种故意对比的设计理念。将这对模型视为受控的自然实验，使得能够将性能差异归因于具体、可命名的设计轴，并询问这些轴中哪些可能在更普遍的GFM中至关重要。本文的贡献有四点。

1. 我们在两个架构对比鲜明的GFM和十个涵盖不同领域的EO用例上进行了大规模受控消融研究。
2. 我们引入了一种诊断方法，隔离架构部署选择的边际贡献。
3. 我们表明，正确解读消融结果需要对用例进行特征描述，且这种特征描述是严格GFM基准测试的必要组成部分，而非预处理细节。
4. 我们将所得模式提炼为假设，预计这些假设将适用于THOR和TerraMind之外的基于ViT的GFM，同时为选择GFM架构的EO从业者提供实际部署指导。

表1：THOR与TerraMind的架构与操作对比

## 2 相关工作

### 2.1 地理空间基础模型
基础模型概念由Bommasani等人[4](https://arxiv.org/html/2607.18504#bib.bib22)正式提出，约在2022年通过单模态自监督学习（SSL）GFM适应于EO。出现了两种主流的计算机视觉SSL范式：对比学习[19](https://arxiv.org/html/2607.18504#bib.bib26), [8](https://arxiv.org/html/2607.18504#bib.bib27)用于对齐增强视图，以及掩码图像建模（MIM）——包括掩码自编码器（MAE）[18](https://arxiv.org/html/2607.18504#bib.bib28)——用于重建掩码补丁。这两种范式通常基于ViT骨干网络。EO特定的SSL将这些概念扩展到多光谱/时间维度（例如，SatMAE[9](https://arxiv.org/html/2607.18504#bib.bib29)）和可变空间分辨率（例如，Scale-MAE[33](https://arxiv.org/html/2607.18504#bib.bib30)）。然而，这些早期方法仍局限于单传感器或固定光谱配置。

为克服这些局限，涌现了第二波多模态GFM。CROMA[15](https://arxiv.org/html/2607.18504#bib.bib34)使用对比雷达-光学目标融合了哨兵-1和哨兵-2数据。DOFA[40](https://arxiv.org/html/2607.18504#bib.bib35)引入了波长条件层用于任意光谱投影，能够在单一模型中处理多光谱、高光谱或SAR输入。MMEarth[31](https://arxiv.org/html/2607.18504#bib.bib36)对齐了共定位的多模态观测，证明了预训练数据多样性与架构扩展同等重要。AnySat[1](https://arxiv.org/html/2607.18504#bib.bib37)实现了跨任意空间和光谱GSD的完全灵活性，而HyperSIGMA[36](https://arxiv.org/html/2607.18504#bib.bib38)为连续高光谱波段引入了专门的空间-光谱融合模块。同时，Prithvi系列[21](https://arxiv.org/html/2607.18504#bib.bib16)将MAE扩展到HLS时间序列，后来由Prithvi-EO-2.0[35](https://arxiv.org/html/2607.18504#bib.bib3)将其扩展到更广泛的传感器和地理区域。

**计算自适应标记化。** 与光谱适应性不同，有一条独特的研究路线针对空间粒度。FlexiViT[2](https://arxiv.org/html/2607.18504#bib.bib13)证明了单一ViT骨干网络可以在推理时以可变补丁大小运行，事后在计算与局部分辨率之间进行权衡。OlmoEarth[20](https://arxiv.org/html/2607.18504#bib.bib4)在开放、可审计的工作流中实现了计算自适应处理。THOR[14](https://arxiv.org/html/2607.18504#bib.bib2)代表了这条路线在EO中最完整的实例化，将FlexiViT风格的补丁划分与GSD感知位置编码相结合，原生统一了哨兵-1、-2和-3各自的原生分辨率。

**生成式GFM。** 或者，生成式预训练已从专注于RGB的扩散模型（如DiffusionSat[25](https://arxiv.org/html/2607.18504#bib.bib39)）发展到多模态生成系统[11](https://arxiv.org/html/2607.18504#bib.bib40)。生成式去噪的特征已被证明在密集预测下游任务上可与标准SSL编码器相媲美[23](https://arxiv.org/html/2607.18504#bib.bib41)。TerraMind[22](https://arxiv.org/html/2607.18504#bib.bib1)是该领域首屈一指的生成式GFM，在5000亿标记上跨八种模态使用双尺度标记/像素目标进行训练。它利用TiM在推理时动态合成缺失的输入或辅助层。

**视觉-语言模型。** 视觉-语言模型如RemoteCLIP[27](https://arxiv.org/html/2607.18504#bib.bib42)和GeoRSCLIP[41](https://arxiv.org/html/2607.18504#bib.bib43)旨在将自然语言和元数据集成到统一的多模态空间中。

**嵌入模型。** 同时，解耦的嵌入架构如AlphaEarth[7](https://arxiv.org/html/2607.18504#bib.bib44)和TESSERA[13](https://arxiv.org/html/2607.18504#bib.bib45)完全绕过下游任务特定训练，直接在EO平台上提供预计算的像素级空间-时间嵌入。

### 2.2 GFM基准测试
GFM的快速增长需要严格的基准测试。GEO-Bench[26](https://arxiv.org/html/2607.18504#bib.bib25)启动了对任务特定基线的多任务评估，而PANGAEA[29](https://arxiv.org/html/2607.18504#bib.bib7)建立了使用固定解码器和超参数的标准化协议，以隔离表示质量。自那以后，专门化基准测试针对不同的能力维度：MMEarth-Bench[17](https://arxiv.org/html/2607.18504#bib.bib24)探索成对数据集上的跨模态迁移，GEO-Bench-2评估跨19个数据集的细粒度能力。领域特定套件也已出现，例如用于森林监测的FoMo-Bench[6](https://arxiv.org/html/2607.18504#bib.bib47)和用于冰冻圈制图的Cryo-Bench[24](https://arxiv.org/html/2607.18504#bib.bib48)，表明领域转移会极大改变GFM排名。如今，TerraTorch[16](https://arxiv.org/html/2607.18504#bib.bib18)提供了一个统一、开放的框架，标准化GFM微调和评估，作为本研究的核心环境。

这些努力对于建立共享评估规范和提供跨模型的聚合排名发挥了重要作用，但它们旨在回答*排名*问题——哪个模型在精心策划的任务套件上获得最高平均分——而不是*归因*问题：给定模型间观察到的性能差距，有多少归因于骨干网络的预训练目标、有多少归因于与之配对的解码器、有多少归因于空间标记化方案、又有多少归因于用于评估的特定数据集的特性？由于聚合排名隐式固定了这些因素（通常为每个模型指定单一解码器和单一输入分辨率，如PANGAEA协议），因此无法分离它们，报告的排名因此依赖于协议，而这种依赖性很少被明确说明。这在实际中很重要：Cryo-Bench和MMEarth-Bench已经表明，当从通用评估转向领域特定或跨模态评估时，GFM排名会发生显著变化——这证明聚合排名所捕捉的并非模型稳定、可迁移的属性，而是模型、解码器、任务和数据集之间的交互。因此，回答*什么驱动性能*需要一种与回答*哪个模型获胜*不同的评估设计：将架构和训练配置选择视为要研究的独立变量，并将这种消融与数据集层面的审视相结合。受此需求驱动，我们跨两个架构对比的模型进行了大量受控实验，系统性地改变补丁大小、解码器复杂度、骨干网络适应方案和输入模态，使用THOR和TerraMind作为提出归因问题的受控对。

## 3 用例
本研究涵盖十个用例，源自两个ESA联盟——FAST-EO（TerraMind）和FM4CS（THOR）——各五个用例，涵盖语义分割、回归、目标检测和变化检测。表2（https://arxiv.org/html/2607.18504#S3.T2）概述了基准数据集及其在传感模态、空间分辨率、输入配置和预测目标上的多样性。数据集更多细节见附录A（https://arxiv.org/html/2607.18504#A1）。由于其不同目标，两个联盟贡献的用例是互补的。FAST-EO的用例包括知名的经典基准数据集，具有结合遥感产品与辅助数据的多模态设置，覆盖全球和多样化领域，但所有五个都是语义分割的变体。相比之下，FM4CS的用例针对新颖且研究较少的问题，特别关注北极领域并更强调SAR数据；它们还包含哨兵-3（S3）数据，这是GFM中不太成熟的模态，并涵盖更多样化的任务类型，包括回归和分割。这两组用例共同...