地球嵌入中有什么？位置编码器的可解释性分析

# 地球嵌入中究竟有什么？位置编码器的可解释性分析  
来源：https://arxiv.org/html/2606.24997  
Livia Betti¹,∗ Sebastian Ricke¹,∗ Ivica Obadic²,³,∗ Adam J. Stewart² Esther Rolf¹  
¹科罗拉多大学博尔德分校 ²慕尼黑工业大学 ³慕尼黑机器学习中心  
∗同等贡献  

###### 摘要  
地理隐式神经表示（INRs）学习将地球上的任意坐标映射为位置嵌入，从而将地理空间数据隐式编码到神经网络的权重中。位置嵌入常被作为通用地理空间表示直接使用，但用户缺乏原则性工具来审计这些嵌入捕获了哪些地理或语义信息。在这项工作中，我们通过位置嵌入分析地理INR的信息内容。我们将这些嵌入分解为人类可解释的特征——即 (i) 稀疏潜在概念、(ii) 自然语言概念和 (iii) 视觉特征。潜在概念嵌入通过稀疏自编码器学习。为了恢复自然语言概念，我们在预定义的地理空间词典上应用稀疏线性概念嵌入（SpLiCE）。最后，视觉特征通过基于CLIP Surgery生成的显著性图提取。我们证明，位置嵌入可以在保持高重构能力的同时分解为人类可解释的表示，揭示森林、沙漠和城市特征等可解释的地理结构。跨方法来看，稀疏分解揭示了编码信息中的系统性差异，范围从城市结构到更广泛的生物群落和气候信号，而预训练空间的显著性图进一步突出了道路和地标等互补特征。我们希望这项工作为可解释的地理空间表示迈出第一步。  

## 1 引言  
地理空间数据档案庞大且不断增长，包括遥感图像、气象测量和地理标记的社交媒体帖子[58]。这些数据在空间和时间上的可用性使得一系列任务成为可能，例如天气预报[27]、树冠制图[51]和灾难响应[22]。海量的地理空间数据——通常被视为缺乏资源者的进入障碍——促使人们使用机器学习来开发紧凑、通用的地理空间表示，称为地球嵌入。这些表示可以直接从地球观测数据中学习，也可以通过地理隐式神经表示（INRs）间接学习[26]。在这项工作中，我们专注于地理INR，它将地理空间数据编码在称为位置编码器的神经网络权重中，该网络将地理坐标（纬度、经度）映射到称为位置嵌入的表示[35, 26]。位置嵌入作为给定位置地理空间信息的简洁表示，越来越多地用于下游地理空间任务，如温度制图[25]、空气质量预测[55]以及物种存在与识别[10]。  

然而，位置嵌入的信息内容特别难以解释，因为这些嵌入不对应于单个输入图像，而是对应于特定的纬度/经度坐标，目前没有原则性的方法来确定这些表示编码了什么信息。遥感领域的可解释性研究主要集中在传统的监督图像模型上，而地理INR尚未得到充分探索，尽管训练此类架构存在根本差异。对于地理INR，评估嵌入质量的主要方法依赖于基准任务的预测性能，这并未解决位置嵌入为何表现良好、或在未见预测任务上何时可能失败的问题。例如，在贫困制图等应用中，尚不清楚来自地球嵌入的预测是使用有意义的贫困指标，还是依赖于更可预测的代理变量（如基础设施），后者在卫星图像中更容易观察到[2]。为了解决这一模糊性，我们需要更直接的方法来询问位置嵌入包含哪些信息。  

我们旨在通过将位置嵌入分解为人类可解释的特征来解释其信息内容，提供三个视角：1) 潜在概念、2) 自然语言概念和3) 视觉特征（图1）。我们首先使用稀疏字典学习方法提取潜在概念，发现所得的稀疏分解能够区分地理概念，同时可靠地重构原始位置嵌入（第3节）。然后我们将这些解释扩展到在对齐的位置-文本空间中使用自然语言概念。定性分析强调某些位置编码器的细粒度城市信号，以及其他编码器的气候或生物群落等广泛地理属性（第4节）。最后，我们通过使用显著性图检查从训练数据中学习到的视觉特征，突出自然图像与卫星图像之间注意力的差异（第5节）。综上所述，这三种可解释性方法提供了互补但一致的解释，说明位置嵌入中包含的信息类型。我们在第6节中讨论当前可应用于理解地球嵌入和位置编码器的可解释性方法现状，以及未来工作应解决的空白。  

图1：我们为地理INR提出的分解框架概述。地理INR将坐标输入映射到位置嵌入（顶部）。我们旨在通过三种互补的可解释性方法（底部）解释预训练的位置编码器：稀疏潜在概念、文本分解和特征属性。  

## 2 相关工作  
我们将工作置于地理INR和可解释性文献中。对于可解释性方法，我们将更深入地讨论与本文最相关的方法。  

### 2.1 位置编码器与位置嵌入  
位置编码器既充当模型，也是一个紧凑、可查询的地理空间信息数据库[26]。位置编码器通常将纬度-经度坐标传递给位置编码，然后经过一个（小型）神经网络[35]。现有的位置编码器利用了各种位置编码，包括正弦编码（例如SINR和Climplicit[34, 10, 13]）、随机傅立叶特征（RFF）（例如GeoCLIP[54]）以及球谐基函数（例如SatCLIP[45, 25]）。位置编码器之后常用的神经网络包括前馈MLP、SIREN[48]或RESIREN[13]架构。  

### 2.2 地理空间机器学习的可解释性方法  
机器学习方法在地理空间数据分析中的日益普及，促使人们对解释地理空间ML模型产生越来越浓厚的兴趣[19]。基于图像的地理空间模型的常见解释方法包括类激活映射（CAM）[57]和Grad-CAM[46]、局部可解释模型无关解释（LIME）[44]、SHapley Additive exPlanations（SHAP）[33]以及注意力机制的使用[3, 53]。除了基于图像的模型，Jia等人[23]将概念瓶颈模型集成到可解释的地理定位模型中。虽然基于图像的遥感模型和地理定位框架在可解释性研究中受到了一些关注，但地理INR及其产生的位置嵌入在这一方面仍然很大程度上未被探索。最近的一些工作开始研究像素级地球嵌入的信息，例如Google的AlphaEarth Foundations（AEF）[6]。Benavides-Martinez等人[4]应用特征选择方法分析单个嵌入维度的贡献。除了AEF，Rao等人[43]研究了各种地理INR的内在维度，提出将其作为它们包含信息量的定量度量，但并未审计所表示的信息是什么。我们的工作旨在填补这些先前研究留下的空白，通过更详细地理解地理INR中编码的信息类型。  

### 2.3 通用可解释性方法  
##### 稀疏自编码器。  
最近在稀疏字典学习方面的工作旨在通过向量表示中编码的潜在概念提供解释[47]。这些方法使用稀疏自编码器（SAE）来学习神经激活中的一组相关概念。具体来说，SAE在稀疏性约束下将嵌入投影到更高维空间，从而鼓励分离原始嵌入空间中纠缠的特征。SAE已成功用于识别大型语言模型[21]和视觉-语言模型[40]中的可解释、单语义特征，但据我们所知，尚未用于揭示位置嵌入中的结构。评估这些基于SAE的可解释性方法通常涉及人工检查。Pach等人[40]还提出了一种衡量视觉任务上SAE激活单语义性的指标，使用激活给定神经元的图像之间的相似性。  

##### 自然语言解释。  
与稀疏字典学习不同，各种方法旨在将表示分解为预定义的自然语言概念。例如，Hernandez等人[18]提出寻找与输入互信息最大化的自然语言概念。其他方法依赖于CLIP对齐的图像-文本空间，提出诸如将嵌入对齐到CLIP空间[38]或使用CLIP解剖神经网络[39]的技术。在这项工作中，我们利用了一种最近的方法，该方法假设CLIP对齐的图像-文本空间中的表示可以表示为单概念文本嵌入的线性函数[5]。基于这一假设，稀疏线性概念嵌入（SpLiCE）将CLIP图像表示为预定义文本概念词典的稀疏线性组合[5]。  

##### 特征归因与显著性图。  
地理INR可解释性的一个关键方面是理解预训练数据——通常是地理参考的自然或遥感图像——如何对生成的位置嵌入做出贡献。显著性图识别图像中对模型预测影响最强的区域。梯度加权类激活映射（Grad-CAM）[46]通过计算类别分数的梯度来实现，并且已有扩展到嵌入模型的方法[8]。由于大多数现有的位置编码器是使用CLIP风格的损失训练的，我们利用特定于CLIP的方法。CLIP模型上的Grad-CAM已被证明会产生误导或不令人满意的结果，例如突出背景元素和噪声激活[29, 30]。ECLIP[29]提出使用掩码最大池化来避免这种语义偏移，但它需要额外的对齐步骤，限制了适用性。我们使用CLIP Surgery[30]，它修改了CLIP训练模型的推理架构以解决这些可视化缺点，无需微调即可产生更好的定性结果。  

## 3 无监督发现稀疏概念  
为了揭示位置嵌入中的相关概念，我们的第一个可解释性分析使用稀疏字典学习将这些嵌入分解为人类可解释的特征。基于先前工作[21, 40]，我们使用稀疏自编码器（SAE）学习一个稀疏概念词典，使得能够准确重构位置嵌入。稀疏性目标通过确保只有少量自编码器神经元被激活以实现准确重构，从而促进可解释性。将这些神经元的语义揭示为人类可解释的概念，可以揭示位置嵌入中存在的结构。在我们的分析中，我们使用了BatchTopK SAE[7]方法，该方法常用于解释大型语言模型和视觉-语言模型[40]。此方法