MABLE：用于嵌入和图度量学习的双Lipschitz解码掩码自编码

# MABLE：使用双Lipschitz解码的掩码自编码用于嵌入和图度量学习 来源：https://arxiv.org/html/2607.02990 Yaniv Shulman通讯作者：yaniv@shulman\.info (https://arxiv.org/html/2607.02990v1/mailto:[email protected])。本工作完成时Yaniv Shulman任职于Fleet Space Technologies。Fleet Space Technologies, 澳大利亚阿德莱德 https://www.fleet.space/Shaghayegh AkbarpourJack B\. Muirjack\.muir@fleet\.spaceFleet Space Technologies, 澳大利亚阿德莱德 https://www.fleet.space/澳大利亚国立大学地球科学研究院, 澳大利亚阿克顿 ###### 摘要 我们提出MABLE（用于嵌入和图度量学习的双Lipschitz解码掩码自编码），一个用于从大型异构图学习节点和图嵌入的自监督框架，并在地理空间矿产勘探数据上进行了演示。MABLE将掩码重建与固定的余弦相似度损失相结合，这种损失能够对齐匹配的增强视图，同时保持未配对嵌入的良好散开。一个双Lipschitz特征解码器将每个节点嵌入的低维重建组件与特征相似性联系起来，而匹配节点一致性则塑造图池化所使用的剩余上下文。Lipschitz控制的池化有助于在保留节点嵌入受到扰动时稳定图级表示，而增强对齐则训练了对掩码、节点丢弃和采样变化的鲁棒性。在局部铜矿和区域阿拉伯地盾研究中，MABLE嵌入提供了互补的下游信号，并生成连贯的嵌入派生图层，用于假设生成，无需学习判别器或硬负样本选择。 ## 1 引言 最近自监督学习的进展推动了基础模型的发展，领域涵盖计算机视觉\He等人，[2022 (https://arxiv.org/html/2607.02990#bib.bib6)\] 到地理空间分析\Daruna等人，[2024 (https://arxiv.org/html/2607.02990#bib.bib5)\]，其中诸如遥远区域的语义相似性搜索或矿产远景填图等任务需要稳健的分布式数据表示。特别是，*掩码自编码器*（MAE）和*对比*方法已成为两个突出范式。MAE从部分观察的输入中重建缺失内容，从而学习局部语义\He等人，[2022 (https://arxiv.org/html/2607.02990#bib.bib6), Li等人，2023 (https://arxiv.org/html/2607.02990#bib.bib2), Zhang等人，2022 (https://arxiv.org/html/2607.02990#bib.bib1), Hou等人，2022 (https://arxiv.org/html/2607.02990#bib.bib26), 2023 (https://arxiv.org/html/2607.02990#bib.bib27)\]，而对比方法则推开“不相关”样本以避免表示崩溃\van den Oord等人，[2018 (https://arxiv.org/html/2607.02990#bib.bib7), Chen等人，2020 (https://arxiv.org/html/2607.02990#bib.bib8)\]。最近研究表明，普通MAE仍可能在特征空间中遭受部分维度崩溃；因此，添加*均匀性或排斥项*可以使不同样本的嵌入分散开来\Zhang等人，[2022 (https://arxiv.org/html/2607.02990#bib.bib1)\]。在地理空间应用中，数据通常地理分布不均匀，当绝对位置作为输入特征提供时，如果控制不当，它可能虚假地主导学习到的表示\Wu等人，[2024 (https://arxiv.org/html/2607.02990#bib.bib11)\]。我们的工作在*图*上*统一*了掩码重建和度量学习于一个单一的端到端框架中。在这里，度量学习是指学习一种嵌入几何，其中距离或余弦相似度反映有用的节点和图级关系，使用自监督目标而非监督对或三元组标签。为了避免琐碎的地理空间捷径，我们从输入特征中排除绝对/全局位置信号，仅从观察到的特征、相对位置和图结构学习表示。具体来说，我们鼓励每个节点的潜在特征表示在重建相关组件中准确重建其掩码特征（*正对齐*原则）；在增强视图中保持匹配节点的一致性（*跨视图节点对应*原则，在互补的上下文组件中）；相对于批次中的其他采样节点保持良好分散（*节点均匀性*概念），以及相对于完全不同的图保持良好分散（*图均匀性*概念）。我们对特征解码器（作用于低维重建组件）施加*双Lipschitz*连续性约束，使得准确重建鼓励在该重建子空间中的邻近性，并且我们采用*Lipschitz*池化算子，特别是自适应softmax注意力池化机制（§2.4 (https://arxiv.org/html/2607.02990#S2.SS4)），以将节点嵌入聚合为稳健的图级表示。这些Lipschitz连续的聚合器确保节点嵌入的微小局部扰动会在结果图嵌入中产生成比例的有界偏移，尽管它们通常不承认下Lipschitz界或保证语义分离。我们的框架采用受\HaoChen等人，[2021 (https://arxiv.org/html/2607.02990#bib.bib9)\]的谱对比损失（SCL）启发的归一化/余弦对比损失项。由于MABLE使用余弦相似度而非无约束的原始内积，因此产生的固定余弦代理消除了尺度歧义，并在有界性、近似对称性和小方差假设下允许启发式的二阶Donsker–Varadhan (DV)风格解释（详见附录A.3 (https://arxiv.org/html/2607.02990#A1.SS3)）。我们使用固定的平方相似度代理代替学习的判别器和InfoNCE对数softmax\van den Oord等人，[2018 (https://arxiv.org/html/2607.02990#bib.bib7)\]，并引入两个关键进展：首先，我们对解码器施加谱约束，限制其奇异值以强制执行上下Lipschitz连续性，从而使得小的重建误差鼓励在重建子空间中的邻近性。其次，我们将该代理嵌入掩码自编码器中，并同时应用于节点和图尺度，同时还在节点嵌入的上下文组件中跨增强视图添加显式的节点级对应目标，所有这些都无需显式的硬负样本选择，这对于地理空间数据至关重要，因为“负样本”仍可能在语义上相关。 ## 2 统一的端到端框架 我们的掩码图预训练流程在一次处理中解决三个挑战：(i) 通过掩码特征重建和双Lipschitz特征解码器在重建相关组件中鼓励节点相似性，同时还在互补的上下文组件中跨增强视图鼓励匹配节点的一致性；(ii) 通过将图嵌入推向归一化嵌入空间中良好散开、近似各向同性的分布来鼓励图均匀性；(iii) 通过放弃显式的硬负样本选择和绝对/全局位置来抑制地理空间偏差。概念上，该损失是SCL的掩码图对应物，但使用余弦或平方距离惩罚，而不是任何学习的判别器或InfoNCE项。结合谱约束，这种固定代理设计在重建组件中鼓励重建驱动的对齐，在上下文组件中鼓励跨视图节点一致性，以及图级对齐/均匀性，而无需单独的子结构到图模块，同时避免了对抗训练的不稳定性。我们从诸如Deep InfoMax\Hjelm等人，[2018 (https://arxiv.org/html/2607.02990#bib.bib12), Veličković等人，2019 (https://arxiv.org/html/2607.02990#bib.bib13)\]的互信息方法以及最近的图自监督学习方法（包括GraphCL、GRACE和BGRL\You等人，[2020 (https://arxiv.org/html/2607.02990#bib.bib28), Zhu等人，2020 (https://arxiv.org/html/2607.02990#bib.bib29), Thakoor等人，2022 (https://arxiv.org/html/2607.02990#bib.bib30)\]）中汲取灵感，同时保持完全非对抗。整个过程中，我们使用“图”来表示可变大小的节点观测集合，可选地带有显式边。本文中的实验实例化了无边的情况：未提供手工编制的邻接矩阵，交互由节点令牌上的注意力机制隐式诱导（见§4.1 (https://arxiv.org/html/2607.02990#S4.SS1)）。当可靠的连通性可用时，显式边感知变体是自然的延伸。目标本身并不绑定到地理空间输入或特定编码器：下面的矿产勘探设置是实验演示和验证领域。 ### 2.1 符号与节点特征相似性保持 我们首先形式化编码器-解码器模型，并说明如果解码器得到适当约束，掩码重建如何帮助在潜在空间中保持节点级相似性。通过隐藏每个节点特征的一部分，我们鼓励模型学习稳健的跨模态或跨属性关系，而不是简单记忆输入。 ##### 编码器-解码器设置。 设 G=\(V\(G\),E\(G\)\)G=\(V\(G\),E\(G\)\) 表示一个图，顶点集为 V\(G\)V\(G\)，边集为 E\(G\)E\(G\)。每个节点 u∈V\(G\)u\in V\(G\) 关联一个特征向量 x_u∈R^{d_x}x_u∈R^{d_x}，其中 d_xd_x 表示特征（属性）维度；我们记 X\(G\):={x_u}_{u∈V\(G\)}X\(G\):={x_u}_{u∈V\(G\)} 为节点特征的集合，并且通过滥用符号，也将 X\(G\)∈R^{|V\(G\)|×d_x}X\(G\)∈R^{|V\(G\)|×d_x} 表示为通过将 x_u^⊤x_u^⊤ 作为行按任意但固定的节点顺序堆叠得到的矩阵。当 GG 和 XX 从上下文清晰时，我们记 X:=X\(G\)X:=X\(G\)。这里 f_θf_θ 是一个图级编码器（例如GNN），它处理整个图 GG 以及输入特征集合 XX（可能被掩码），并为每个节点返回一个上下文化的嵌入；为符号简洁，任何提供给编码器的额外辅助每节点上下文都保持隐式。当 GG 和 XX 从上下文清晰时，我们将 f\(u\)f\(u\) 写为更显式的 (f_θ\(G,X\))_u(f_θ\(G,X\))_u 的简写。 我们的模型由一个产生维度为 dd 的节点嵌入的编码器和一个作用于维度为 d_e≤dd_e≤d 的重建面子空间的特征解码器组成： f_θ\(G,X\(G\)\)∈R^{|V\(G\)|×d} 且 g:R^{d_e}→R^{d_x},f_θ\(G,X\(G\)\)∈R^{|V\(G\)|×d} 且 g:R^{d_e}→R^{d_x},其中 z_u:=f\(u\):=(f_θ\(G,X\(G\)\))_u∈R^dz_u:=f\(u\):=(f_θ\(G,X\(G\)\))_u∈R^d 表示*节点嵌入*。当一个minibatch包含多个图时，我们通过记 B_node:={(G,u):G∈batch,u∈V\(G\)},B_node:={(G,u):G∈batch,u∈V\(G\)},来区分*节点实例*，并且对于 (G,u)∈B_node(G,u)∈B_node，我们记 f\(G,u\):=(f_θ\(G,X\(G\)\))_u。f\(G,u\):=(f_θ\(G,X\(G\)\))_u。因此，简写 f\(u\)f\(u\) 仅在底层图 GG（以及输入视图 XX）由上下文固定时使用。 为了重建节点特征，我们定义一个低维*特征嵌入* e_u:=π(z_u)∈R^{d_e}e_u:=π(z_u)∈R^{d_e} 作为坐标切片 π(z)=z_{1:d_e}π(z)=z_{1:d_e}。我们将互补的*上下文切片*记为 c_u:=ρ(z_u):=z_{d_e+1:d}∈R^{d-d_e}。c_u:=ρ(z_u):=z_{d_e+1:d}∈R^{d-d_e}。特征解码器 gg 从 e_ue_u 重建节点特征，并且自编码器是 h\(u\):=g\(e_u\)=g(π(f\(u\)\))。h\(u\):=g\(e_u\)=g(π(f\(u\)\))。在后续中，掩码重建作用于特征切片 e_ue_u，而可选的跨视图节点一致性项可施加于上下文切片 c_uc_u。这种划分将受约束的重建路径嵌入到更广泛的图编码器内部：特征切片通过解码器在几何上与可重建的特征相似性相关联，而上下文切片则保留用于池化和下游图表示所需的视图稳定信息。它还将完整的节点嵌入维度与重建维度解耦，允许高维的上下文节点嵌入，同时保持解码器输入大小相对于实际特征维度 d_xd_x 定标。 最后，令 P_φP_φ 为一个置换不变的池化算子，将节点嵌入的多重集映射到一个图嵌入： P_φ:\(R^d\)^{|V\(G\)|}→R^{d_G}, s_G:=P_φ({z_u}_{u∈V\(G\)})。P_φ:\(R^d\)^{|V\(G\)|}→R^{d_G}, s_G:=P_φ({z_u}_{u∈V\(G\)})。换句话说，P_φP_φ 将节点嵌入的无序多重集池化为单个固定维度的*图嵌入* s_Gs_G，用于图级损失和下游任务。置换不变性确保 s_Gs_G 仅依赖于图的内容，而不是其节点的任意顺序，这与Deep Sets\Zaheer等人，[2017 (https://arxiv.org/html/2607.02990#bib.bib31)\]的通用集函数观点一致。 ##### 用于掩码和增强的视图算子。 我们将掩码和增强建模为一个随机视图算子 T∼AT∼A，作用于图-特征对： (G^{(a)},X^{(a)},ι^{(a)})=T(G,X)。(G^{(a)},X^{(a)},ι^{(a)})=T(G,X)。这里 G^{(a)}G^{(a)} 和 X^{(a)}X^{(a)} 是增强后的图和特征集合，而 ι^{(a)}:V(G^{(a)})→V(G)ι^{(a)}:V(G^{(a)})→V(G) 是一个单射映射，记录每个保留节点的原始节点身份。仅特征掩码是特例 G^{(a)}=GG^{(a)}=G 且 ι^{(a)}=idι^{(a)}=id；节点或子图丢弃则从 G^{(a)}G^{(a)} 中移除顶点，并将 ι^{(a)}ι^{(a)} 限制到保留节点。除非另有说明，当单个图 GG 和输入视图 XX 由上下文固定时，我们继续写 f\(u\):=(f_θ\(G,X\))_uf\(u\):=(f_θ\(G,X\))_u 表示在*当前*输入 XX（掩码或未掩码）下的节点嵌入。在涉及多个图的minibatch设置中，我们改写成 f\(G,u\)f\(G,u\)。对于两个采样的视图算子 T_1,T_2T_1,T_2，我们记 (G^{(a)},X^{(a)},ι^{(a)})=T_a(G,X)(G^{(a)},X^{(a)},ι^{(a)})=T_a(G,X) 对于 a∈{1,2}a∈{1,2}。在我们的掩码设置中，hh 从部分观察的输入中预测缺失或掩码的特征，迫使学习到的表示捕捉特征内部和之间的有意义依赖关系。 ##### 矩阵范数和奇异值。 对于任何矩阵 W∈R^{p×q}W∈R^{p×q}，定义 σ_max(W):=max_{‖v‖_2=1}‖Wv‖_2=√λ_max(W^⊤W), σ_min(W):=min_{‖v‖_2=1}‖Wv‖_2=√λ_min(W^⊤W)。σ_max(W):=max_{‖v‖_2=1}‖Wv‖_2=√λ_max(W^⊤W), σ_min(W):=min_{‖v‖_2=1}‖Wv‖_2=√λ_min(W^⊤W)。当 p≥qp≥q（高或方阵）且 WW 满列秩时，σ_min(W)>0σ_min(W)>0，并且与通常排序中最小的（非零）奇异值一致。当 p<m 需要 σ_min(W_dec)>0σ_min(W_dec)>0，即 W_decW_dec 满列秩（因此在欧几里得设置中 d_e≤d_xd_e≤d_x）。如果 d_e>d_xd_e>d_x，则 σ_min(W_dec)=0σ_min(W_dec)=0，且不存在非平凡下界。