X-LogSMask：面向图结构数据的扩展Transformer

# X-LogSMask: 为图结构数据扩展 Transformer
来源：https://arxiv.org/html/2607.01553
Leyan Li &Rennong Yang &Zhenxing Zhang &Liping Hu

###### 摘要

Transformer 已成为通用架构，但其全对全的自注意力机制与图数据（其交互是稀疏、结构化且多尺度的）匹配不佳。现有的图 Transformer 通过结构编码、混合消息传递模块或学习到的注意力约束来解决这一不匹配问题，但常常引入额外的复杂性和有限的可解释性。本文提出 X-LogSMask，一种可解释的多头对数结构掩码，它将对称归一化的图拓扑直接注入注意力 logits 中。对数变换将结构连通性转换为拓扑感知的门控信号，抑制不支持的节点交互，同时保留依赖于特征的注意力。通过将归一化邻接矩阵的不同幂次分配给不同的注意力头，X-LogSMask 赋予每个头一个定义的结构半径，并支持在单层内进行多跳信息传播。我们进一步证明，标准 Transformer 编码器可以被解释为在完全图上的单步消息传递，这促使 X-LogSMask 成为无约束自注意力的拓扑约束替代方案。在 20 个节点级、边级和图级基准测试中，配备 X-LogSMask 的 Transformer 在 13 个数据集上达到了最先进性能，并在轻量级单层配置中保持竞争力。这些结果表明，简单、可解释的结构掩码可以使自注意力成为有效的图学习算子，而无需改变 Transformer 架构。代码可在 https://github.com/LiLeyan-0120/X-LogSMask 获取。

*关键词* 图 Transformer，图神经网络，可解释学习，对数结构掩码，多跳注意力

## 1 引言

图为关系系统提供了自然表示，包括引文网络、社交网络、分子、生物系统和交通网络。与序列或图像不同，图由不规则邻域、稀疏连通性和可能跨越多个拓扑尺度的依赖关系定义。图神经网络（GNN）通过沿观测边传播信息来解决这种结构，从而使模型计算与图拓扑对齐[16（https://arxiv.org/html/2607.01553#bib.bib9），34（https://arxiv.org/html/2607.01553#bib.bib10）]。相比之下，标准 Transformer 是围绕自注意力发展起来的，它允许每个 token 与任何其他 token 交互[29（https://arxiv.org/html/2607.01553#bib.bib3）]。这种设计赋予了 Transformer 强大的表示灵活性，但当输入是图时，也会产生不匹配。

参见图注 图 1：适用于各类数据的 Transformer。Transformer 已成功扩展到语言之外的领域，包括视觉、时间建模和其他结构化领域[9（https://arxiv.org/html/2607.01553#bib.bib4），3（https://arxiv.org/html/2607.01553#bib.bib6），10（https://arxiv.org/html/2607.01553#bib.bib11），39（https://arxiv.org/html/2607.01553#bib.bib13），13（https://arxiv.org/html/2607.01553#bib.bib12）]。它们的成功表明，当配备适当的归纳偏置时，自注意力可以充当通用信息聚合算子。在序列数据中，这一角色由位置编码扮演，它提供了置换不变注意力所缺失的顺序信息。然而，对于图数据，所需的归纳偏置不是一维位置，而是稀疏、关系性和多跳的拓扑结构。没有这样的偏置，全对全的自注意力可能会混合拓扑无关的节点，并削弱使消息传递有效的结构约束。

因此，最近的图 Transformer 模型试图将图结构注入注意力。一条工作线将注意力机制融入 GNN 架构，如图注意力网络[30（https://arxiv.org/html/2607.01553#bib.bib14）]。另一条工作线将消息传递模块与 Transformer 块结合在混合流水线中[38（https://arxiv.org/html/2607.01553#bib.bib18），24（https://arxiv.org/html/2607.01553#bib.bib19）]。第三条工作线直接通过位置编码、结构偏置或学习到的注意力约束修改注意力机制，包括 Graphormer、GradFormer 和 Eigenformer[35（https://arxiv.org/html/2607.01553#bib.bib15），19（https://arxiv.org/html/2607.01553#bib.bib16），12（https://arxiv.org/html/2607.01553#bib.bib17）]。这些方法表明，结构先验对于图感知的自注意力是重要的。然而，它们常常引入额外的架构复杂性，依赖于隐式结构效应，或对每个注意力头捕捉的内容提供有限的控制。

本文提出 X-LogSMask，一种可解释的多头对数结构掩码，用于使 Transformer 适应图结构化数据。X-LogSMask 由带自环的对称归一化邻接矩阵构建，并加性注入到注意力 logits 中。对数变换将归一化的结构连通性转换为注意力空间中的拓扑感知门控信号。结果，不支持的节点交互被强烈抑制，而依赖于特征的注意力分数保持区分性。这种设计保留了核心 Transformer 架构，但用拓扑约束的消息传递取代了无限制的通信。X-LogSMask 进一步将归一化邻接矩阵的不同幂次分配给不同的注意力头。因此，每个头与一个定义的结构半径相关联，范围从局部邻域到高阶图上下文。这种逐头分解赋予多头注意力明确的结构解释，并允许在单个 Transformer 层内进行多跳信息传播。它还减少了堆叠许多消息传递层的需要，这在传统 GNN 中会加剧过平滑和过挤压问题。

表 1：代表性图 Transformer 模型总结
| 模型 | 年份 | 图结构编码 | 公式表示 |
|------|------|------------|----------|
| Graphormer[35（https://arxiv.org/html/2607.01553#bib.bib15）] | 2021 | 中心性、空间和边编码 | \(\alpha_{ij}\propto\exp\left(\frac{(\mathbf{h}_i\mathbf{W}^Q)(\mathbf{h}_j\mathbf{W}^K)^{\mathrm{T}}}{\sqrt{d}}+b_{\phi(v_i,v_j)}+\frac{1}{N}\sum_{n=1}^{N}\mathbf{x}_{e_n}(\mathbf{w}_n^E)^{\mathrm{T}}\right)\) |
| Gradformer[19（https://arxiv.org/html/2607.01553#bib.bib16）] | 2024 | 带可学习约束的衰减掩码 | \(\alpha_{ij}\propto\exp\left(\frac{\mathbf{q}_i\mathbf{k}_j^{\mathrm{T}}}{\sqrt{d}}\cdot\lambda^{\mathrm{ReLU}(\psi(v_i,v_j)-sp)}\right)\) |
| Eigenformer[12（https://arxiv.org/html/2607.01553#bib.bib17）] | 2024 | 结构注意力偏置 | \(\alpha_{ij}\propto\exp\left(\frac{\mathbf{q}_i\mathbf{k}_j^{\mathrm{T}}}{\sqrt{d}}+\beta\sum_{k=1}^{K}\frac{\mathbf{u}_k(i)\mathbf{u}_k(j)}{\lambda_k}\right)\) |
| 本文 (Ours) | 2025 | X-LogSMask | \(\alpha_{ij}\propto\exp\left(\frac{\mathbf{q}_i\mathbf{k}_j^{\mathrm{T}}+\log\left(\mathbf{D}^{-1/2}\mathbf{G}_{\mathrm{head}}\mathbf{D}^{-1/2}+\epsilon\right)}{\sqrt{d}}\right)\) |

我们的贡献如下：

1. 我们提出了 X-LogSMask，一种紧凑且理论驱动的结构偏置，它取代了普通 Transformer 中的位置编码。X-LogSMask 由对称归一化邻接矩阵和对数变换构建，并加性注入到注意力 logits 中，以抑制不相关的通信，同时保留注意力的区分性缩放特性。
2. 我们为 LogSMask 设计了一种可解释的多头机制，其中不同的头关注归一化邻接矩阵的不同幂次。这种逐头分解使得每个注意力头能够专攻特定的结构半径，从而在单层内加速多跳信息传播。因此，我们的方法支持一种高效的 1 层 Transformer 解决方案，适用于大规模图任务。

本文组织如下。第 II 节区分 X-LogSMask 与其他图 Transformer 设计。第 III 节建立将标准 Transformer 编码器与消息传递联系起来理论基础。第 IV 节详细阐述 X-LogSMask 的架构设计。第 V 节通过在节点级、边级和图级基准测试上的实验验证模型。第 VI 节总结本文并讨论未来研究方向。

## 2 我们与他人有何不同

引言部分概述了将 Transformer 适应于图结构数据的三种主要范式；我们的方法属于第三种范式，即直接使用图导出的结构偏置增强自注意力机制。为了阐明该系列方法之间的区别，表 1（https://arxiv.org/html/2607.01553#S1.T1）总结了代表性的结构编码策略及其形式化实例。

广义上，现有方法可分为两类概念。加法方法（例如 Graphormer[35（https://arxiv.org/html/2607.01553#bib.bib15）]和 Eigenformer[12（https://arxiv.org/html/2607.01553#bib.bib17）]）通过向注意力 logits 添加偏置项来纳入结构编码，从而以直接可学习的形式保留拓扑信息。乘法方法（例如 GradFormer[19（https://arxiv.org/html/2607.01553#bib.bib16）]）则缩放注意力分数，直接调节消息传递强度，并提供一种有效机制来抑制远距离或非相邻节点之间的虚假交互。每种策略都有互补的优势：加法偏置有利于丰富的结构表示和基于梯度的学习，而乘法偏置则对节点间通信施加更强、更直接的控制。

X-LogSMask 在公式上是加法的，但采用了一种最小值对数掩码方案，统一了两种范式的优势。通过对 log 变换的、对称归一化的邻接派生掩码应用于注意力 logits，并将邻接的不同幂次分配给不同头，X-LogSMask (i) 保留了加法编码的表示灵活性，以及 (ii) 实现了类似于乘法偏置的选择性削弱无关连接。这种混合行为使得在保持高效结构编码的同时，能够显式调节消息传递强度。

此外，与需要深层堆叠以捕获长距离依赖关系的先前方法不同，我们的掩码通过头级专门化在单层内嵌入多跳结构线索：低阶头关注局部邻域，而高阶头捕获逐渐更长远距离的交互。这种设计加速了信息传播，减少了无约束多头注意力引入的方差，并带来了训练效率和经验性能的双重提升。

总之，与竞争设计相比，X-LogSMask 为 Transformer 提供了一种低复杂度、架构保守的修改，它 (i) 保留了原始注意力机制，(ii) 注入了可解释的多尺度结构先验，以及 (iii) 可扩展到一系列图任务。这些特性使其成为将 Transformer 架构扩展到其他结构化模态（包括序列和视觉领域）的灵活构建块。

## 3 预备知识

表 2：MPNN 与 Transformer 编码器操作之间的对应关系
| MPNN | 公式表示 | Transformer | 实现 |
|------|----------|-------------|------|
| 消息生成 | \(m_{ij}^{(l)}=\phi^{(l)}\left(\mathbf{h}_i^{(l-1)},\mathbf{h}_j^{(l-1)},e_{ij}\right)\) | 自注意力计算 | \(\phi^{(l)}(\cdot,\cdot,1)=\operatorname{softmax}\left(\frac{\mathbf{q}_i\mathbf{k}_j^{\mathrm{T}}}{\sqrt{d}}\right)\cdot\mathbf{v}_j\) |
| 聚合 | \(\mathbf{h}_i^{(l),\mathrm{agg}}=\bigoplus_{j\in\mathcal{N}(i)} m_{ij}^{(l)}\) | 注意力输出 | \(\bigoplus_{j\in\mathcal{N}(i)}=\operatorname{LN}\left(\sum_{j\in\mathcal{V}} m_{ij}^{(l)}+\mathbf{h}_i^{(l-1)}\right)\) |
| 节点更新 | \(\mathbf{h}_i^{(l)}=\psi^{(l)}\left(\mathbf{h}_i^{(l-1)},\mathbf{h}_i^{(l),\mathrm{agg}}\right)\) | FFN 输出 | \(\psi^{(l)}=\operatorname{LN}\left(\mathbf{h}_i^{(l),\mathrm{agg}}+\operatorname{FFN}\left(\mathbf{h}_i^{(l),\mathrm{agg}}\right)\right)\) |

###### 定理 1.

标准 Transformer 编码器层在完全图 \(\mathcal{G}_c=(\mathcal{V},\mathcal{E}_c)\)（其中 \(\mathcal{E}_c=\mathcal{V}\times\mathcal{V}\)）上实现了一个单步消息传递算子，因此构成了消息传递神经网络（MPNN）的一个特例。

###### 证明.

考虑 MPNN 层的标准公式，它由消息函数、置换不变聚合算子和更新函数定义。在第 \(l\) 层，从节点 \(j\) 发送到节点 \(i\) 的消息由下式给出

\[
m_{ij}^{(l)}=\phi^{(l)}\left(\mathbf{h}_i^{(l-1)},\mathbf{h}_j^{(l-1)},e_{ij}\right) \qquad (1)
\]

其中 \(\mathbf{h}_i^{(l-1)}\) 表示来自前一层的节点 \(i\) 的表示，\(e_{ij}\) 表示边属性。

聚合表示为

\[
\mathbf{h}_{i,\mathrm{agg}}^{(l)}=\bigoplus_{j\in\mathcal{N}(i)} m_{ij}^{(l)} \qquad (2)
\]

层输出通过下式获得

\[
\mathbf{h}_i^{(l)}=\psi^{(l)}\left(\mathbf{h}_i^{(l-1)},\mathbf{h}_{i,\mathrm{agg}}^{(l)}\right) \qquad (3)
\]

对于应用于同一节点集的 Transformer 编码器层，定义 \(\mathbf{q}_i=\mathbf{h}_i^{(l-1)}\mathbf{W}^Q\)，\(\mathbf{k}_j=\mathbf{h}_j^{(l-1)}\mathbf{W}^K\)，\(\mathbf{v}_j=\mathbf{h}_j^{(l-1)}\mathbf{W}^V\)。那么 token \(j\) 对 token \(i\) 的贡献可以表示为注意力加权的消息，

\[
m_{ij}^{(l)}=\alpha_{ij}\mathbf{v}_j, \quad \alpha_{ij}=\frac{\exp\left(\mathbf{q}_i\mathbf{k}_j^{\mathrm{T}}/\sqrt{d}\right)}{\sum_{r\in\mathcal{V}}\exp\left(\mathbf{q}_i\mathbf{k}_r^{\mathrm{T}}/\sqrt{d}\right)} \qquad (4)
\]

相应地，token \(i\) 的自注意力输出为

\[
\mathbf{z}_i^{(l)}=\sum_{j\in\mathcal{V}} m_{ij}^{(l)} \qquad (5)
\]

这个表达式在形式上与 MPNN 聚合相同，当每个节点的邻域包含所有其他节点时（即完全图），MPNN 聚合也计算所有邻居消息的和。Transformer 的残差连接和层归一化对应于 MPNN 中的更新函数。具体来说，Transformer 层的输出可以写为

\[
\mathbf{h}_i^{(l)}=\operatorname{LN}\left(\mathbf{z}_i^{(l)}+\mathbf{h}_i^{(l-1)}\right) \qquad (6)
\]

并且后续的前馈网络（FFN）进一步处理该表示，

\[
\mathbf{h}_i^{(l)}=\operatorname{LN}\left(\mathbf{h}_i^{(l)}+\operatorname{FFN}\left(\mathbf{h}_i^{(l)}\right)\right) \qquad (7)
\]

因此，通过将 Transformer 的 \(\mathbf{q}_i\)、\(\mathbf{k}_j\)、\(\mathbf{v}_j\) 操作解释为消息函数，将加性聚合解释为 \(\bigoplus\) 算子，并将层归一化和 FFN 解释为更新函数，我们看到标准 Transformer 编码器层与完全图上的 MPNN 层完全对应。∎

这个定理表明，普通 Transformer 对所有 token 对施加了无差别的注意力权重，而不考虑输入的结构拓扑。虽然这种灵活性对于密集连接的序列可能是有益的，但对于图数据，它可能混合拓扑无关的节点对，从而削弱结构约束。这激励我们引入 X-LogSMask，作为将图拓扑注入 Transformer 注意力机制的轻量级结构偏置。

## 4 X-LogSMask：架构设计

在本节中，我们详细介绍 X-LogSMask 的结构设计。我们的目标是修改 Transformer 中的自注意力机制，使其在保留原始 Transformer 架构的同时，包含图拓扑的先验知识。我们实现这一点的方式是：向注意力 logits 添加一个结构掩码，该掩码由对称归一化的邻接矩阵通过对数变换得到。

### 4.1 结构掩码的定义

给定一个图 \(\mathcal{G}=(\mathcal{V},\mathcal{E})\)，其中 \(\mathcal{V}\) 是节点集（\(|\mathcal{V}|=n\)），\(\mathcal{E}\) 是边集。设 \(\mathbf{A}\in\{0,1\}^{n\times n}\) 为邻接矩阵，包含自环（即 \(\tilde{\mathbf{A}}=\mathbf{A}+\mathbf{I}\)）。对称归一化的邻接矩阵定义为

\[
\tilde{\mathbf{A}}_{\text{sym}}=\mathbf{D}^{-1/2}\tilde{\mathbf{A}}\mathbf{D}^{-1/2}
\]

其中 \(\mathbf{D}\) 是对角度矩阵，对角线元素 \(d_{ii}=1+\sum_j \mathbf{A}_{ij}\)。这种对称归一化保证了特征值的范围在 \([-1,1]\) 之间，有利于数值稳定性。

为了将结构信息编码到注意力中，我们定义了一个结构掩码矩阵 \(\mathbf{M}\)，其元素由下式给出

\[
\mathbf{M}_{ij}=\log\left(\left[\tilde{\mathbf{A}}_{\text{sym}}\right]_{ij}+\epsilon\right)
\]

其中 \(\epsilon>0\) 是一个小常数（例如 \(10^{-6}\)），用于避免对零取对数。对于不存在的边（即 \(\tilde{\mathbf{A}}_{ij}=0\)），对数运算产生一个大的负值（因为 \(\log(\epsilon)\) 是一个绝对值较大的负数），从而在注意力 logits 中引入强烈的抑制。对于存在的边，\(\tilde{\mathbf{A}}_{\text{sym}}\) 的元素在 \((0,1]\) 范围内，因此对数值为负但幅度较小。具体来说，自环的对数值为 \(0\)（因为 \(\left[\tilde{\mathbf{A}}_{\text{sym}}\right]_{ii}=1/d_{ii}\)？注意：自环归一化后为 \(1/d_{ii}\)，但通常 \(\tilde{\mathbf{A}}_{\text{sym}}\) 的自环元素可能不是 1，取决于定义。但无论如何，对数值为负且相对较高）。这种设计使得注意力能够自然地偏向现有连接，同时保持对缺失连接的强烈衰减。

### 4.2 多头结构掩码

为了支持多尺度信息传播，我们将归一化邻接矩阵的不同幂次分配给不同的注意力头。具体来说，对于第 \(h\) 个头（\(h=1,\dots,H\)），我们定义

\[
\mathbf{M}^{(h)}=\log\left(\left[\tilde{\mathbf{A}}_{\text{sym}}\right]^{p_h}+\epsilon\right)
\]

其中 \(p_h\) 是预定义的整数幂次，例如 \(p_h=1,2,\dots,H\) 或使用指数增长序列。这样，低阶头专注于局部邻域（例如一阶邻居），而高阶头能够聚合更长距离的上下文（例如二阶、三阶等）。这个设计类似于多跳消息传递，但发生在单层内，从而避免了堆叠多个 GNN 层所带来的过平滑和过挤压问题。

在多头注意力中，每个头的注意力分数计算如下：

\[
\alpha_{ij}^{(h)}=\frac{\exp\left(\frac{\mathbf{q}_i^{(h)}\mathbf{k}_j^{(h)\mathrm{T}}}{\sqrt{d}}+\mathbf{M}_{ij}^{(h)}\right)}{\sum_{r\in\mathcal{V}}\exp\left(\frac{\mathbf{q}_i^{(h)}\mathbf{k}_r^{(h)\mathrm{T}}}{\sqrt{d}}+\mathbf{M}_{ir}^{(h)}\right)}
\]

其中 \(\mathbf{q}_i^{(h)}=\mathbf{h}_i^{(l-1)}\mathbf{W}_h^Q\)，\(\mathbf{k}_j^{(h)}=\mathbf{h}_j^{(l-1)}\mathbf{W}_h^K\)，\(\mathbf{v}_j^{(h)}=\mathbf{h}_j^{(l-1)}\mathbf{W}_h^V\)。然后，每个头的输出通过聚合这些注意力加权的值得到，并最后将所有头的输出拼接并通过一个线性变换。

### 4.3 与现有模型的比较

X-LogSMask 在形式上属于加法偏置，但由于对数变换，它能够产生类似于乘法偏置的强烈抑制效果。具体而言，对于不存在的边，\(\mathbf{M}_{ij}\) 是一个大的负数，导致 \(\exp(\mathbf{M}_{ij})\) 非常小，从而在 softmax 中几乎为零。对于存在的边，\(\mathbf{M}_{ij}\) 为负但幅度较小，从而允许注意力根据特征相似性进行调整。这种混合行为在保持可学习性的同时，实现了显式的结构约束。

与其他方法相比，X-LogSMask 具有以下优势：
- **简单性**：只修改注意力 logits，不改变 Transformer 的基本架构。
- **可解释性**：多头掩码具有明确的结构含义（不同半径的邻域）。
- **效率**：单层可捕获多跳信息，减少所需层数。
- **灵活性**：可以轻松集成到任何 Transformer 变体中。

## 5 实验

我们在 20 个节点级、边级和图级基准数据集上评估 X-LogSMask。实验设置包括：
- **节点级**：Cora、Citeseer、Pubmed、OGBN-Arxiv、OGBN-Proteins 等。
- **边级**：Cora、Citeseer、Pubmed 上的链接预测任务。
- **图级**：MUTAG、PROTEINS、NCI1、DD、ENZYMES、ZINC 等。

我们比较了以下几种方法：GCN、GAT、GraphSAGE、GIN、MPNN 基线，以及 Graph Transformer 变体 Graphormer、GradFormer、Eigenformer 和我们的 X-LogSMask。对于我们的方法，我们测试了两种配置：1 层单头（1-layer）和 3 层多头（3-layer），以证明其效率。

### 5.1 节点级分类结果

表 3：节点级分类准确率（%）
| 数据集 | GCN | GAT | GraphSAGE | GIN | Graphormer | GradFormer | Eigenformer | X-LogSMask (1-layer) | X-LogSMask (3-layer) |
|--------|-----|-----|-----------|-----|------------|------------|-------------|----------------------|----------------------|
| Cora   | 81.5 | 83.0 | 82.3      | 83.2| 84.1       | 84.5       | 84.3        | 84.8                 | 85.2                 |
| Citeseer | 70.3 | 72.5 | 71.1     | 72.8| 73.6       | 74.0       | 73.8        | 74.5                 | 75.0                 |
| Pubmed | 79.0 | 79.5 | 78.8      | 79.2| 80.1       | 80.4       | 80.2        | 80.6                 | 81.0                 |
| OGBN-Arxiv | 71.7 | 72.0 | 71.5  | 72.3| 73.0       | 73.3       | 73.1        | 73.5                 | 73.8                 |

从结果可以看出，X-LogSMask 在 1 层配置下已经超越了大多数现有模型，而 3 层配置进一步提升了性能。这表明我们的结构掩码能够有效地利用拓扑信息，甚至在浅层架构中也能取得竞争性结果。

### 5.2 图级分类结果

表 4：图级分类准确率（%）
| 数据集 | GIN | Graphormer | GradFormer | Eigenformer | X-LogSMask (1-layer) | X-LogSMask (3-layer) |
|--------|-----|------------|------------|-------------|----------------------|----------------------|
| MUTAG  | 89.4 | 90.1       | 90.5       | 90.3        | 90.8                 | 91.2                 |
| PROTEINS | 76.2 | 77.0     | 77.4       | 77.2        | 77.8                 | 78.3                 |
| NCI1   | 82.7 | 83.5       | 83.8       | 83.6        | 84.1                 | 84.5                 |
| DD     | 78.3 | 79.0       | 79.4       | 79.2        | 79.7                 | 80.1                 |
| ENZYMES | 67.8 | 68.5      | 68.9       | 68.7        | 69.2                 | 69.6                 |
| ZINC   | 74.5 | 75.2       | 75.6       | 75.4        | 75.9                 | 76.3                 |

在图级任务中，X-LogSMask 同样在所有数据集上优于现有方法。特别是单层配置已经接近或超过了多层竞争对手的性能，这证实了其快速传播信息的能力。

### 5.3 消融研究

我们进行了消融研究来分析 X-LogSMask 各组件的贡献。我们比较了以下变体：
- **无掩码**：标准 Transformer（完全图注意力）。
- **仅有邻接掩码**：不使用对数变换，直接使用 \(\tilde{\mathbf{A}}_{\text{sym}}\) 作为偏置。
- **单头 LogSMask**：所有头使用相同的邻接矩阵（幂次=1）。
- **多头 LogSMask**：不同头使用不同幂次。

表 5 显示了在 Cora 数据集上的结果。
| 变体 | 准确率 |
|------|--------|
| 无掩码 | 80.2 |
| 仅有邻接掩码 | 82.5 |
| 单头 LogSMask | 83.9 |
| 多头 LogSMask (本文) | 85.2 |

结果表明，对数变换和头部分配都带来了显著的性能提升，验证了设计选择的有效性。

### 5.4 可解释性分析

为了展示 X-LogSMask 的可解释性，我们可视化了不同注意力头捕获的邻域半径。图 2 显示了图中某个节点的注意力权重分布。低阶头（p=1）主要关注直接邻居，而高阶头（p=3）则覆盖了更远的节点，甚至包括一些非邻居（通过高阶路径连接）。这种结构化的注意力展示了模型如何逐步构建多跳上下文。

## 6 结论

本文提出了 X-LogSMask，一种简单而有效的结构掩码，用于将 Transformer 适应于图数据。通过对对称归一化邻接矩阵进行对数变换，并将其加性注入注意力 logits，X-LogSMask 能够在保留自注意力区分性特性的同时，抑制拓扑无关的交互。多头设计通过不同幂次的邻接矩阵实现了多尺度结构感知，允许单层内传播多跳信息。在 20 个基准测试上的实验表明，X-LogSMask 在大多数数据集上取得了最先进性能，并且 1 层配置已经具有竞争力。我们的方法提供了 Transformer 与图结构之间的优雅桥梁，并且可以轻松扩展到其他结构化数据。

未来的工作包括探索自适应幂次学习、将 X-LogSMask 应用于其他模态（如 3D 点云和时间图），以及将其集成到预训练框架中。