FoundAna：一种用于图异常检测的 GNN 辅助基础模型

# 一种用于图异常检测的图神经网络辅助基础模型
来源: https://arxiv.org/html/2609.18107

## FoundAna：一种用于图异常检测的图神经网络辅助基础模型

Suprim Nakarmi1, Chahana Dahal1, Yue Zhao2, Junggab Son1 与 Zuobin Xiong1
单位：1美国内华达大学拉斯维加斯分校计算机科学系，拉斯维加斯，美国 2美国南加州大学计算机科学系，洛杉矶，美国
1{suprim.nakarmi, chahana.dahal, junggab.son, zuobin.xiong}@unlv.edu; [email protected]

###### 摘要

图异常检测旨在识别显著偏离预期模式的图结构（例如，节点、边或子图），这为欺诈检测、垃圾信息识别、网络入侵等关键应用提供了支持。尽管该领域的方法日益增多，但现有方法遵循“一模型一数据集”的范式，由于任务异构性、标签稀缺性和领域变异性，限制了其在多样化现实场景中的可迁移性。在本工作中，我们引入了**FoundAna**，一个用于图异常检测的**图神经网络辅助基础模型**——这是首个通过结合图神经网络和Transformer设计的、用于可泛化跨图异常检测的基础模型框架。FoundAna集成了一个针对异常检测优化的图神经网络组件和一个标准的Transformer编码器，并辅以四种互补的位置编码，使模型能够同时捕获局部和全局结构信息。具体来说，经过位置编码增强的节点表示通过属性和邻接解码器，重建误差被用作异常分数。在涵盖金融、社交和引用网络领域的九个基准数据集上进行的大量实验表明，FoundAna始终优于最先进的基线方法。代码实现和补充材料在此：https://github.com/FoundAna331/FoundAna。

###### 索引关键词：

图异常检测，基础模型，跨域图，跨任务图

## I 引言

异常检测（AD）一直是研究和实践领域的重要课题，它指的是识别显著偏离大多数数据分布分布的异常数据样本（也称为离群点）[1 (https://arxiv.org/html/2609.18107#bib.bib1), 2 (https://arxiv.org/html/2609.18107#bib.bib2)]。广泛的应用，包括检测保险、银行等领域的欺诈交易[2 (https://arxiv.org/html/2609.18107#bib.bib2)]；识别网络安全基础设施中的恶意网络入侵[3 (https://arxiv.org/html/2609.18107#bib.bib33)]；以及确保航空和工业控制系统的安全[4 (https://arxiv.org/html/2609.18107#bib.bib4), 2 (https://arxiv.org/html/2609.18107#bib.bib2)]，都严重依赖此类异常检测技术。AD中的经典方法采用统计、基于距离、基于密度和基于核的方法，通过数学标准来刻画异常性[4 (https://arxiv.org/html/2609.18107#bib.bib4)]。然而，这些方法无法扩展到现代应用中普遍存在的复杂、高维数据分布，从而催生了基于深度学习的模型，如深度自编码器、变分生成模型和自监督架构[5 (https://arxiv.org/html/2609.18107#bib.bib28)]。尽管取得了这些进展，几乎所有基于学习的方法都存在一个关键局限性，因为它们是为欧几里得数据模态（例如图像和表格记录）设计的，在捕获图结构数据固有的拓扑依赖性方面效果较差[6 (https://arxiv.org/html/2609.18107#bib.bib32)]。

图结构数据的语义和拓扑复杂性由节点的属性及其在图中的结构连接性决定。这种双重性质引发了跨越多个层次的异构异常景观：**节点异常**可能代表在社交网络中生成数千个虚假连接的机器人账户[7 (https://arxiv.org/html/2609.18107#bib.bib29)]；**边异常**可能对应于很少互动的账户之间突然发生的一笔高价值金融交易[8 (https://arxiv.org/html/2609.18107#bib.bib30)]；而**（子）图异常**可能表示一个罕见的、结构偏离已知化学规范的分子环[9 (https://arxiv.org/html/2609.18107#bib.bib31)]。在传统的图异常检测（GAD）中，图神经网络（GNNs）是主要的骨干网络，通过消息传递机制实现结构和属性信息的联合编码[6 (https://arxiv.org/html/2609.18107#bib.bib32)]。然而，使用GNN的GAD面临三个基本挑战：(i) **任务异构性**：节点、边和子图级别的异常检测需要不同的模型设计，(ii) **标签稀缺性**：异常在大规模图中本质上稀少且标注成本高昂，(iii) **领域变异性**：图特征因应用领域而异，限制了跨数据集的可迁移性。这些挑战促使近期转向图基础模型（GFMs）用于GAD，该模型使用一个单一且强大的框架来泛化跨任务和领域，并仅需有限的标记数据。

基础模型[10 (https://arxiv.org/html/2609.18107#bib.bib26)]通常在大规模多样化的数据语料库上进行预训练，然后仅需最少的微调即可适配到下游任务。具体来说，自然语言处理和计算机视觉领域的所有现代基础模型都使用Transformer作为骨干[11 (https://arxiv.org/html/2609.18107#bib.bib34), 12 (https://arxiv.org/html/2609.18107#bib.bib35)]。受此成功启发，图学习社区开发了基于Transformer的GFMs，能够泛化到多样化的图任务和领域[13 (https://arxiv.org/html/2609.18107#bib.bib25), 14 (https://arxiv.org/html/2609.18107#bib.bib36)]，它们提供无界的全局自注意力以捕获长程依赖，从而克服消息传递GNN的过平滑和过挤压问题[15 (https://arxiv.org/html/2609.18107#bib.bib27)]。然而，将标准Transformer应用于图并非易事，因为它们将节点视为无序的标记集，并且缺乏任何内置机制来编码图拓扑结构。因此，位置编码的选择至关重要，因为它在注意力之前为节点表示提供结构信息。例如，使用拉普拉斯特征向量作为位置编码提供了图全局几何的数学映射，大量工作已证明了图位置编码在一般图任务中的有效性[16 (https://arxiv.org/html/2609.18107#bib.bib14), 17 (https://arxiv.org/html/2609.18107#bib.bib17)]。然而，针对异常检测方法的位置编码研究非常少。

在本工作中，我们通过整合GNN在局部结构学习（针对局部异常）方面的优势以及Transformer在捕获全局图注意力（针对通用性能）方面的长处，开发了一个GFMs。此外，我们采用了四种不同的位置编码方法，包括稳定且富有表现力的位置编码（SPE）[18 (https://arxiv.org/html/2609.18107#bib.bib23)]、随机游走结构编码（RWSE）[19 (https://arxiv.org/html/2609.18107#bib.bib20)]、节点度编码和残差距离编码。此外，节点度和残差距离编码专门用于捕获与正常节点分布不同的异常节点，如图1(a) (https://arxiv.org/html/2609.18107#S1.F1.sf1) 和图1(b) (https://arxiv.org/html/2609.18107#S1.F1.sf2) 所示。据我们所知，先前没有工作提出过将专门针对异常的GNN与Transformer结合作为基础图异常检测模型。主要贡献总结如下：

- 我们提出了首个专为GAD设计的图神经网络辅助的基于Transformer的GFMs，该模型在跨域和跨任务检测中具有良好的泛化能力。
- 为了呼应图神经网络辅助Transformer，我们引入了一种新颖的多尺度位置编码方案，整合了SPE、RWSE、残差距离和节点度，为Transformer注意力提供与异常相关的局部结构和全局上下文。
- 在九个数据集和多个基线（包括GNNs和GFMs）上的实验结果证实了所提方法的优越性，尤其是在小样本学习场景下。

请参见图注 (a) 节点度
请参见图注 (b) 残差距离

图1：正常节点和异常节点的节点度和残差距离分布。该图使用Facebook数据集绘制。
## II 相关工作

### II-A 图异常检测

早期的GAD方法依赖于统计或浅层学习方法；然而，利用GNN因其结构感知的表示而获得了极大的普及，显著提高了检测性能[20 (https://arxiv.org/html/2609.18107#bib.bib38), 6 (https://arxiv.org/html/2609.18107#bib.bib32)]。随着时间的推移，基于GNN的GAD已发展成三个主要方向：基于重建的、基于对比学习的和基于GNN聚合的。**基于重建的**方法通常训练模型编码正常的图模式，并将重建效果差的节点或结构检测为异常[21 (https://arxiv.org/html/2609.18107#bib.bib12)]。**基于对比学习的**方法通过将正常节点推近其局部邻域并将异常节点推远，为GAD提供了一种半监督学习机制[22 (https://arxiv.org/html/2609.18107#bib.bib13)]。**基于GNN聚合的**方法是一族方法，通过精心设计GNN聚合和谱滤波来解决GAD问题[23 (https://arxiv.org/html/2609.18107#bib.bib5)]。所有这些方法都是为检测特定数据领域和特定图任务（如节点、边和图级别）的异常而设计的。

尽管GAD模型性能优越，但它们遵循“一个数据集一个模型”的设定，意味着在欺诈检测图上训练的模型无法不经过重新训练就用于社交网络异常任务，这导致了繁重的数据标注需求和泛化能力差的常见问题[24 (https://arxiv.org/html/2609.18107#bib.bib7), 25 (https://arxiv.org/html/2609.18107#bib.bib9)]。

### II-B 图基础模型

受NLP和计算机视觉领域基础模型的启发，GFMs的出现旨在从数据集特定的GNN转向统一、可迁移的图模型。GraphBERT[16 (https://arxiv.org/html/2609.18107#bib.bib14)]引入了纯注意力的图学习，而在分子图上的自监督预训练表明，图Transformer可以在没有任务特定监督的情况下学习可迁移的表示。One For All (OFA)[26 (https://arxiv.org/html/2609.18107#bib.bib15)]使用提示图将所有图任务重新表述为统一的节点分类问题。OpenGraph[17 (https://arxiv.org/html/2609.18107#bib.bib17)]通过基于LLM的共享嵌入空间解决了特征异构性，而GFT[27 (https://arxiv.org/html/2609.18107#bib.bib16)]引入了可迁移的树状词汇表以实现图无关学习。

在此基础上，最近的研究已将GFMs扩展到图异常检测，主要有两个方向：GNN骨干和Transformer骨干。**GNN骨干方法**利用消息传递架构作为核心编码器。UniGAD[28 (https://arxiv.org/html/2609.18107#bib.bib10)]在单一模型下统一了节点、边和图级别的异常检测，表明多级别联合训练可以正则化表示并提高每个图级别任务的性能。UniFORM[29 (https://arxiv.org/html/2609.18107#bib.bib18)]在单一训练目标下处理跨多种图类型的异常检测，而GFM-UAD[30 (https://arxiv.org/html/2609.18107#bib.bib19)]将其扩展为一个完全统一的框架，预训练一次即可部署到所有三种图级别任务。同样，AnomalyGFM[31 (https://arxiv.org/html/2609.18107#bib.bib8)]通过将异常信号编码为残差距离（即节点表示与其邻居表示的偏差）来处理跨图特征异构性。**Transformer骨干方法**用注意力机制替代了GNN编码器。该方向包括TFM4GAD[32 (https://arxiv.org/html/2609.18107#bib.bib24)]，它通过拉普拉斯嵌入编码结构位置，并添加基于PageRank的结构特征以及使用β小波滤波器的邻域聚合；UNIP[25 (https://arxiv.org/html/2609.18107#bib.bib9)]，设计了可迁移的邻域提示，实现在完全未见过的图上的零样本异常检测；以及ARC[24 (https://arxiv.org/html/2609.18107#bib.bib7)]，将GAD重新定义为上下文学习问题，其中少量标记样本在无需重新训练的情况下指导异常评分。

然而，现有的用于异常检测的GFMs运行在固定或预对齐的特征空间上，并未充分利用Transformer架构[28 (https://arxiv.org/html/2609.18107#bib.bib10), 24 (https://arxiv.org/html/2609.18107#bib.bib7), 31 (https://arxiv.org/html/2609.18107#bib.bib8)]，这限制了它们同时建模局部邻域结构和全局图拓扑的能力。为了解决这一差距，我们提出了FoundAna，它将GNN骨干与Transformer相结合，以联合捕获局部和全局结构上下文。GNN编码局部邻域信息，而Transformer利用多尺度位置编码的组合来建模全局结构位置。

## III 预备知识

在本节中，我们简要概念化GFMs、GAD和问题表述。

### III-A 图异常检测

GAD旨在识别图中显著偏离预期正常数据样本的节点、边或子图。此处，我们定义属性图和GAD。

###### 定义 1（属性图）。

一个属性图定义为 $\mathcal{G}=(\mathcal{V},\mathcal{E},\mathbf{X})$，其中 $\mathcal{V}=\{v_{1},v_{2},\ldots,v_{n}\}$ 是节点集，且 $|\mathcal{V}|=n$，$\mathcal{E}\subseteq\mathcal{V}\times\mathcal{V}$ 是边集，$\mathbf{X}\in\mathbb{R}^{n\times d}$ 是输入维度为 $d$ 的节点特征矩阵，其中 $\mathbf{x}_{i}\in\mathbb{R}^{d}$ 表示节点 $u_{i}$ 的特征向量。图拓扑由邻接矩阵 $\mathbf{A}\in\{0,1\}^{n\times n}$ 编码，其中：
$\mathbf{A}_{ij}=\begin{cases}1&\text{如果 } v_{i} \text{ 和 } v_{j} \text{ 之间存在一条边，}\\ 0&\text{否则。}\end{cases}$

请参见图注 图2：所提出的FoundAna框架。###### 定义 2（图异常检测）。

给定一个属性图 $\mathcal{G}$，图异常检测旨在学习一个评分函数 $\phi:\mathcal{V}\rightarrow\mathbb{R}$，为每个节点 $v_{i}\in\mathcal{V}$（或边、图分别对应 $\mathcal{E}$ 和 $\mathcal{G}$）分配一个异常分数：$s_{i}=\phi(v_{i})$。

### III-B 图基础模型

###### 定义 3（图基础模型）。

一个图基础模型是一个预训练的编码器 $\mathcal{F}_{G}$，它将一个具有节点特征矩阵 $\mathbf{X}\in\mathbb{R}^{|\mathcal{V}|\times d}$ 的属性图 $\mathcal{G}=(\mathcal{V},\mathcal{E},\mathbf{X})$ 映射到...