通过图神经网络提升云网络安全异常检测

# 通过图神经网络改进云网络安全异常检测
来源：https://arxiv.org/html/2606.28923

###### 摘要

由于对云基础设施的依赖日益增加，检测组织云计算环境中的安全威胁已成为必要。对所有云计算事件进行日志记录，能够在检测到事件后对其进行调查。基于启发式规则或异常检测的日志自动威胁检测，因其相对静态的特性，可能导致较高的误报率。本文介绍了一项工业案例研究，采用基于图神经网络的自监督学习方法，应用于AWS CloudTrail日志，以识别可疑事件供分析师审查。该模型为每个事件生成异常评分，并能动态适应组织的变化，无需定期重新训练。基于对五个组织的实验，所提模型在几乎所有情况下产生的警报数量远少于基于领域专家规则的基线方法，将警报量从传统方法生成的数千条降至大约每小时1条。我们注意到，本评估仅涵盖被标记的事件，无法从当前数据估算漏报情况；因此，研究结果应被视为一项实际部署研究，提供对现实约束的见解，而非一个完全验证的检测系统。我们讨论了这些局限性以及未来将方法扩展到其他云环境所需的要求。

## 1 引言

现代组织通常大量使用云计算资产，如AWS、GCP、Microsoft Azure等。任何对云资源的访问都会被记录，以便进行运维、识别错误以及调查恶意活动。例如，AWS CloudTrail日志提供了组织拥有账户发出的每个API调用的详细信息，从而能够识别AWS资源的低效使用、发现正在进行的网络攻击，或在事后调查网络攻击的起源。尽管这些日志对于检测和补救云安全漏洞具有重要价值，但其巨大数量会使安全分析师例行地为了上述目的而研究这些日志变得非常繁琐和耗时。拥有大型云足迹的组织每天记录数百万个事件的情况很常见。通常，分析师依靠启发式规则来识别可疑事件并进行深入调查。例如，一个用户首次担任管理员角色以访问特权数据，可能就需要调查。虽然这种基于规则的方法在一些已知情况下可以高效工作，但由于事件的动态特性，它们可能会遗漏可能导致漏洞的多种事件。此外，基于规则的方法需要专家维护，成本高且容易出错。虽然将这些方法与此类基于异常检测的方法相结合可以提高性能，但适应速度可能较慢或成本较高。任何有助于减少分析师手动工作并提高漏洞检测的自动化技术都具有巨大价值。

本文介绍了我们在识别AWS CloudTrail日志中异常事件方面的研究，重点关注工业应用。由于从事件中提取的特征较为简单，该通用策略预计可应用于其他云日志。考虑到事件的多样性以及每个组织的安全状况和关注点各不相同，监督学习方法并不可行。我们还描述了对自监督学习方法在该问题上的应用研究，如结果部分所示，在标记事件中，与基线方法相比，我们发现被标记为中风险或更高风险的事件数量增加了十倍。具体来说，我们采用了时序图网络（TGN）[1 (https://arxiv.org/html/2606.28923#bib.bib1)]，这是一种非常适合该应用的图神经网络（GNN）。GNN在设计上擅长处理图形格式的数据。它们能够捕捉图中实体之间关系的本质，而无需复杂的手工特征。结果是它们具有卓越的性能，并在工业界的多种应用中被广泛使用[2 (https://arxiv.org/html/2606.28923#bib.bib2),3 (https://arxiv.org/html/2606.28923#bib.bib3),4 (https://arxiv.org/html/2606.28923#bib.bib4),5 (https://arxiv.org/html/2606.28923#bib.bib5),6 (https://arxiv.org/html/2606.28923#bib.bib6)]。关于在工业环境中评估和调整此类方法的实际挑战以及我们方法的局限性，将在第4.7节中描述。

CloudTrail日志天生适合表示为图。每个事件本质上是从一个账户到一个资源的链接，或者换句话说，是账户节点到资源节点的一条边。图1给出了这样一个图的示例，其中节点是账户或云资源。图中的边表示连接它们的事件，事件的详细信息可以表示为边特征。该方法考虑对数据进行最小化处理，以保留该领域的一些专业知识，而不是像[7 (https://arxiv.org/html/2606.28923#bib.bib7),8 (https://arxiv.org/html/2606.28923#bib.bib8)]那样完全与领域无关。虽然GNN此前已用于网络安全应用，但据作者所知，这是第一个专门将其用于云日志威胁检测的研究。此外，还提出了针对特定GNN训练过程的定制化方法，旨在很好地处理此类数据。

参见图注 图1：CloudTrail日志的图表示。左侧节点表示账户，右侧节点表示资源。账户对资源发起的事件被表示为连接其节点的边。

与异常检测方法相比，我们的解决方案具有以下操作优势：

- **推理过程中的适应性**：异常的性质随时间变化。组织会动态添加或移除账户或资源。我们的解决方案能够轻松适应环境的变化，而无需频繁重新训练模型。
- **异常在设计中基于账户或资源级别识别**：由于底层算法的性质，异常是在账户或资源级别识别的，而不是组织范围的统一定义，在我们的实验中，与基于规则的异常检测基线相比，这导致了更少的误报警报。需要进一步实验分析对漏检（假阴性）的影响，详见第4.7节。

## 2 相关工作

由于可从列式数据库和图数据库中提取的图结构相互作用，数据库社区一直在越来越多地研究网络安全问题。最近，[9 (https://arxiv.org/html/2606.28923#bib.bib9)]利用图结构和神经网络将攻击分为四种不同类型，以帮助安全分析师。类似地，[10 (https://arxiv.org/html/2606.28923#bib.bib10)]使用图来识别已知攻击的新危害指标（IoC）。然而，这两项工作都没有详细说明如何首先识别攻击——这正是我们在本文中研究的内容。这种图表示也被用于支持逆向工程[11 (https://arxiv.org/html/2606.28923#bib.bib11)]和报告生成[12 (https://arxiv.org/html/2606.28923#bib.bib12),13 (https://arxiv.org/html/2606.28923#bib.bib13)]，有助于告知检测的有用特征，但这超出了本文的范围。

先前已有关于使用机器学习进行CloudTrail日志异常检测的研究[14 (https://arxiv.org/html/2606.28923#bib.bib14)]，大多数解决方案需要特征工程来捕捉图1中图的拓扑信息。虽然大型语言模型（LLM）正在被研究，但出于财务和延迟原因，其计算成本目前使其不可行[15 (https://arxiv.org/html/2606.28923#bib.bib15)]。应用基于图的方法的非LLM解决方案通常考虑静态图[16 (https://arxiv.org/html/2606.28923#bib.bib16),17 (https://arxiv.org/html/2606.28923#bib.bib17),18 (https://arxiv.org/html/2606.28923#bib.bib18),19 (https://arxiv.org/html/2606.28923#bib.bib19)]，例如网络流日志数据。静态图是GNN早期研究的主要焦点，其中只有边特征随时间变化，例如Google Maps中的交通预测示例[4 (https://arxiv.org/html/2606.28923#bib.bib4)]。动态图可以通过改变节点特征甚至添加或移除节点来随时间改变其拓扑结构，例如社交媒体中的用户图。近期关于动态图的研究对网络安全总体而言很有意义，因为该领域的大多数用例似乎都需要动态图。与常用的GNN方法（如GCN[20 (https://arxiv.org/html/2606.28923#bib.bib20)]）不同，TGN[1 (https://arxiv.org/html/2606.28923#bib.bib1)]适用于动态图，其中可以根据需要添加或移除节点。例如，添加新账户或资源（如S3存储桶）会通过添加新节点而被模型优雅地处理。此外，考虑基于时间的云资源使用模式至关重要。这不仅有助于发现用户账户在非典型时间发生的事件，还有助于识别一组相似账户使用模式的演变情况。动态图的时间演化也在TGN中得到体现，因为事件是按时间顺序处理的。有两种建模动态图的方法：

- **离散时间动态图（DTDG）**：对按固定时间间隔拍摄的静态图快照序列进行处理。一种解决方案是将网络流数据的时间图分割成按时间间隔拍摄的快照，以训练GNN和RNN的组合[21 (https://arxiv.org/html/2606.28923#bib.bib21)]用于入侵检测。
- **连续时间动态图（CTDG）**：不需要数据以固定间隔的快照形式存在，而是作为事件序列进行处理[22 (https://arxiv.org/html/2606.28923#bib.bib22)]

TGN建立在多个可处理CTDG的其他GNN模型之上，并且是其中最具通用性的。一个特别有用的特性是其处理边特征的能力。据报道，它在最大的图数据集上提供了最佳性能[23 (https://arxiv.org/html/2606.28923#bib.bib23),24 (https://arxiv.org/html/2606.28923#bib.bib24)]。TGN遵循消息传递神经网络框架[25 (https://arxiv.org/html/2606.28923#bib.bib25)]。TGN使用自监督学习在无标签数据上进行训练，其中假设现有边的目标值为1，生成的负样本的目标值为0。推理过程中，模型通过sigmoid函数输出一个分数，反映具有指定特征的给定边存在于节点之间的可能性；在本文中，我们将此输出视为异常分数。

### 2.1 时序图网络模型

图2说明了TGN模型的构建模块以及它如何处理一批事件数据进行模型训练。给定节点i和j，它们在时间t具有事件e，节点i的消息mi由msg(si, sj, t, e)计算得出。消息函数可以使用任何函数计算，例如输入特征的组合或多层感知器（MLP）。消息聚合器使用聚合函数（如该节点消息的平均值）组合与每个节点相关的多个事件。最后，更新函数使用聚合后的节点消息和当前节点记忆，通过门控循环单元（GRU）计算新的节点记忆。这是TGN的另一个实际优势：模型在推理过程中更新其记忆，使得未来预测可以基于训练期之后发生的事件。节点i在时间t的节点嵌入是通过图注意力机制，应用于节点i及其邻居节点以及连接它们的边的先前计算的嵌入来计算的。这些嵌入被馈送到一个解码器（MLP），该解码器通过sigmoid输出为每条边生成一个介于(0,1)之间的异常分数。请注意，由于TGN不是贝叶斯模型，此输出不是校准后的概率；在本文中，我们将其视为异常分数，并应用阈值来标记需要审查的事件，这与异常检测文献中的标准实践一致。模型训练采用二元交叉熵损失函数。

参见图注 图2：来自[1 (https://arxiv.org/html/2606.28923#bib.bib1)]的TGN模型中的计算模块。事件序列按批次处理，每个事件是图中的一条边。模型根据相关节点的嵌入为每条边计算异常分数。每个节点的嵌入基于同一节点及其邻居的存储“记忆”进行更新。

## 3 方法

### 3.1 数据处理

云日志捕获客户环境中的所有事件。这可能包括服务访问其云资源的任何API调用，或人工用户通过SDK或CLI命令发出的API调用。安全态势良好的组织与大量使用自动化、限制访问少数角色等的组织相比，其云日志集往往非常不同。一个例子是大型组织为管理CI/CD所必需的GitLab Runner自动化。资源的使用情况也可能差异很大，例如，销售健身追踪器的组织将会有持续不断的S3数据更新流，而零售商店可能只有定期的数据更新。我们使用简单的特征工程来创建一组归一化的特征，可用于所有客户。此外，这些特征旨在指示可能的安全风险，而不是捕获事件日志的所有信息。

#### 3.1.1 特征提取

从每条日志中提取以下信息，如图3所示：

- **与事件关联的账户**：如事件账户标识部分所述，这将是直接或通过假定角色发起事件的原始AWS账户。当无法从可用数据追溯到原始账户时，则使用与事件日志关联的主体ID。
- **与事件关联的资源**：许多事件在资源ARN（Amazon资源名称）中指定了资源名称。然而，有些事件未以这种格式指定资源名称。我们关注事件日志顶层中的完全限定ARN。任何未在顶层提供此类资源ARN的事件将被忽略。尽管这会导致部分数据丢失，但我们认为拥有足够数量的日志来证明该方法的可行性。从资源ARN中，根据AWS指定的ARN格式提取资源ID。对于S3服务的日志，资源ID会进一步处理，只保留存储桶名称。例如，如果S3位置提到了文件夹结构和文件名，则所有那