大海捞针：通过反事实扰动实现弱监督日志实例异常定位

# 沙里淘金：基于反事实扰动的弱监督日志实例异常定位
来源：https://arxiv.org/html/2605.10988
###### 摘要

日志异常检测对于系统运维和安全保障至关重要。然而，在大规模网络系统中，日志数据量巨大，而实例级标注成本高昂，这给细粒度的异常定位带来了巨大困难。为应对这一挑战，我们提出了 LogMILP（基于原型增强和扰动的多实例学习日志异常定位），这是一种弱监督框架，仅使用包级标签即可实现包级异常检测和实例级异常定位。我们的方法通过原型引导的结构化建模和反事实扰动一致性正则化，指导模型精准定位关键日志条目，从而在粗粒度监督下提高定位的可靠性和可解释性。在三个公开数据集上的实验结果表明，LogMILP 在保持具有竞争力的检测性能的同时，实现了显著更可靠的实例级定位。我们的代码已开源：https://github.com/YUK1207/LogMILP。

## I 引言

日志数据一直是现代网络系统中最基本的运维信息来源之一。随着云计算和分布式架构的广泛采用，日志数据的规模和语义复杂性大幅增加，为高效的异常检测和关键日志条目的精确定位带来了困难。

现有的日志异常检测方法通常根据标签条件分为三类。监督方法在拥有充足标注时往往能取得良好的性能，但它们严重依赖人工标注，因此难以扩展到工业应用\[7 (https://arxiv.org/html/2605.10988#bib.bib16)\]。无监督方法不需要标签数据，但在正常样本和异常样本语义相似时，往往受限于高误报率\[17 (https://arxiv.org/html/2605.10988#bib.bib24)\]。使用粗粒度标签的弱监督方法具有极高的实用价值，但在实例定位方面存在困难，且可解释性有限\[10 (https://arxiv.org/html/2605.10988#bib.bib17)\]\[12 (https://arxiv.org/html/2605.10988#bib.bib18)\]。

考虑到日志系统的特性及其管理方式，多实例学习（MIL）非常适合该场景：将时间窗口内的日志视为一个**包（bag）**，将窗口内的每条日志视为一个**实例（instance）**，检测模型可以使用仅包含包级标签的数据进行训练\[23 (https://arxiv.org/html/2605.10988#bib.bib1)\]。这一设定紧密贴合现实工程场景，即系统通常只能承受窗口级的警报，而非精确的实例级标注。尽管现有的基于 MIL 的方法展示了令人瞩目的潜力，但仍面临两大挑战：1）实例定位容易受到高频日志模式的干扰；2）学习到的表征未必能揭示因果贡献，从而阻碍了关键条目的定位。

为了解决这些问题，我们提出了一种原型和扰动增强的多实例学习框架（LogMILP），通过原型锚点和扰动敏感性加强检测模型。具体而言，我们使用可学习的原型向量来表征潜在模式的分布，并利用实例-原型相似度统计来辅助注意力分配和包级预测。最重要的是，我们对每个包中识别出的关键实例应用反事实扰动，以鼓励模型关注决定性证据，从而提高定位的可靠性和可解释性。所提出模型的整体架构如图 1 (https://arxiv.org/html/2605.10988#S1.F1) 所示。

除了传统的包级评估外，我们还通过两项细粒度指标 Loc@k 和成功率（SR）\[8 (https://arxiv.org/html/2605.10988#bib.bib2)\]，实证测试了我们的方法在实例级异常定位（即查找关键日志条目）上的表现。总之，我们的主要贡献如下：

- •我们开发了一种专为日志数据挖掘设计的新型 MIL 框架。据我们所知，这是首个由原型和扰动机制赋能的、用于细粒度日志异常定位的基于 MIL 的解决方案。
- •我们实现了一种统一的模型架构，将原型统计特征与多头注意力机制相结合，实现了全局模式分布和局部实例贡献的联合建模。
- •我们引入了一种基于反事实扰动的训练机制，有效缓解了伪定位问题并提高了模型的可解释性。
- •在三个公开数据集 BGL\[19 (https://arxiv.org/html/2605.10988#bib.bib10)\]\[9 (https://arxiv.org/html/2605.10988#bib.bib11)\]、Spirit\[19 (https://arxiv.org/html/2605.10988#bib.bib10)\] 和 ZooKeeper\[9 (https://arxiv.org/html/2605.10988#bib.bib11)\] 上的大量实验表明，LogMILP 在检测性能和定位可靠性方面均具有明显优势。

引用说明图 1: LogMILP 的整体架构
## II 相关工作

### II-A 日志异常检测

早期方法通过建模正常模式来检测异常。一个代表性例子是 DeepLog\[4 (https://arxiv.org/html/2605.10988#bib.bib12)\]，它利用 LSTM 学习日志模板序列的时间依赖性，并将偏离预测模式的日志视为异常。LogAnomaly\[18 (https://arxiv.org/html/2605.10988#bib.bib13)\] 进一步融入了语义和统计特征，以提高在复杂场景中的适应性。这些方法在结构稳定且模板变化有限的环境中表现良好，但通常需要实例级标签进行监督训练。

随着深度表示学习的发展，越来越多的研究利用上下文语义来提高检测性能。LogBERT\[5 (https://arxiv.org/html/2605.10988#bib.bib14)\] 将日志异常检测公式化为自监督学习任务，并通过掩码预测和序列关系建模学习鲁棒的表征。LogFormer\[6 (https://arxiv.org/html/2605.10988#bib.bib15)\] 进一步细化了 Transformer 架构以增强长程建模。这些方法通常对会话级检测更有效。然而，它们的主要焦点仍是检测准确率，对实例级定位和可解释性的关注有限。

### II-B 弱监督日志异常检测与 MIL

在实际工程场景中，精确的实例级标注通常难以获得。这一现实问题促使越来越多的研究关注弱监督日志异常检测\[10 (https://arxiv.org/html/2605.10988#bib.bib17)\]\[12 (https://arxiv.org/html/2605.10988#bib.bib18)\]。在这些方法中，MIL 作为大规模日志系统常见实践（日志分批解析和标注）的实际匹配方案脱颖而出。在许多情况下，系统可以检测到异常的时间窗口，但无法确定确切的时间点。MIL 通过仅使用包级标签针对这一问题设定，从而实现了异常检测和实例定位。近年来，基于注意力的 MIL 已广泛应用于弱监督视频异常检测和日志分析。例如，MIDLog\[7 (https://arxiv.org/html/2605.10988#bib.bib16)\] 展示了该范式在降低标注成本方面的实用价值。

然而，以往的基于 MIL 的方法存在两大局限。首先，实例定位容易受到噪声日志、高频模板或统计偏差的影响。其次，虽然注意力分布通常被视为可解释性的基础，但在 MIL 中，高注意力并不必然意味着高贡献。因此，如何在弱监督下同时提高定位能力和可解释性仍是一个悬而未决的问题。

### II-C 原型学习

原型学习通过在特征空间中引入一组可学习的原型向量，显式地表征数据分布中的代表性模式\[16 (https://arxiv.org/html/2605.10988#bib.bib23)\]。这一范式已广泛应用于图像分类\[15 (https://arxiv.org/html/2605.10988#bib.bib3)\]、少样本学习\[2 (https://arxiv.org/html/2605.10988#bib.bib21)\]、时间建模\[13 (https://arxiv.org/html/2605.10988#bib.bib4)\] 和异常检测\[3 (https://arxiv.org/html/2605.10988#bib.bib5)\] 等任务。与仅依赖隐式表征的深度模型相比，基于原型的机制可以构建更具结构化的特征空间，从而提高判别能力和可解释性。

在异常检测任务中，原型可用于表征主导模式的中心，并帮助识别偏离主流分布的异常样本。在弱监督设定下，原型机制在缺乏实例级标签的情况下提供了额外的结构约束，从而增强了不同实例在潜在空间中的可分离性。这对于日志数据挖掘尤为有益，其中正常样本具有丰富的模式，而异常样本分布稀疏。

### II-D 扰动一致性与可解释性

近年来，可解释机器学习的研究日益表明，注意力权重或显著性分数并不一定反映模型决策的真实依据\[17 (https://arxiv.org/html/2605.10988#bib.bib24)\]。在此方面，反事实扰动\[20 (https://arxiv.org/html/2605.10988#bib.bib6)\] 和一致性正则化\[24 (https://arxiv.org/html/2605.10988#bib.bib7)\] 已成为重要机制。其核心思想是删除、掩码或替换模型识别为最关键的输入片段，然后检查输出是否按预期发生变化。

这一思想已在弱监督视频异常检测\[11 (https://arxiv.org/html/2605.10988#bib.bib8)\]、自然语言处理\[21 (https://arxiv.org/html/2605.10988#bib.bib22)\] 和可解释神经网络分析\[1 (https://arxiv.org/html/2605.10988#bib.bib9)\] 中得到验证。对于弱监督日志异常检测，反事实扰动可以为实例定位提供额外的可靠性检查：如果移除注意力权重最高的实例导致预测几乎没有变化，那么相应的定位可能反映的是虚假关联而非真实证据。受此观察的启发，我们提出在日志异常检测的 MIL 框架中纳入定制的扰动一致性正则化，以使我们的模型决策既可靠又可解释。

## III 方法论

### III-A 概述

我们考虑一种实际场景，即仅提供时间窗口的异常事件警报，而缺乏单个日志条目的标注。因此，我们将其公式化为多实例学习问题。相应地，每个时间窗口（或日志块）被视为一个**包**，其中的日志条目被视为**实例**，训练仅使用包级标签进行。

LogMILP 由三个构建块组成：实例表征编码、原型引导的多头注意力聚合以及关键实例扰动一致性训练。模型首先对输入日志嵌入应用线性投影和上下文编码，以获得实例级潜在表征。然后，它利用可学习的原型对潜在空间中的代表性模式分布进行建模，并使用原型相似度统计来辅助注意力聚合和分类。最后，基于当前模型识别的关键实例构建扰动样本，并施加一致性约束以提高实例定位的可靠性。

### III-B 问题陈述

考虑原始日志序列 $S=\{x_1, x_2, \dots, x_N\}$，其中 $x_i \in \mathbb{R}^d$ 表示第 $i$ 条日志条目的输入嵌入。该序列以固定窗口大小 $W$ 和步长 $s$ 自然分割，1例如，每 6 小时解析和打包日志。生成一系列子序列（在 MIL 中称为**包**）：

$B_j = \{x_{(j-1)s+1}, x_{(j-1)s+2}, \dots, x_{(j-1)s+W}\}.$ (1)

每个包关联一个标签 $Y_j \in \{0, 1\}$。在 MIL 设定下，

$Y_j = \max_{k=1}^{W} \{y_{j,k}\},$ (2)

其中 $y_{j,k}=1$ 表示第 $k$ 个日志实例记录了异常事件，但系统中不可用。在训练期间，仅可用包级标签。

### III-C 实例编码

对于每个包 $B$，模型首先通过线性变换将输入嵌入投影到潜在空间：$\mathbf{H} = \mathbf{X}\mathbf{W} + \mathbf{b}$，其中 $\mathbf{X} \in \mathbb{R}^{W \times d}$ 表示输入序列，$\mathbf{W} \in \mathbb{R}^{d \times d_h}$ 和 $\mathbf{b} \in \mathbb{R}^{d_h}$ 是可学习参数，$d_h$ 是隐藏维度。然后将得到的表征 $\mathbf{H}$ 输入到两层 Transformer 编码器\[22 (https://arxiv.org/html/2605.10988#bib.bib19)\] $\Psi$ 中以获取上下文增强表征：$\mathbf{Z} = \Psi(\mathbf{H})$，其中 $\mathbf{Z} = \{\mathbf{z}_1, \mathbf{z}_2, \dots, \mathbf{z}_W\}$ 且 $\mathbf{z}_i \in \mathbb{R}^{d_h}$。

### III-D 原型引导的表征学习

为了增强典型日志模式的结构化建模，我们定义 $N$ 个可学习的原型向量，记为 $P = \{p_1, p_2, \dots, p_N\}$，其中 $p_j \in \mathbb{R}^{d_h}$。在对实例表征和原型应用 $L_2$ 归一化后，计算欧几里得距离为 $d_{i,j} = \|\hat{z}_i - \hat{p}_j\|_2$，然后映射为相似度得分 $s_{i,j} = \frac{1}{1 + d_{i,j}}$，其中 $s_{i,j} \in (0, 1]$。每个实例的最大原型相似度定义为 $m_i = \max_j s_{i,j}$，基于此引入异常候选偏差 $b_i = 1 - m_i$。

在包级，我们构建原型统计特征，包括最大实例相似度 $M_{bag} = \max_i m_i$、原型分配熵 $E_{bag}$ 和平均原型激活 $V_{bag}$，它们被拼接为 $\mathbf{F}_p = (M_{bag}, E_{bag}, V_{bag})$。需要强调的是，$\mathbf{F}_p$ 作为辅助统计描述符，而非直接异常得分。最后，模型基于 $\mathbf{F}_p$ 和 $\mathbf{Z}_{cat}$ 输出包级预测 $\hat{y}$，以及注意力权重 $\mathbf{A}$ 和中间统计量 $\mathcal{E}$。

### III-E 训练中的扰动一致性约束

仅依赖注意力权重容易导致伪定位，即实例获得高注意力但...