LLM作为检测器：一种用于表格异常检测的上下文学习方法

# 一种基于上下文学习的表格异常检测方法
来源: https://arxiv.org/html/2608.19463
Tu Anh Hoang Nguyen 附属机构: 应用人工智能倡议 (A2I2)，澳大利亚迪肯大学，电子邮件: [{joseph.nguyen,d.nguyen,sunil.gupta}@deakin.edu.au](mailto:{joseph.nguyen,d.nguyen,sunil.gupta}@deakin.edu.au)
Dang Nguyen 附属机构: 应用人工智能倡议 (A2I2)，澳大利亚迪肯大学，电子邮件: [{joseph.nguyen,d.nguyen,sunil.gupta}@deakin.edu.au](mailto:{joseph.nguyen,d.nguyen,sunil.gupta}@deakin.edu.au)
Trung Le
Sunil Gupta 附属机构: 应用人工智能倡议 (A2I2)，澳大利亚迪肯大学，电子邮件: [{joseph.nguyen,d.nguyen,sunil.gupta}@deakin.edu.au](mailto:{joseph.nguyen,d.nguyen,sunil.gupta}@deakin.edu.au)

###### 摘要

表格数据中的异常检测极具挑战性，因为异常样本往往源于对跨特征依赖关系的违反，而非简单的边际偏差。现有的检测器依赖于几何或重建信号，而先前的基于大语言模型的方法主要使用正常样本对LLM进行微调或生成合成异常。我们提出了LLM-Detector框架，该框架利用LLM的上下文学习能力进行结构化、基于提示条件的评分合成，使LLM能够从结构化的正常状态知识中推导异常检测逻辑。具体而言，正常训练数据被转化为统计摘要、因果依赖关系和蒸馏原型，并组织成用于代码生成的提示。最终生成的评分引擎评估统计偏差、结构不一致性和基于密度的异常性，并为每个测试样本计算异常分数。我们在24个表格数据集上评估了LLM-Detector，并与15种最先进的基线方法进行比较。结果表明，在混合类型和纯连续型数据设置中，性能均有一致提升。此外，该设计无需对LLM进行微调或训练神经网络，降低了计算成本，使得在实际表格系统中进行实用的异常检测成为可能。

###### 关键词:
表格异常检测 大语言模型 上下文学习

## 1 引言
表格异常检测（TAD）在金融、医疗保健和网络安全等领域至关重要[9 (https://arxiv.org/html/2608.19463#bib.bib21)]，检测异常记录可以防止代价高昂的故障或风险。在实践中，异常标签稀少且获取成本高，导致高度不平衡的设置，模型通常仅在正常数据上训练作为无监督任务。表格数据由于其混合特征类型、异构尺度，以及缺乏许多学习方法所依赖的空间或序列归纳结构[15 (https://arxiv.org/html/2608.19463#bib.bib22)]，也带来了固有的挑战。此外，异常往往局部看似合理，但违反了跨特征依赖关系或领域机制。因此，表格数据中的异常通常是结构性和关系性的，而不仅仅是纯数值的，这使得可靠地检测异常本质上具有挑战性。

大多数现有的TAD方法是基于重建的方法，它们学习正常数据的表示，并通过重建误差检测异常[24 (https://arxiv.org/html/2608.19463#bib.bib29), 12 (https://arxiv.org/html/2608.19463#bib.bib13), 25 (https://arxiv.org/html/2608.19463#bib.bib17)]。虽然这些方法在捕获数值偏差方面有效，但它们主要关注重建保真度，很少强制执行特征间的一致性。更广泛地说，许多检测范式将异常视为远离的点，严重依赖密度稀疏性。然而，表格数据中的异常在数值上可能仍然合理，但违反了变量之间的关系依赖。此外，混合类型数据的常见预处理（如编码分类变量）可能会扭曲语义并削弱领域推理。因此，有效的TAD需要超越纯数值偏差的推理[26 (https://arxiv.org/html/2608.19463#bib.bib23)]。

受这些限制的启发，最近的研究开始探索使用大语言模型进行TAD，其中AnoLLM[30 (https://arxiv.org/html/2608.19463#bib.bib19)]和LLM-DAS[32 (https://arxiv.org/html/2608.19463#bib.bib20)]是迄今为止仅有的两种代表性方法。AnoLLM直接将LLM用作异常分类器，允许通过文本上下文和跨特征的语义关系来表示混合类型属性。然而，这种方法计算成本高且每个样本的推理效率低下。LLM-DAS通过为常规检测器生成困难的异常样本来缓解此问题，但其数值骨干网络仍然编码分类属性，存在语义损失的风险。如图1所示，这两种方法都不能同时支持分类变量处理、计算效率和因果建模，这激发了一个更深层次的问题：异常检测能否通过对结构化正常状态知识的上下文推理来实现？

图1：基于LLM的TAD方法在分类变量处理、计算效率和因果建模方面的比较。
为探索此问题，我们提出了LLM-Detector框架，该框架利用上下文学习能力（无需对LLM进行微调），从结构化的正常状态知识中合成一个可执行的异常检测引擎。LLM-Detector由两个阶段组成。首先，从正常训练数据中提取统计概况、因果关系和代表性原型，并组织成结构化提示，以引出评分逻辑。然后，LLM生成实现此检测机制的确定性程序。其次，合成的程序通过聚合统计偏差、结构不一致性和基于密度的异常信号来评估未见过的样本，从而产生异常分数。这种设计通过上下文引导的代码生成而非模型训练来实现异常检测。

我们的贡献总结如下：
(1) 我们提出了LLM-Detector框架，该框架通过从结构化正常状态知识中进行上下文学习来引出可执行的评分逻辑，从而将LLM视为异常检测器，无需LLM训练/微调。
(2) 我们形式化了一种结构化的正常状态知识分解方法，证明将统计概况、因果关系和代表性原型注入提示能够生成因果结构引导的评分逻辑。
(3) 我们在24个多样化的表格基准数据集上进行了广泛评估，结果表明所提出的框架在检测性能上优于最先进的统计方法、深度学习方法和近期的LLM方法。

## 2 相关工作
### 2.1 表格数据的无监督异常检测
表格异常检测（TAD）旨在识别无标签数据集中的异常记录，这在许多现实领域中都会出现。由于异常标签稀缺且通常不可靠，大多数实际方法在无监督设置下运行。现有方法通常通过建模正常数据的分布并识别偏离该分布的样本来检测异常。经典方法包括基于邻近的方法，如KNN[21 (https://arxiv.org/html/2608.19463#bib.bib9)]、孤立森林[13 (https://arxiv.org/html/2608.19463#bib.bib1)]、PCA[27 (https://arxiv.org/html/2608.19463#bib.bib8)]和ECOD[11 (https://arxiv.org/html/2608.19463#bib.bib10)]。近期的工作利用表示学习和深度模型，包括DeepSVDD[23 (https://arxiv.org/html/2608.19463#bib.bib11)]和GOAD[2 (https://arxiv.org/html/2608.19463#bib.bib15)]，以及基于重建或生成的方法，如REPEN[18 (https://arxiv.org/html/2608.19463#bib.bib12)]、NeuTraL[19 (https://arxiv.org/html/2608.19463#bib.bib16)]、SLAD[31 (https://arxiv.org/html/2608.19463#bib.bib14)]和AnoGAN[24 (https://arxiv.org/html/2608.19463#bib.bib29)]。最近，CausalAno[17 (https://arxiv.org/html/2608.19463#bib.bib6)]建模因果依赖关系以检测由机制违反引起的异常。尽管这些方法各不相同，但它们很大程度上依赖于边际偏差或密度稀疏性，这限制了它们捕获特征间关系不一致的能力。

### 2.2 用于表格数据学习的大语言模型
最近的研究探索了使用LLM从表格数据中学习，方法是将结构化行转换为文本表示，并利用上下文推理[3 (https://arxiv.org/html/2608.19463#bib.bib30)]。除了分析任务，LLM还被应用于表格数据合成[3 (https://arxiv.org/html/2608.19463#bib.bib30), 16 (https://arxiv.org/html/2608.19463#bib.bib24)]。最近，AnoLLM[30 (https://arxiv.org/html/2608.19463#bib.bib19)]通过对正常样本进行模型微调来应用LLM检测表格数据中的异常。类似地，LLM-DAS[32 (https://arxiv.org/html/2608.19463#bib.bib20)]利用LLM合成困难的异常样本以改进常规检测器。然而，这些方法主要将LLM用作预测器或数据生成器，在构建可执行检测机制方面LLM的作用在很大程度上尚未被探索。

## 3 框架
### 3.1 问题形式化
遵循先前的工作[24 (https://arxiv.org/html/2608.19463#bib.bib29), 14 (https://arxiv.org/html/2608.19463#bib.bib18), 30 (https://arxiv.org/html/2608.19463#bib.bib19)]，我们研究无监督TAD问题，使用完全由N个正常样本组成的正常训练集$D_{\text{normal}}=\{x_i\}_{i=1}^N$，其中$x_i \in \mathbb{R}^d$包含数值或分类特征。任务涉及评估测试集$D_{\text{test}}=\{(x'_j, y'_j)\}_{j=1}^M$，其中标签$y'_j \in \{0,1\}$，若$y'_j=0$则表示正常样本，若$y'_j=1$则表示异常。我们的目标是（不通过反向传播或模型微调）从$D_{\text{normal}}$中提取的结构化正常状态知识中归纳出一个可执行的评分函数$s: \mathbb{R}^d \rightarrow \mathbb{R}$，该函数为$D_{\text{test}}$中的异常实例分配更高的分数。

### 3.2 提出的方法：LLM-Detector
我们提出了LLM-Detector框架，该框架利用LLM的上下文学习能力来自动化合成特定领域的异常检测引擎。在我们的框架中，上下文学习被视为一种代码合成机制。LLM不经过微调；而是以一个由正常状态知识和评分指令组成的紧凑提示为条件。具体来说，提示将$p_{\text{stats}}$、$p_{\text{causal}}$和$p_{\text{distill}}$以及明确的分量评分规则注入LLM上下文。然后，LLM将这四个提示元素转换为一个可执行的Python评分引擎，该引擎为每个测试样本计算$S_{\text{outlier}}$、$S_{\text{causal}}$和$S_{\text{density}}$。模型的输出不是标签预测，而是计算异常分数的确定性算法。

图2：我们的框架LLM-Detector。它有两个阶段：(1) 知识到代码，从正常数据中提取统计概况、因果结构和蒸馏原型以构建结构化提示；(2) 代码到分数，生成一个评分引擎，在测试样本上执行以计算异常分数。
如图2所示，我们的方法通过两阶段流水线运行，将知识密集型提示的构建与独立评分引擎的执行清晰地解耦。这种设计提供了几个实际优势。由于LLM完全通过提示条件合成操作，LLM-Detector不需要模型训练或微调。它还避免了繁重的预处理流程，并允许生成的评分引擎直接应用于$D_{\text{test}}$。此外，提示包含了从正常状态派生的结构化知识，而不是直接传输完整的正常样本数据集，从而降低了数据泄露风险。因此，我们的方法保持轻量级、隐私保护意识强，并且可跨领域泛化。

#### 知识到代码：提示构建与代码生成
此阶段的主要目标是将正常数据$D_{\text{normal}}$转换为一个紧凑的“正常状态知识包”。通过零样本利用LLM，我们驱动合成一个可执行的评分引擎，而无需改变任何模型权重或需要专门的GPU集群进行训练。为了形式化这种零样本合成过程，我们将代码生成请求结构化为三个功能组件：
$p_{\text{code}} = p_{\text{description}} + p_{\text{objective}} + p_{\text{requirements}}$ (1)
##### 描述 ($p_{\text{description}}$)
描述组件编码从$D_{\text{normal}}$提取的、生成的评分引擎必须操作的数据集派生的正常状态知识。它定义了评分逻辑构建所依据的信息基础。

描述组件进一步分解为：
$p_{\text{description}} = p_{\text{stats}} + p_{\text{causal}} + p_{\text{distill}}$ (2)
这种分解明确了每个评分项如何基于从$D_{\text{normal}}$中提取的相应知识来源。

(i) 统计概况 ($p_{\text{stats}}$)
我们将每个特征的边际行为总结为统计概况$p_{\text{stats}}$，固定评分引擎预期的特征标识和维度。对于每个特征$X_i$，我们定义一个每特征概况$\phi_i$，并存储数值统计量及其经验边界或分类经验概率，如公式(3)所示。
$\phi_i = \left\{ \begin{array}{ll} (\mu_i, \sigma_i^2, [min_i, max_i]) & \text{如果 } X_i \text{ 是数值型} \\ \{\pi_c\}_{c \in \mathcal{C}_i} & \text{如果 } X_i \text{ 是分类型} \end{array} \right.$ (3)
其中$\mu_i$, $\sigma_i^2$, $min_i$, 和$max_i$是连续特征$X_i$的均值、方差、最小值和最大值，而$\pi_c$是分类特征$X_i$的域$\mathcal{C}_i$中类别$c$的比例。

(ii) 因果知识 ($p_{\text{causal}}$)
我们通过特征$X=\{X_1,...,X_d\}$上的因果图（有向无环图，DAG）$\mathcal{G}$来表示正常数据$D_{\text{normal}}$中的特征依赖关系，其中每个节点$X_i$关联一个父集$\mathrm{PA}(X_i)$，捕获其条件关系。我们应用Peter-Clark (PC) 算法[28 (https://arxiv.org/html/2608.19463#bib.bib28)]到$D_{\text{normal}}$的编码和归一化表示上以估计$\mathcal{G}$，使用自适应独立性测试策略以避免退化输出。这些父子关系...