重新审视基于能量的表格异常检测：能量与重建的互补性

# 重新审视基于能量的表格异常检测：能量与重建的互补性
来源：https://arxiv.org/html/2608.14186
Junichiro Niimi
所属机构：名城大学，名古屋市爱知县 4688502，日本
电子邮箱：[[email protected]](mailto:)
所属机构：https://orcid.org/0000-0002-4618-6272

###### 摘要
表格异常检测主要由经典的密度代理方法（孤立森林、OCSVM、LOF）、基于重建的检测器（自编码器、变分自编码器）以及现代的非参数评分器（COPOD、ECOD、Deep SVDD）主导，所有这些方法都只能间接地近似内部分布；显式的基于能量的模型在很大程度上缺席。受深度学习中基于能量模型（例如，基于能量的Transformer、JEPA）近期复兴的启发，我们重新审视了用于此任务的经典深度玻尔兹曼机（DBM），并假设其平均场能量与基于重建的分数结合时，比同一谱系的配对更有效。我们在两个涵盖不同领域的表格基准数据集（UCI银行营销数据集和NSL-KDD数据集）上，使用二十个随机种子，评估了一个具有两个隐藏层的DBM，并与八个经典和现代的基线方法进行比较。DBM的平均场能量在银行营销数据集上与最强的基线（自编码器）表现持平，在NSL-KDD数据集上则在统计学上显著优于它，同时在两个数据集上都显著优于其余七个基线方法。当通过排名融合与自编码器结合时，DBM的能量在两个数据集上都带来了统计学上的显著提升（银行营销数据集AUROC=+0.014，p<0.01；NSL-KDD数据集+0.002，p<0.001）；而所有非DBM来源的基础模型都未能提升甚至显著降低了AE配对集成的性能。我们的立场是，以DBM为代表的经典基于能量的模型，值得在表格异常检测工具箱中占有一席之地，作为对当前实践中占主导地位的基于重建分数的一种非冗余互补视角。

*关键词*
深度玻尔兹曼机 · 基于能量的模型 · 异常检测 · 集成学习

预印本注：这是作者接受于第33届神经信息处理国际会议（ICONIP 2026）的论文版本。最终的认证版本将发表于Springer *计算机与信息科学通讯*（CCIS）。本文还包括补充材料作为附录A (https://arxiv.org/html/2608.14186#A1) – C (https://arxiv.org/html/2608.14186#A3)。

## 1 引言
### 1.1 背景
异常检测旨在识别偏离大多数数据的样本，特别是在异常稀少且无标签的场景中[1 (https://arxiv.org/html/2608.14186#bib.bib1), 2 (https://arxiv.org/html/2608.14186#bib.bib2)]。虽然结构化数据（例如图像或文本）提供了自然的归纳偏置，但表格数据由具有异质性的特征组成，没有固有的空间或时间关系，这迫使检测器从头开始学习内部联合分布[3 (https://arxiv.org/html/2608.14186#bib.bib3)]。
目前，三个谱系主导着表格异常检测。经典的密度代理方法，如孤立森林[4 (https://arxiv.org/html/2608.14186#bib.bib4)]、一类支持向量机（OCSVM）[5 (https://arxiv.org/html/2608.14186#bib.bib5)]和局部离群因子（LOF）[6 (https://arxiv.org/html/2608.14186#bib.bib6)]，通过划分、支持边界或局部密度来近似内部密度。基于重建的方法，包括自编码器（AE）[7 (https://arxiv.org/html/2608.14186#bib.bib7)]和变分自编码器（VAE）[8 (https://arxiv.org/html/2608.14186#bib.bib8)]，则依赖于瓶颈网络的重建误差；自编码器在诸如ADBench[9 (https://arxiv.org/html/2608.14186#bib.bib9)]等异常检测基准测试中已被证明非常强大。
第三个更新近的非参数评分器家族包括COPOD[10 (https://arxiv.org/html/2608.14186#bib.bib10)]、ECOD[11 (https://arxiv.org/html/2608.14186#bib.bib11)]和Deep SVDD[12 (https://arxiv.org/html/2608.14186#bib.bib12)]。然而，所有这三个家族都只是间接地近似内部分布，缺乏定义在联合特征配置上的显式、可微分的能量。
为了填补这一空白，基于能量的模型（EBM）提供了一个有前途的候选者。植根于玻尔兹曼学习[13 (https://arxiv.org/html/2608.14186#bib.bib13)]，EBM通过一个标量能量函数 $E_\theta(x)$ 定义了一个未归一化的对数密度。深度玻尔兹曼机（DBM）[14 (https://arxiv.org/html/2608.14186#bib.bib14)]是一个由堆叠的受限玻尔兹曼机（RBM）[15 (https://arxiv.org/html/2608.14186#bib.bib15), 16 (https://arxiv.org/html/2608.14186#bib.bib16)]构建的、规范的、多层双向实例。关键的是，训练好的DBM产生一个易于处理的标量分数——平均场能量 $E_\theta(v, \mu)$，通过将隐藏单元替换为其平均场期望 $\mu$ 获得——可以在没有辅助目标的情况下对任何输入进行评估，因此直接用作异常分数。
除了玻尔兹曼机变体之外，基于能量的模型在现代深度学习中也经历了显著的复兴，包括基于能量的Transformer[17 (https://arxiv.org/html/2608.14186#bib.bib17)]和联合嵌入预测架构（JEPA）家族[18 (https://arxiv.org/html/2608.14186#bib.bib18), 19 (https://arxiv.org/html/2608.14186#bib.bib19), 20 (https://arxiv.org/html/2608.14186#bib.bib20)]。
因此，我们在表格异常检测的背景下重新审视经典的DBM。我们的主要分数是DBM在原始样本上的平均场能量，记为 $F_{\text{before}}(v) = E_\theta(v, \mu)$；下标将其与后来在按列干预后计算用于属性归因的 $F_{\text{after}}$ 值区分开来。我们预期使 $F_{\text{before}}$ 有用的机制是结构性的：它通过 $E_\theta$ 上的平均场推理，聚合了联合隐藏单元配置上的证据，而重建误差是在前馈瓶颈上按坐标计算的——这是对同一内部分布的两种结构上不同的视角。
本文在一个涵盖不同应用领域的两个表格基准数据集——UCI银行营销数据集（银行定期存款的直接营销）[21 (https://arxiv.org/html/2608.14186#bib.bib21)]和NSL-KDD数据集（网络入侵检测，仅限正常与DoS攻击子集）[22 (https://arxiv.org/html/2608.14186#bib.bib22)]上，使用二十个随机种子的多种子协议，评估了一个具有两个隐藏层的DBM，并与八个标准基线（孤立森林、OCSVM、LOF、AE、VAE、COPOD、ECOD、Deep SVDD）进行比较。
根据上述机制，我们推导出一个更精确的、可检验的假设：将 $F_{\text{before}}$ 与重建误差结合的*跨谱系*混合应优于任一单独组件，而*同谱系*混合（两个密度代理方法，或两个基于重建的方法，或排除DBM的混合）则不应如此。我们的立场是，经典的基于能量的模型值得在表格异常检测中占有一席之地：不是作为基于重建方法的替代品，而是作为扎根于显式联合能量的一种非冗余互补视角。

### 1.2 贡献
我们的发现有三方面。首先，$F_{\text{before}}$ 在银行营销数据集上在统计学上与最强的单一基线（自编码器）持平，在NSL-KDD数据集上则在统计学上优于它，同时在两个数据集上都显著优于其余七个基线方法（第3.2节 (https://arxiv.org/html/2608.14186#S3.SS2)）。其次，通过无参数排名融合或留一法种子调优的凸组合，将 $F_{\text{before}}$ 与自编码器的重建误差结合，在两个数据集上都显著优于任一单一方法（第3.3节 (https://arxiv.org/html/2023.14186#S3.SS3)）。第三，当我们详尽地将八个基线分数中的每一个与自编码器进行排名融合时，$F_{\text{before}}$（连同DBM自身的重建误差）是两个数据集中唯一有益的AE配对伙伴；所有非DBM来源的分数要么未能提升，要么显著降低了AE配对集成的性能（第3.3节 (https://arxiv.org/html/2023.14186#S3.SS3)）。
综合来看，这些发现支持了DBM-AE混合方法在两个领域中的持续优越性，并强调了在表格异常检测中结合基于能量和基于重建的视角的价值。

## 2 相关工作
### 2.1 表格异常检测：密度代理与重建
经典的密度代理检测器通过几何或组合结构来近似内部密度 $p_{\text{in}}(x)$。孤立森林衡量样本被随机轴对齐分割孤立的难易程度；OCSVM在核空间中围绕内部样本拟合一个超球边界；LOF通过将局部密度与邻居的局部密度进行比较来识别异常。这些方法不学习显式的参数似然；相反，它们各自将“异常性”的不同几何概念转化为异常分数。基于重建的检测器采用互补的方法，在内部样本上训练瓶颈网络，并使用重建误差作为异常分数。自编码器[7 (https://arxiv.org/html/2608.14186#bib.bib7)]和变分自编码器[8 (https://arxiv.org/html/2023.14186#bib.bib8)]是最成熟的实例。最近针对表格数据的特定设计也探索了替代目标，例如内部对比学习[3 (https://arxiv.org/html/2608.14186#bib.bib3)]。ADBench基准测试[9 (https://arxiv.org/html/2023.14186#bib.bib9)]在统一的协议下评估了这两个家族，并将自编码器确定为最强的无监督基线之一。
这两个谱系的一个关键共同点是，$p_{\text{in}}(x)$ 仅*间接*地通过隔离路径、支持边界、局部密度比率或按坐标的重建误差进行近似。至关重要的是，这些方法都没有提供定义在所有输入特征联合配置上的显式、可微分的标量能量，也没有提供直接基于生成模型似然性的分数。

### 2.2 基于能量的模型：基础与复兴
EBM通过一个标量能量函数 $-E_\theta(x)$ 定义了一个未归一化的对数密度，该函数可以直接用作与似然成比例的分数[23 (https://arxiv.org/html/2023.14186#bib.bib23)]。尽管由于难以处理的配分函数，训练EBM具有挑战性，但最近的进展重新激发了对该框架的兴趣[24 (https://arxiv.org/html/2023.14186#bib.bib24)]。在表格领域之外，EBM正在经历显著的复兴[19 (https://arxiv.org/html/2023.14186#bib.bib19), 20 (https://arxiv.org/html/2023.14186#bib.bib20), 17 (https://arxiv.org/html/2023.14186#bib.bib17), 18 (https://arxiv.org/html/2023.14186#bib.bib18)]。基于能量的Transformer证明了显式能量参数化可以在生成任务上具有竞争力地扩展，而JEPA家族则使用基于能量的目标来统一自监督表示学习。这些发展表明，显式能量公式仍然是现代深度学习中一种强大的建模原语。
然而，在将EBM风格的分数用于异常检测时，有两个重要的注意事项。首先，Nalisnick等人[25 (https://arxiv.org/html/2023.14186#bib.bib25)]著名地指出，深度生成模型有时会为分布外（OOD）样本分配比分布内样本更高的似然，这表明显式能量分数应被视为一种信息丰富的视角，而不是一个独立的解决方案。其次，基于EBM的异常检测器已经存在于文献中。值得注意的是，Zhai等人[26 (https://arxiv.org/html/2023.14186#bib.bib26)]将去噪自编码器重新解释为深度能量网络，并将其应用于图像、时间序列和表格数据的异常检测。重要的是，这条工作路线建立在前馈能量网络之上，其结构与本文研究的玻尔兹曼机家族（具有二分连接的堆叠RBM）不同。

### 2.3 玻尔兹曼机：缺席于表格AD的深度EBM谱系
玻尔兹曼机[27 (https://arxiv.org/html/2023.14186#bib.bib27)]提供了一个独特的深度基于能量的模型谱系，与前馈架构相比，它们是完全双向的。原始的玻尔兹曼机[13 (https://arxiv.org/html/2023.14186#bib.bib13)]定义了一个在联合随机可见和隐藏单元上的对称能量函数。它的二分限制版本——受限玻尔兹曼机（RBM）[16 (https://arxiv.org/html/2023.14186#bib.bib16), 15 (https://arxiv.org/html/2023.14186#bib.bib15)]——允许高效的平均场推理，并且可以通过对比散度进行训练。堆叠RBM并随后进行联合微调产生了深度玻尔兹曼机（DBM）[14 (https://arxiv.org/html/2023.14186#bib.bib14)]。DBM的一个关键特性是它暴露了一个易于处理的平均场能量 $E_\theta(v, \mu)$——通过将隐藏单元替换为其平均场期望获得的、用于替代真实变分自由能的高效替代量——可以直接在任何可见样本 $v$ 上评估。这个量提供了一个自然的标量分数，反映了样本与模型学习到的联合分布的兼容性，使其非常适合作为异常分数使用。
尽管具有这种结构优势，DBM几乎只被用于图像分类和多模态任务中的表示学习研究[28 (https://arxiv.org/html/2023.14186#bib.bib28)]，在表格数据中作为异常检测器的探索非常有限。DBM平均场能量作为一种异常信号，在先前关于消费者行为一致性的研究[29 (https://arxiv.org/html/2023.14186#bib.bib29)]中进行了初步探索，并且相同的自由能已被用作基于DBM的世界模型中表格消费者行为轨迹内部的一致性分数[30 (https://arxiv.org/html/2023.14186#bib.bib30)]——在两种情况下都是作为伴随另一个目标的诊断工具，而不是作为一个独立评估的检测器。
然而，据我们所知，使用具有统计显著性检验的多种子协议，在标准表格数据集上与强大的无监督基线进行系统评估，在很大程度上尚未报道。本文恰好在UCI银行营销数据集和NSL-KDD入侵检测数据集上进行了这种评估，特别关注基于能量的视角是否为当前占主导地位的基于重建分数提供了一种非冗余的互补视角。

## 3 实验
### 3.1 实验设计
我们使用了两个涵盖不同应用领域的表格异常检测基准数据集。
*UCI银行营销*（id=222）[21 (https://arxiv.org/html/2023.14186#bib.bib21)]记录了葡萄牙一家银行机构直接邮寄活动的45,211名客户，包含16个输入属性（9个分类特征，7个数值特征）；遵循ADBench[9 (https://arxiv.org/html/2023.14186#bib.bib9)]，我们将少数订阅者类别（5,289行，11.7%）视为异常，并在39,922个非订阅者内部样本上进行训练。
*NSL-KDD*[22 (https://arxiv.org/html/2023.14186#bib.bib22)]是KDD Cup '99网络入侵数据集的清理后版本；我们限制在KDDTrain+，只保留“正常”行和DoS攻击行，并随机对DoS行进行下采样，使其异常率达到10%，得到74,826条连接（67,343