扩散检测：用于无监督IC异常检测的生成式扩散模型

# 从扩散到检测：面向无监督 IC 异常检测的生成式扩散模型
来源：https://arxiv.org/html/2605.26468

###### 摘要

潜在缺陷筛查面临极低失效率、高维测试数据以及缺乏标记异常样本的挑战。我们提出了首个结合扩散变换器的无监督异常检测框架。原始测试测量值先通过自编码器压缩，然后重塑为结构化的令牌序列，并加入正弦嵌入和每器件晶圆位置嵌入。异常分数基于中程扩散时间步的噪声预测误差得出，从而无需任何标记缺陷或手动特征工程即可实现快速晶圆级筛查。在极端类别不平衡条件下，我们的方法在工业 16nm IC 测试数据上取得了最先进的性能，并通过潜在空间重建残差提供可解释的故障定位。

## I. 引言

半导体制造依赖广泛的电性测试来在缺陷器件到达最终客户之前进行筛选。随着工艺节点缩小和器件复杂度增加，测试数据的数量和维度也相应扩展：现代生产测试程序每器件可生成数千个测量特征，涵盖漏电流、传播延迟、电压裕度以及特定应用应力响应。利用这些参数化测量值进行异常检测以识别缺陷部件，对于检测潜在缺陷至关重要。

潜在缺陷是指能通过所有功能测试标准，但存在物理缺陷（例如电阻性短路或电阻性开路 [WLS]）的器件，这些缺陷会在工作应力下表现为现场失效。此类潜在缺陷通常是汽车产品达到零缺陷质量的主要障碍，也是近年来高性能计算公司面临的最困难挑战之一——静默数据损坏 (SDC) 问题的根源 [SDC]。筛查这些缺陷之所以困难，有三个相互加剧的原因。首先，潜在缺陷器件极为罕见。在成熟工艺中，失效率以百万分之几衡量：在我们的工业数据集中，大约 6000 个名义上合格的器件中，只有不到 10 个潜在异常值。这种极端类别不平衡使得监督学习方法不切实际——收集足够多的标记缺陷数据既昂贵又耗时，而且在这种偏斜分布上训练的分类器往往坍缩到多数类。其次，测试特征空间是高维的，因为生产测试中通常有数千个参数化测量值，引入了维数灾难，使得基于距离或密度的异常检测在没有仔细特征选择的情况下不可靠。第三，对筛选误差的容忍度极低。半导体良率直接关系到经济可行性：漏检缺陷会增加现场退货率和保修成本，而过筛会丢弃良品晶粒并侵蚀良率。一个有效的筛选系统必须在精确控制的假阳性率下运行，同时最大化罕见异常单元的召回率——这种平衡是简单的阈值设定或通用异常检测器通常无法达到的。

我们方法的动机源于一个关键观察：尽管潜在缺陷通过了功能测试，但在参数化测试测量值空间中，它们*偏离了正常器件的分布*。具有栅氧化物薄弱点的器件可能在标称条件下通过时序测试，但会表现出略微升高的漏电流或异常的延迟裕度，这些异常共同落在健康硅片学习到的流形之外。这种分布偏差为无监督检测提供了信号，无需任何缺陷标签。

生成式扩散模型 [ho2020ddpm] 非常适合利用这种信号。仅通过在大量健康器件群体上训练，扩散模型就能学习所有测量维度上正常测试响应的联合分布。在推理时，器件根据模型重建其测试测量值的能力来评分——异常的器件，由于位于训练分布之外，会导致重建误差升高。这种范式不需要标记异常，自然地扩展到大型数据集，并且绕过了历史上一直制约半导体质量流程的手动特征工程。还有一个实际优势是*可解释性*：通过检查反向扩散过程中每一步的重建残差，测试工程师可以直接了解哪些测量区域与正常行为偏差最大。这种信息有助于根本原因故障分析，而纯粹的判别模型无法提供这一点。

先前的基于扩散的异常检测主要集中在图像数据上 [wyatt2022anodddpm, zhang2023diffusionad]，其中空间补丁结构自然映射到变换器令牌序列。最接近的表格数据对应方法 TabDDPM [kotelnikov2023tabddpm] 直接在原始特征空间中使用基于 ResNet 的去噪 MLP，将测量向量视为平坦、无序的输入，没有任何结构归纳偏置。这种设计适用于低维表格数据，但在 IC 测试数据的环境中难以胜任，因为原始特征空间既高维又语义异构。

我们通过**Diffuse to Detect** 来填补这一空白，这是一个专为高维 IC 测试数据设计的完全无监督异常检测框架。我们的方法在两个基本方面与 TabDDPM 不同。首先，我们不是在原始特征空间中扩散，而是通过 MLP 编码器学习一个紧凑的潜在表示，并在这个较低维的潜在空间中执行扩散。其次，我们将平坦的 ResNet 去噪器替换为一个*一维扩散变换器* (DiT1D) [peebles2022dit]，将潜在表示视为结构化的令牌序列，使自注意力机制能够捕获复合特征间相关性。我们进一步引入了基于每个器件物理晶圆坐标的每器件芯片位置嵌入，以考虑晶圆级测试数据中特征性的系统空间测量变化。

本文的贡献如下：

- • 我们首次提出了基于扩散模型的框架，用于 IC 电性测试数据的无监督异常检测，完全消除了手动特征工程的需要。
- • 我们引入了一个两级位置编码方案，结合了固定的正弦令牌位置嵌入与学习的、每器件门控 MLP 芯片嵌入，编码了测试流程的语义结构和晶圆的空间几何信息。
- • 我们展示了在成熟半导体工艺特有的极端类别不平衡（<0.12% 异常率）条件下，我们的方法在工业 IC 测试数据集上优于已建立的无监督基线。

## II. 相关工作

### II-A IC 测试中的异常检测

半导体制造和 IC 测试中的异常检测已被广泛研究，但主导范式仍然严重依赖人工设计的特征以及监督或半监督信号。经典方法应用统计过程控制 (SPC) 技术，例如多元控制图和主成分分析，对手工选择的测试参数进行处理，标记出学习到的正常运行界限之外的器件 [montgomery2009spc, gu2020outlier]。虽然可解释且计算轻量，但这些方法需要大量领域知识来定义相关特征和阈值，并且不能跨产品代或工艺变化进行泛化。

机器学习方法已逐步补充基于规则的方法。集成异常检测器，如孤立森林 [liu2008iforest] 和一类支持向量机 [scholkopf2001ocsvm]，已被应用于参数化测试向量，提供了改进的多变量异常模式敏感性。然而，这些方法难以扩展到现代测试程序产生的高维特征空间，并且仍然依赖于精心筛选的特征输入。深度学习方法，包括应用于设备传感器数据和电性测试输出的自编码器和变分自编码器，已经展示了无需显式特征工程的改进表示学习能力 [liao2020stalad]。最值得注意的是，TRACE-GPT [kim2023tracegpt] 提出了一个从自然语言处理改编而来的基于 GPT 的生成式预训练框架，用于对连续的半导体制造传感器信号进行无监督故障检测建模，展示了该领域中序列感知生成模型的潜力。然而，TRACE-GPT 操作的是连续的设备传感器时间序列，而不是参数化测试程序的结构化表格输出，并且采用自回归生成目标，而非我们方法核心的基于扩散的异常评分。

晶圆图 (WBM) 分析代表了另一条并行的工作线，其中分析空间芯片级通过/失败模式以进行缺陷指纹识别 [nakazawa2018wbm]。扩散模型最近被应用于 WBM 数据以进行未知缺陷模式检测 [moon2024wigdm]，利用空间图像表示上的重建误差。我们的工作本质上是不同的：我们操作的是每个器件产生的原始连续值参数化测试测量值，而不是空间二值通过/失败图，并且我们针对的是高维特征空间中细微的模拟偏差检测，而非硬故障的空间聚类。

表 I：相关异常检测方法的比较。
| 方法 | 模态 | 扩散 | 无监督 | 无特征工程 | 令牌定位 |
|---|---|---|---|---|---|
| SPC [montgomery2009spc] | IC 测试 | ✗ | ✓ | ✗ | ✗ |
| 孤立森林 [liu2008iforest] | 通用 | ✗ | ✓ | ✗ | ✗ |
| TRACE-GPT [kim2023tracegpt] | 传感器时间序列 | ✗ | ✓ | ✓ | ✗ |
| AnoDDPM [wyatt2022anodddpm] | 图像 | ✓ | ✓ | ✓ | 像素 |
| TabDDPM [kotelnikov2023tabddpm] | 表格 | ✓ | ✓ | ✓ | ✗ |
| DTE [livernoche2024dte] | 表格 | ✗* | ✓ | ✓ | ✗ |
| ImDiffusion [chen2023imdiffusion] | 时间序列 | ✓ | ✓ | ✓ | ✗ |
| Diffuse to Detect (Ours) | IC 测试 | ✓ | ✓ | ✓ | 令牌 |

- *DTE 通过代理网络估计扩散时间，而不是运行生成式去噪链。

### II-B 用于异常检测的扩散模型

去噪扩散概率模型 (DDPMs) [ho2020ddpm] 通过训练神经网络逆转逐步高斯加噪过程来学习数据分布。用于异常检测的关键特性是，仅用正常数据训练的模型能够忠实地重建正常样本，而异常输入在反向过程中会产生较高的重建误差。

AnoDDPM [wyatt2022anodddpm] 开创了这种方法在医学图像异常检测中的应用，引入单纯形噪声来控制可检测异常的空间尺度。后续的图像域工作探索了用于重建的条件扩散 [mousakhan2023ddad]、用于可扩展性的潜在扩散 [graham2023ldm3d] 以及迭代重建-定位耦合 [fucka2024transfusion]。这些方法在视觉基准（如 MVTec [bergmann2019mvtec] 和 VisA）上取得了强劲性能，但它们的架构假设——2D 空间补丁、卷积或视觉变换器骨干、像素级异常图——并不能迁移到表格测试数据。

对于表格数据，基于扩散的异常检测仍然很大程度上未被探索。TabDDPM [kotelnikov2023tabddpm] 是首个具有残差连接的 MLP 扩散模型，用于表格数据生成，并通过重建损失进行了异常检测。然而，TabDDPM 将表格行视为平坦、无序的向量，没有利用特征之间的任何结构或语义排序。扩散时间估计 (DTE) 方法 [livernoche2024dte] 同样操作于无序的表格特征向量，用训练以预测受损输入噪声水平的轻量级网络替换完整的反向扩散链，这是一种高效的密度代理，但不是真正的生成式扩散模型，并且不具备令牌级定位能力。由于 DTE 不支持去噪实例，它很难用于根本原因故障分析。

对于多元时间序列，ImDiffusion [chen2023imdiffusion] 表明，使用基于插补重建（而非完整序列重建）的变换器骨干 DDPM，通过利用邻近上下文，能产生更优的异常检测。这种见解与我们使用位置结构有关，尽管 ImDiffusion 针对的是具有固定、均匀间隔的时间有序传感器流，而我们的令牌编码的是系统性的晶圆级变化。

### II-C 扩散变换器

扩散变换器 (DiT) [peebles2022dit] 用操作于潜在补丁序列上的变换器替代了标准 DDPM 的卷积 U-Net 骨干，在图像基准上展示了优越的可扩展性和生成质量。变换器骨干为我们的应用带来了两个关键特性：对带有位置编码的可变长度令牌序列的原生支持，以及每令牌输出分辨率，从而实现令牌级重建评分。虽然 DiT 是为 VAE 潜在空间中的图像生成设计的，但其变换器去噪块是模态无关的。我们对其进行调整，使其直接操作于潜在测试程序令牌序列，绕过了自编码器和补丁化，转而采用与 IC 数据测试流程结构对齐的 1D 顺序令牌化。

## III. 方法论

![图 1](./图1 参考描述：所提出框架的概述。高维 IC 测试测量向量 \( \mathbf{x} \in \mathbb{R}^F \) 首先被降维并令牌化为潜在序列 \( \mathbf{Z}_0 \in \mathbb{R}^{C \times L} \)，并加入两级位置编码，然后由在健康硅片测量值上训练的一维扩散变换器 (DiT1D) 处理。在推理时，扩散损失被用作高吞吐量生产筛选的异常分数。)

### III-A 问题形式化

令 \( \mathcal{D} = \{ \mathbf{x}^{(i)} \}_{i=1}^N \) 表示包含 \( N \) 个 IC 器件的数据集，每个器件由一个高维参数化测试测量向量 \( \mathbf{x}^{(i)} \in \mathbb{R}^F \) 表征，其中 \( F \) 表示测试特征总数（在我们的设置中，\( F \sim 10^3 \)）。这些特征由一系列结构化的 \( P \) 个测试程序 \( \{ \mathcal{T}_1, \mathcal{T}_2, \ldots, \mathcal{T}_P \} \) 产生，其中程序 \( \mathcal{T}_p \) 生成一个连续的 \( f_p \) 个特征的块，并且 \( \sum_{p=1}^P f_p = F \)。

我们假设可以访问一个主要由健康（合格）器件组成的训练集 \( \mathcal{D}_{\text{train}} \subseteq \mathcal{D} \)，且不带有异常标签。目标是学习正常测试响应的分布 \( p_\theta(\mathbf{x}) \)，并在推理时，为每个器件分配一个异常分数 \( s(\mathbf{x}) \in \mathbb{R} \)，使得异常器件获得的分数显著高于健康器件。完整框架的概述如图 1 所示。

### III-B 降维与令牌化

IC 测试测量向量是高维的：每个器件由跨越参数化测试程序的 \( F \sim 10^3 \) 个特征表征。直接将这样的向量喂给变换器将导致计算昂贵和统计病态，因为特征空间