通过稀疏内部快照实现骨干均衡的扩散模型异常检测

# 基于稀疏内部快照的骨干对齐扩散模型分布外检测

来源：https://arxiv.org/html/2605.11014
Yadang Alexis Rouzoumka1,2 DEMR, ONERA & SONDRA Université Paris-Saclay [email protected], [email protected]
&
Jean Pinsolle2 SONDRA, CentraleSupélec Université Paris-Saclay
&
Eugénie Terreaux1 DEMR, ONERA Université Paris-Saclay
Christèle Morisseau1 DEMR, ONERA Université Paris-Saclay
&
Jean-Philippe Ovarlez1,2 DEMR, ONERA & SONDRA Université Paris-Saclay
&
Chengfang Ren2 SONDRA, CentraleSupélec Université Paris-Saclay

###### 摘要

基于扩散模型的分布外（OOD）检测器之间的公平比较具有挑战性，因为结论可能会随着骨干网络的选择、扰动参数化方式以及测试时预算的变化而变化。我们通过一种*互易骨干对齐*（Mutualized Backbone-Equated, MBE）协议来解决这一问题，该协议在不同扩散骨干网络上对齐了标准扰动级别和逻辑测试时成本。在此设置下，我们引入了*标准特征快照*（Canonical Feature Snapshots, CFS），这是一类检测器家族，它仅在标准的低噪声级别下，使用极少量的原生内部激活状态来探测冻结的扩散骨干网络。在一个受控的 CIFAR 规模基准上，最强的一次前向传播 CFS 变体是 $\textsc{CFS}(1\times2)$，而一个更小的仅解码器变体仍然具有高度竞争力。这表明，冻结扩散骨干网络所暴露的大部分相对 OOD 信号集中在少数稀疏的内部状态中，而不是需要完整的去噪轨迹或高容量的下游头。我们进一步提供了一种局部诊断理论，通过条件编码-解码器互补性、对角得分分离和低噪声扰动稳定性来解释这些观察结果。官方实现可在 https://github.com/RouzAY/cfs-diffusion-ood/ 获取。

## 1 引言

分布外（OOD）检测旨在判断模型是否能够识别出那些超出其预测可信任范围的输入。在扩散模型中，一旦骨干网络被冻结，同一张图片可以在一系列结构化的扰动级别上进行探测，在最终的去噪输出之前产生隐藏状态的层次结构。大多数基于扩散的 OOD 方法在*输出空间*中探测这个骨干网络：通过重建、去噪残差、轨迹、输出端几何结构或后验一致性得分 (Mahmood et al., 2021 (https://arxiv.org/html/2605.11014#bib.bib13); Graham et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib14); Liu et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib11); Gao et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib12); Heng et al., 2024 (https://arxiv.org/html/2605.11014#bib.bib8); Rouzoumka et al., 2026 (https://arxiv.org/html/2605.11014#bib.bib7); Barkley et al., 2026 (https://arxiv.org/html/2605.11014#bib.bib9); Shoushtari et al., 2026 (https://arxiv.org/html/2605.11014#bib.bib10))。这产生了一些有用的检测器，但留下了一个更基本的问题：在一个冻结的扩散骨干网络中，对于 OOD 检测最有用的信息驻留在哪里？

我们认为这个问题被两个相互耦合的问题所掩盖。第一个是*协议混淆*：在扩散 OOD 中，结论可能强烈依赖于检查点家族（例如，DDPM 与 EDM）、扰动坐标和测试时预算，这就像在更广泛的事后 OOD 基准测试中协议选择已经很重要一样 (Yang et al., 2022 (https://arxiv.org/html/2605.11014#bib.bib18); Zhang et al., 2024 (https://arxiv.org/html/2605.11014#bib.bib19))。第二个是表示不匹配：输出空间的总结依赖于压缩读取，可能会错过仍然存在于内部状态中的判别性信息，这与将扩散模型视为表示学习者的日益增长的观点一致 (Yang and Wang, 2023 (https://arxiv.org/html/2605.11014#bib.bib33); Luo et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib32); Yue et al., 2025 (https://arxiv.org/html/2605.11014#bib.bib35))。

我们在受控评估设置下研究这个问题。首先，我们引入一种*互易骨干对齐*（MBE）协议，在不同扩散骨干网络之间对齐检查点家族策略、标准扰动级别和逻辑测试时成本。其次，在此设置下，我们提出*标准特征快照*（CFS），这是一类 OOD 检测器，通过极少量对齐的内部激活状态来探测冻结的扩散骨干网络。在一个受控的 CIFAR 规模基准上，最强的一次前向操作点是 $\textsc{CFS}(1\times2)$，而一个仅解码器变体 $\textsc{CFS}_{\mathrm{dec}}(1\times1)$ 仍然具有高度竞争力。在受控评估下，冻结扩散骨干网络中有用的 OOD 信号已经强烈集中在极少数稀疏的原生内部快照中。

为了解释这些趋势，我们开发了稀疏扩散探测的可测局部测试视角。它产生了三个诊断原则：条件编码-解码器互补性、对角得分分离和低噪声扰动稳定性。该理论是局部的而非通用的，但它产生了可直接估计的量，用于选择钩子、级别和编码-解码器配对，我们通过经验表明，这些诊断指标在改进型扩散和 EDM 骨干网络上都能追踪下游 OOD 行为。

##### 贡献。
- **受控协议和稀疏检测器。** 我们在*互易骨干对齐*（MBE）协议下制定了扩散 OOD 比较，并引入了*标准特征快照*（CFS），这是一个检测器家族，通过极少量对齐的内部激活状态来探测冻结的扩散骨干网络。
- **OOD 信号高度集中的证据。** 在 MBE 下，$\textsc{CFS}(1\times2)$ 是一个强有力的一次前向操作点，而单个晚期解码器探针 $\textsc{CFS}_{\mathrm{dec}}(1\times1)$ 仍然具有高度竞争力，这表明相关信号强烈集中在稀疏的原生快照中。
- **局部诊断解释。** 我们开发了一种可测的局部测试视角，解释了条件编码-解码器互补性、对角得分分离和低噪声稳定性，并表明其诊断指标能追踪经验行为。

## 2 相关工作与定位

**事后 OOD 检测与协议敏感性。** 大量文献研究了预训练判别模型的事后 OOD 分数，包括马氏距离、能量分数、激活塑造、虚拟对数匹配和最近邻几何结构 (Lee et al., 2018 (https://arxiv.org/html/2605.11014#bib.bib27); Liu et al., 2020 (https://arxiv.org/html/2605.11014#bib.bib28); Sun et al., 2021 (https://arxiv.org/html/2605.11014#bib.bib29); Wang et al., 2022 (https://arxiv.org/html/2605.11014#bib.bib30); Sun et al., 2022 (https://arxiv.org/html/2605.11014#bib.bib31); Lu et al., 2025 (https://arxiv.org/html/2605.11014#bib.bib44))。如 OpenOOD 和 OpenOOD v1.5 这样的基准测试工作展示了协议选择如何强烈地影响结论 (Yang et al., 2022 (https://arxiv.org/html/2605.11014#bib.bib18); Zhang et al., 2024 (https://arxiv.org/html/2605.11014#bib.bib19))。在扩散 OOD 中，这些担忧更加尖锐，因为检查点家族、扰动坐标和测试时预算引入了额外的混淆因素。

**输出空间中的扩散 OOD。** 大多数基于扩散的 OOD 方法通过输出空间量或输出派生的摘要来探测去噪器。MSMA 聚合多尺度得分范数 (Mahmood et al., 2021 (https://arxiv.org/html/2605.11014#bib.bib13))；DDPM-OOD 和 LMD 使用去噪、重建或修复行为 (Graham et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib14); Liu et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib11))；基于似然的扩散 OOD 也已被研究 (Goodier and Campbell, 2023 (https://arxiv.org/html/2605.11014#bib.bib15))；DiffGuard 添加了条件引导 (Gao et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib12))；DiffPath 从单个无条件扩散骨干网络中总结去噪轨迹 (Heng et al., 2024 (https://arxiv.org/html/2605.11014#bib.bib8))。其他方法使用输出端几何或一致性结构：GEPC 测量去噪器输出中由变换引起的后验一致性违例 (Rouzoumka et al., 2026 (https://arxiv.org/html/2605.11014#bib.bib7))，而 SCOPED 和 EigenScore 研究输出端几何或不确定性 (Barkley et al., 2026 (https://arxiv.org/html/2605.11014#bib.bib9); Shoushtari et al., 2026 (https://arxiv.org/html/2605.11014#bib.bib10))。尽管存在差异，但这些方法共享相同的基本观点：OOD 信号主要从去噪器输出、重建、轨迹、一致性残差或输出端几何结构中提取。

**扩散模型作为表示学习者。** 平行的文献将扩散模型视为表示学习者。预训练的扩散骨干网络为下游任务提供了有用的内部特征 (Yang and Wang, 2023 (https://arxiv.org/html/2605.11014#bib.bib33))，语义上有意义的描述符可以从多层和多时间步状态中整合而来 (Luo et al., 2023 (https://arxiv.org/html/2605.11014#bib.bib32))。相关工作还表明编码器/解码器不对称性：Faster Diffusion 报告编码器激活在不同去噪步骤间的变化小于解码器激活 (Li et al., 2024 (https://arxiv.org/html/2605.11014#bib.bib17))。虽然不是 OOD 结果，但这支持了不同内部状态发挥不同功能作用的想法。REPA 进一步认为强隐藏表示对于生成质量很重要 (Yue et al., 2025 (https://arxiv.org/html/2605.11014#bib.bib35))。最近的 OOD 工作也支持超越原始像素似然的表示空间建模 (Ding et al., 2025 (https://arxiv.org/html/2605.11014#bib.bib42); Järve et al., 2025 (https://arxiv.org/html/2605.11014#bib.bib43))。这些工作激励了我们以表示为首的观点。

**定位。** 我们在*互易骨干对齐*协议下研究扩散 OOD，并问：在共享来源、骨干对齐、预算计数的比较下，相对 OOD 信号中有多少已经存在于极少数稀疏的原生冻结快照中？CFS 通过一个刻意极简的检测器家族回答了这个问题：没有重建模块，没有引导机制，没有逆向路径递归，也没有高容量的下游头。表 1 (https://arxiv.org/html/2605.11014#S2.T1) 总结了 CFS 的定位。

表 1：相对于基于扩散的 OOD 检测的定位。我们的区别不仅仅在于内部特征可以提供帮助，而在于在共享来源、骨干对齐的协议下，极少数稀疏的原生冻结快照已经捕获了强大的相对 OOD 信号。

## 3 互易骨干对齐协议 (MBE)

OOD 基准测试表明，评估细节可能主导感知的进展 (Yang et al., 2022 (https://arxiv.org/html/2605.11014#bib.bib18); Zhang et al., 2024 (https://arxiv.org/html/2605.11014#bib.bib19))。在扩散 OOD 中，由于检查点家族、扰动参数化和隐藏测试时预算等额外自由度的存在，这个问题被放大了。因此，我们在一个旨在消除这些混淆因素的共享协议下评估所有方法。

### 3.1 标准扰动与跨骨干对齐

MBE 的第一个要素是骨干家族之间的共享扰动视图。扩散骨干网络在一系列噪声级别下评估输入的扰动版本 (Ho et al., 2020 (https://arxiv.org/html/2605.11014#bib.bib1); Nichol and Dhariwal, 2021 (https://arxiv.org/html/2605.11014#bib.bib4); Karras et al., 2022 (https://arxiv.org/html/2605.11014#bib.bib5))，但它们的原生接口不同：有些暴露离散时间步 $t$，而其他使用连续噪声尺度如 $\sigma$。为了在不同骨干网络之间比较 OOD 检测器，我们因此使用共同的标准扰动参数化。

对于干净样本 $\mathbf{x}_0$，我们将扰动写为
$$ \mathbf{x}_\lambda = a(\lambda)\mathbf{x}_0 + b(\lambda)\boldsymbol{\varepsilon}, \quad \boldsymbol{\varepsilon} \sim \mathcal{N}(0, I), \tag{1} $$
并使用标准坐标（略有符号滥用）：
$$ \lambda := \log \frac{a(\lambda)^2}{b(\lambda)^2}, \tag{2} $$
即 logSNR。大的 $\lambda$ 对应更清晰的观测，小的 $\lambda$ 对应更嘈杂的观测。对于改进型扩散检查点，$a_t = \sqrt{\bar{\alpha}_t}$，$b_t = \sqrt{1-\bar{\alpha}_t}$，且 $\lambda_t = \log \frac{\bar{\alpha}_t}{1-\bar{\alpha}_t}$，因此所需的级别匹配到 logSNR 空间中最近的原生时间步。EDM 风格的骨干网络反而暴露连续的噪声输入；我们的适配器将每个标准 $\lambda$ 映射到适当的骨干特定模型输入，并返回满足公式 (1) 的系数。

标准化很重要，因为许多扩散 OOD 方法本质上是多级别的：如果没有共享的扰动坐标，方法可能在实际上并未匹配扰动强度的级别上进行比较。

### 3.2 MBE 下的受控比较

在 MBE 下，方法在与竞争对手相同的来源家族策略、预处理、标准扰动级别、ID/OOD 划分和逻辑测试时成本下进行评估。MBE 的目的是科学比较，而不是每个骨干网络的峰值调优。否则，扩散 OOD 方法可能因为与其评分规则无关的原因而显得更强：更匹配的检查点、不同的输入归一化、不同的扰动坐标或更大的隐藏测试时预算。

具体而言，MBE 将所有方法路由到相同的标准扰动语义和共享适配器接口，并在相同的划分策略和逻辑预算会计下进行评估。它并不强制相同的原生实现。详细的标准化、适配器输出和基线实现分类推迟到附录 C (https://arxiv.org/html/2605.11014#A3) 和附录 D (https://arxiv.org/html/2605.11014#A4)。

对于离散骨干网络，将连续 logSNR 网格映射到原生时间步可能会产生重复。因此，我们将候选网格分辨率 $K_{\mathrm{grid}}$ 与方法实际使用的有效标准级别数量 $K_c$ 区分开来；附录 C.3 (https://arxiv.org/html/2605.11014#A3.SS3)–C.4 (https://arxiv.org/html/2605.11014#A3.SS4) 给出了精确的构造。我们将逻辑测试时成本报告为 $\mathrm{Cost}_m = \#F_m + \#J_m$，其中 $\#F_m$ 是每张图像的骨干前向评估次数，$\#J_m$ 是适用时的雅可比类型评估次数。在本文的主要比较中，主要变化在于 $\#F$，且所有比较的方法都有 $\#J=0$。

## 4 方法：标准特征快照 (CFS)

### 4.1 标准特征快照

我们询问，在移除协议混淆因素后，极少数原生冻结内部激活是否已经捕获了有用的 OOD 信号。设 $P_\star$ 表示用于训练冻结扩散检查点的源分布，设 $P$ 和 $Q$ 表示评估的 ID 和 OOD 数据集。我们不将检查点视为 $P_\star$ 的 OOD 预言机；相反，我们将其用作冻结的表示映射，并相对于评估参考库 $P$ 定义 OOD。

一个 CFS 实例由一组小的标准级别 $\Lambda$、一组小的原生内部钩子 $\mathcal{H}$ 以及