为什么 DDIM 比 DDPM 产生更多幻觉：逆向动力学的理论分析

# 为什么 DDIM 比 DDPM 产生更多幻觉：反向动力学的理论分析
来源: https://arxiv.org/html/2605.06831 Samanyu AroraAbhinav N\. HarishIshaan KharbandaHung Yun TsengGrigorios G\. Chrysos ###### 摘要 我们从理论上研究了两种经典扩散采样器中的幻觉现象：随机去噪扩散概率模型（DDPM）和确定性去噪扩散隐式模型（DDIM）。我们针对高斯混合目标分析了反向常微分方程（DDIM）和随机微分方程（DDPM），证明在关键时间 \(\tau\) 之后，(a) DDIM 可能会卡在连接两个最近模式的线段上，而 (b) DDPM 的随机性有助于其摆脱该区域，从而避免幻觉。我们的实证验证证实，当进入该区域时，DDPM 的幻觉率显著低于 DDIM。基于我们的观察，我们展示了如何使用额外的随机步骤帮助 DDIM 避免幻觉，并为如何设计改进的采样器提供了新的见解。机器学习，ICML ## 1 引言 尽管取得了重大进展，最先进的扩散模型仍然表现出幻觉，这些幻觉不遵循其训练分布中存在的结构和语义约束。这包括扭曲的手部、不合逻辑的物体边界以及视频中的时间不一致性。具体而言，幻觉可以特征化为当反向扩散轨迹被引导至目标分布隐含的约束集之外的区域时产生的生成结果。为解决这一问题， prior work 专注于各种不同策略。在文本生成领域，Lu 等人（2025 (https://arxiv.org/html/2605.06831#bib.bib21)）通过强调图像扩散模型无法对 MNIST 数字中的全局上下文进行建模，指出了其局部生成偏差。Aithal 等人（2024 (https://arxiv.org/html/2605.06831#bib.bib1)）将幻觉特征化为高斯混合模型中的模式插值，并提出了一种检测插值的指标。Triaridis 等人（2025 (https://arxiv.org/html/2605.06831#bib.bib32)）探索了动态引导作为减轻幻觉的手段。虽然这些工作提供了检测幻觉的策略，但它们都没有通过系统研究反向扩散过程的设计和机制来探讨*为什么*会出现幻觉。我们关注两种流行采样器之间的区别：随机去噪扩散概率模型（DDPM）（Ho 等人，2020 (https://arxiv.org/html/2605.06831#bib.bib16)）和确定性去噪扩散隐式模型（DDIM）（Song 等人，2021a (https://arxiv.org/html/2605.06831#bib.bib29)）。这些采样器的训练方式是相同的；然而，它们在反向过程中采用的采样策略有所不同。DDPM 执行相同数量的前向和反向步骤，匹配前向扩散 SDE 中噪声的引入。另一方面，DDIM 在反向过程中*不包含*此噪声。DDIM 通过非马尔可夫反向过程引入步长跳过，提供更快的推理速度。我们发现，移除反向过程中的噪声对幻觉的产生有显著贡献。这一观察结果已由先前的工作在计数幻觉的背景下实证得出（Fu 等人，2025 (https://arxiv.org/html/2605.06831#bib.bib15)）。然而，据我们所知，这种现象的坚实理论特征化仍然缺失。我们填补了这一空白，并将幻觉作为反向过程的*结构伪影*来处理。具体而言，我们提出以下问题：我们能否正式描述为什么 DDIM 比 DDPM 产生更多幻觉？为了回答这个问题，我们研究了当数据分布是 $N$ 模式高斯混合时，反向概率流（PF）ODE（DDIM）和反向方差保持（VP）SDE（DDPM）的动力学¹¹¹在温和的正则性条件下，DDIM 和 DDPM 的边缘密度是相同的。这种设置有利于严格的理论分析。此外，我们研究了被表述为模式插值的幻觉：一种采样的扩散轨迹最终落在连接数据分布模式的直线上的现象（Aithal 等人，2024 (https://arxiv.org/html/2605.06831#bib.bib1)）。如图 1(b) (https://arxiv.org/html/2605.06831#S1.F1.sf2) 所示，我们的分析揭示，DDIM/DDPM 的收敛发生在 2 个阶段：(i) 早期收敛阶段，由向两个数据模式之间最近线段的吸引力主导，以及 (ii) 晚期收敛阶段，支配沿连接这两个模式的直线的运动。我们证明，在晚期收敛阶段下轨迹的最后几步决定了采样的结果，并且是这两种采样器之间的关键区别。具体来说，在这个最后阶段，DDPM 的噪声分量帮助其逃离 DDIM 卡住的线段区域，从而避免幻觉。我们的理论证明，这是 DDPM 优于 DDIM 的根本原因，*无论采用多少反向步骤*。这些发现排除了关于 DDIM 幻觉的几个先前存在的信念。例如，虽然从业者经常跳过 DDIM 步骤，因此在采样时会产生数值误差，但我们证明这并不能解释幻觉率差距。我们在实证中发现，在相同的离散化下，DDIM 和 DDPM 的幻觉率差距依然存在，而我们的理论结果是在零数值误差下推导出来的。此外，Aithal 等人（2024 (https://arxiv.org/html/2605.06831#bib.bib1)）将模式插值归因于由于使用神经网络近似而导致得分函数的平滑。然而，我们的结果是在*精确得分函数*下推导出来的，即在从分布中使用无限样本时的期望得分。我们发现，使用精确得分时，导致模式插值的机制可以清晰地描述。总之，我们的贡献如下： 1. 1\. 我们严格研究了在 $N$ 模式高斯混合中观察到的 DDIM 幻觉的来源，证明在关键时间 $\tau$ 之后，DDIM 轨迹收敛到连接两个模式的最近线段，然后可能卡在靠近中点的位置，从而产生幻觉。这如图 1 (https://arxiv.org/html/2605.06831#S1.F1) 所示。 2. 2\. 我们利用这一点为为什么 DDIM 比 DDPM 产生更多幻觉提供理论依据：DDPM 的噪声可以帮助其从中点附近的幻觉区域摆脱出来。这如图 1(c) (https://arxiv.org/html/2605.06831#S1.F1.sf3) 所示。 3. 3\. 实证上，我们否定了 DDIM 幻觉率差距可以由步长跳过解释的观点，并证明在 DDIM 在中点邻域附近收敛后添加几个 DDPM 步骤可以帮助轨迹逃离，从而降低幻觉率。 参见标题参见标题 (a) 参见标题 (b) 参见标题 (c) 图 1：(a) 对于 25 模式高斯混合目标的 100,000 个生成样本中，尽管使用*相同*的预训练模型，DDPM（左）产生的幻觉显著少于 DDIM（右）。(b) 在反向过程的*开始*阶段，轨迹选择一条线段进行收敛。此后，轨迹*快速收敛*到最近的线段：要么是*真实模式*，要么是*中点邻域*。(c) 在中点邻域内，DDIM 会*卡住*并产生幻觉，而 DDPM 可以通过添加噪声*逃离*并避免幻觉。 ## 2 问题设定 符号：加粗的小写字母 $\bm{x}\in\mathbb{R}^{\varpi}$ 表示维度为 $\varpi$ 的向量。$[N]$，对于标量 $N\in\mathbb{N}$，表示整数子集 $\{1,2,...,N\}$。对于函数 $f$，如果 $f:\mathbb{R}^{\varpi}\to\mathbb{R}$，我们使用 $\nabla_{\bm{x}}f$ 来表示其梯度；如果 $f:\mathbb{R}^{\varpi}\to\mathbb{R}^{o}$，则使用其雅可比矩阵。我们分别用 $x_t:[0,T]\to\mathbb{R}$ 和 $\bm{x}_t:[0,T]\to\mathbb{R}^{\varpi}$ 表示从标量时间 $T$ 到 $0$ 的依赖于时间的标量函数和向量函数，除非另有说明。我们使用 $\dot{x}_t$ 表示 $x_t$ 的时间导数，同样使用 $\dot{\bm{x}}_t$ 表示 $\bm{x}_t$；对于所有其他导数，我们使用符号 $\frac{d}{dx}f(x)$。$\mathcal{N}(\bm{x};\bm{\mu},\sigma^2\bm{I})$ 用于表示中心在 $\bm{\mu}$ 且方差为 $\sigma^2\bm{I}$ 的 $\varpi$ 维高斯的概率密度函数。我们将随机微分方程（SDE）写为 $d\bm{x}_t=b(t,\bm{x}_t)dt+\sigma(t,\bm{x}_t)d\bm{W}_t$，其中 $\bm{W}_t\in\mathbb{R}^{\varpi\times 1}$ 是标准布朗运动。我们在附录 A (https://arxiv.org/html/2605.06831#A1) 中提供了完整的符号列表，并在附录 J (https://arxiv.org/html/2605.06831#A10) 中提供了符号表。 扩散模型：扩散模型的目标是学习将简单的基分布 $p_{\text{base}}$ 传输到更复杂的目标分布 $p_{\text{data}}$。贯穿全文，我们将 $p_{\text{base}}$ 视为标准高斯 $\mathcal{N}(0,\bm{I})$（Sohl-Dickstein 等人，2015 (https://arxiv.org/html/2605.06831#bib.bib27)）。我们首先定义 DDPM 方差保持（VP）前向 SDE（Song 等人，2021b (https://arxiv.org/html/2605.06831#bib.bib30)）： $$d\bm{x}_t \;=\; -\tfrac{1}{2}\beta_t \,\bm{x}_t \,dt \;+\; \sqrt{\beta_t}\,d\bm{W}_t, \quad (1)$$ 其中 $\beta_t$ 是噪声调度，$\bm{W}_t$ 是标准布朗运动。然后我们定义 $\bar{\alpha}_t:=\exp(-\int_0^t\beta(s)ds)$。我们考虑标准设置，其中 $\bar{\alpha}_t\in C^2$，$\bar{\alpha}_0=1$，且 $\bar{\alpha}_T=\gamma$，其中某个 $\gamma\approx 0$。根据 Anderson 定理（Anderson，1982 (https://arxiv.org/html/2605.06831#bib.bib2)），公式 (1) (https://arxiv.org/html/2605.06831#S2.E1) 可以反转为： $$d\bm{x}_t \;=\; -\frac{1}{2}\beta_t\left(\bm{x}_t+2\nabla_{\bm{x}_t}\log p_t(\bm{x}_t)\right)dt \;+\; \sqrt{\beta_t}\,d\bar{\bm{W}}_t, \quad (2)$$ 其中 $\bar{\bm{W}}_t$ 是反向布朗运动。这里，边缘分布 $p_t$ 是通过将目标分布 $p_{\text{data}}$ 与标准高斯卷积得到的： $p_t(\bm{x})=\int p_{\text{data}}(\bm{y})\mathcal{N}(\bm{x};\sqrt{\bar{\alpha}_t}\bm{y},(1-\bar{\alpha}_t)\bm{I})d\bm{y}$。由于在实践中通常无法获取真实得分 $\nabla_{\bm{x}_t}\log p_t(\bm{x}_t)$，人们转而学习得分场 $s_\theta(\bm{x}_t)$。然后，使用 $s_\theta$ 离散化公式 (2) (https://arxiv.org/html/2605.06831#S2.E2)，使用欧拉-马鲁亚马方法，提供了一种从目标分布 $p_{\text{data}}$ 采样的随机算法，起始于基实例 $\bm{x}_T\sim\mathcal{N}(0,\bm{I})$。 对于 DDIM，我们定义（反向时间）概率流常微分方程（PF ODE）： $$\dot{\bm{x}}_t=-\frac{1}{2}\beta_t(\bm{x}_t+\nabla_{\bm{x}_t}\log p_t(\bm{x}_t)), \quad (3)$$ 其中边缘分布 $p_t$ 与公式 (2) (https://arxiv.org/html/2605.06831#S2.E2) 中的相同。注意，公式 (3) (https://arxiv.org/html/2605.06831#S2.E3) 恰好是公式 (2) (https://arxiv.org/html/2605.06831#S2.E2) 去掉噪声项，直到得分的常数乘法。同样，人们估计得分场 $s_\theta(\bm{x}_t)$ 并使用一阶指数积分器离散化公式 (3) (https://arxiv.org/html/2605.06831#S2.E3)（Lu 等人，2022 (https://arxiv.org/html/2605.06831#bib.bib20)），以获得 $p_{\text{data}}$ 的*确定性*采样方法（Song 等人，2021a (https://arxiv.org/html/2605.06831#bib.bib29)）。 在正文中，我们假设可以访问精确得分函数，从理论上研究公式 (3) (https://arxiv.org/html/2605.06831#S2.E3) 和公式 (2) (https://arxiv.org/html/2605.06831#S2.E2) 的动力学。我们在附录 I (https://arxiv.org/html/2605.06831#A9) 中讨论这一正则性条件。我们还在正文实验（第 6 节 (https://arxiv.org/html/2605.06831#S6)）中提供了在不精确得分函数下的实证研究，并在附录 C (https://arxiv.org/html/2605.06831#A3) 中从理论上描述了不精确得分函数的动力学。最后，我们考虑一个具有 $N$ 个组件的高斯混合目标分布， $p_{\text{data}}(\bm{x}):=\sum_{i=1}^N\pi_i\mathcal{N}(\bm{x};\bm{\mu}^{(i)},\sigma^2\bm{I})$。应用卷积的线性性质得出 $p_t(\bm{x})=\sum_{i=1}^N\pi_i\mathcal{N}(\bm{x};\bm{\mu}_t^{(i)},\sigma_t^2\bm{I})$，其中 $\bm{\mu}_t^{(i)}:=\sqrt{\bar{\alpha}}\bm{\mu}^{(i)}$ 且 $\sigma_t^2=\sigma^2\bar{\alpha}_t+(1-\bar{\alpha}_t)$。然后我们定义 $\tilde{\sigma}_t^2:=\frac{\sigma_t^2}{\bar{\alpha}_t}$ 为有效方差；注意，这在反向过程开始时很大，但在结束时变为 $\sigma^2$，即单个高斯模式的方差。在正文中，我们考虑权重相等的情况，其中 $\pi_i=\pi_j\;\forall i,j\in[N]$；我们在附录的附录 B (https://arxiv.org/html/2605.06831#A2) 中将其扩展到权重不等的情况。 ## 3 相关工作 扩散模型：扩散模型通过反转噪声破坏过程来生成样本，包括 DDPM（Ho 等人，2020 (https://arxiv.org/html/2605.06831#bib.bib16)）及其确定性少步长对应物 DDIM（Song 等人，2021a (https://arxiv.org/html/2605.06831#bib.bib29)）。基于得分的生成建模统一了 DDPM 风格的反向 SDE 和 DDIM 风格的 PF ODE（Song 等人，2021b (https://arxiv.org/html/2605.06831#bib.bib30)）；最近的理论研究 ODE 和 SDE 采样分布之间的差距（Deveney 等人，2025 (https://arxiv.org/html/2605.06831#bib.bib12)），DDIM 与 DDPM 的收敛保证（Beyler & Bach，2025 (https://arxiv.org/html/2605.06831#bib.bib4)），以及 PF ODE 的统计保证（Chen 等人，2023 (https://arxiv.org/html/2605.06831#bib.bib11)；Cai & Li，2025 (https://arxiv.org/html/2605.06831#bib.bib8)）。最近的工作还探索了 ODE 和 SDE 在性能方面的差异（Cao 等人，2023 (https://arxiv.org/html/2605.06831#bib.bib9)）并提出了混合采样器（Xu 等人，2023 (https://arxiv.org/html/2605.06831#bib.bib34)）。然而，这些工作并未明确研究幻觉。此外，它们不是研究 ODE/SDE 轨迹如何演化，而是比较统计距离（例如，Wasserstein 距离（Deveney 等人，2025 (https://arxiv.org/html/2605.06831#bib.bib12)））。这些分析没有提供关于幻觉*在何处*和*何时*产生的见解。据我们所知，我们的工作是第一个 m