线性约束下的条件扩散：Langevin 混合与信息论保证

# 线性约束下的条件扩散：朗之万混合与信息论保证

来源：https://arxiv.org/html/2605.05387

作者：Ahmad Aghapour, Erhan Bayraktar, Asaf Cohen
邮箱：[email protected], [email protected], [email protected]
单位：美国密歇根大学数学系，安娜堡，MI 48109

###### 摘要

我们研究了用于线性逆问题（包括图像修复和超分辨率）的零样本条件采样与预训练扩散模型。在这些问题中，观测值仅确定未知信号的一部分。剩余的自由度必须根据正确的条件数据分布进行采样。现有的基于投影的采样器通过在反向扩散过程中修正观测分量来强制执行测量一致性。然而，仅靠测量一致性并不能决定概率质量应如何在可行集上分布，这可能导致有偏的条件样本。我们通过得分函数的法向-切向分解来分析这一问题。对于高斯加噪，法向得分由测量值精确确定；只有切向条件得分是未知的。我们证明，用无条件切向得分替换该得分所产生的误差，以上界由观测分量与未观测分量之间的无条件互信息界定。这提供了一种将误差分解为初始化误差和路径得分不匹配误差的信息论方法。受理论启发，我们提出了一种结合投影朗之万初始化与引导反向去噪的方法，在图像修复和超分辨率实验中优于强有力的基于投影的基线方法。

关键词：扩散模型，逆问题，朗之万动力学，信息论界，条件采样

## 1 引言

扩散模型已成为高维生成建模的标准工具。给定来自数据分布的样本，扩散模型学习数据逐步加噪版本的得分函数，然后通过模拟反向去噪过程生成新样本（Song and Ermon, 2019; Ho et al., 2020; Song et al., 2020b, a）。然而，在许多应用中，生成并非是无条件的。例如，在图像恢复中，我们观察到一幅损坏的图像，并希望采样既符合预训练图像先验的真实性，又与观测值一致的清洁图像。本文研究了噪声线性观测条件下的此类条件采样问题。

设 $Z \in \mathbb{R}^d$ 表示清洁信号，并假设 $y = AZ$，其中 $A \in \mathbb{R}^{m \times d}$。目标是从条件分布 $\operatorname{Law}(Z \mid AZ=y)$ 中进行采样。当 $A$ 具有满行秩时，约束 $AZ=y$ 定义了一个仿射集。令 $P_{\perp} := A^\top (AA^\top)^{-1}A$，$P_{\parallel} := I - P_{\perp}$，投影 $P_{\perp}$ 提取由测量确定的信号分量，而 $P_{\parallel}$ 提取 $A$ 零空间中的分量。我们将前者称为法向分量，后者称为切向分量。因此，观测值固定了法向分量，而切向分量包含剩余的自由度。在成像问题中，这种表述涵盖了图像修复、超分辨率、去模糊和其他线性逆问题。

一个核心难点在于，测量一致性和条件采样并非同一任务。测量一致性仅要求生成一个满足 $A\hat{z}=y$ 的样本 $\hat{z}$。条件采样则要求更多：在所有满足测量的可行信号中，样本应根据数据的真实条件定律进行分布。在上述几何语言中，法向分量强制可行性，而切向分量决定了概率质量如何在可行的仿射集上分布。

许多基于预训练扩散模型的零样本逆问题采样器通过重复修正或投影观测方向上的样本来强制执行测量约束。我们称这类方法为基于投影的方法，因为它们使用已知的线性算子 $A$ 在反向扩散期间替换、投影或解析修正法向分量，而让未观测方向主要由预训练的无条件模型控制。去噪扩散恢复模型（DDRM）和去噪扩散零空间模型（DDNM）是线性逆问题的代表性例子（Kawar et al., 2022; Wang et al., 2022）。这些方法在保持测量一致性方面可能非常有效。然而，修正法向分量本身并不能确定切向方向上的正确分布。因此，一个样本可能满足 $A\hat{z}=y$，但在可行流形上仍然存在偏差。

本文的目标是理解并减少这种切空间偏差。我们在零样本设置下工作：扩散模型是无条件预训练的，并未针对观测值进行微调，条件仅在推理时施加。这种设置在实践中非常重要，因为它允许单个生成先验在许多逆问题中重复使用。它在理论上也很有启发性，因为唯一可用的学习对象是无条件得分。因此问题是：无条件得分何时可用于近似条件动力学，以及误差在哪里产生？

我们的起点是条件得分的法向-切向分解。在高斯加噪下，条件得分的法向分量可以从观测值中以闭式形式获得。在方差爆炸归一化中，如果 $B=P_{\perp}Z=b$，那么 $P_{\perp}s_{t}^{*,b}(x)=\frac{1}{t}P_{\perp}(b-x)$。因此，法向得分不是障碍。唯一未知的部分是切向条件得分 $P_{\parallel}s_{t}^{*,b}(x)$。因此，基于投影的零样本采样器可以被视为用预训练的无条件切向得分 $P_{\parallel}s_{t}(x)$ 替换这个未知的切向条件得分。这种观点隔离了偏差的精确来源：近似是在可行方向上进行的，而不是在测量方向上进行的。

受此分解启发，我们提出了一种两阶段条件采样器。我们不是从最高噪声分布开始反向扩散，而是从中间噪声水平开始。在这个水平上，可以在约束下精确采样噪声法向分量。然后我们在相应的仿射切片上运行投影欠阻尼朗之万动力学，使用投影无条件得分仅在切向方向上进行混合。这产生了一个已经与噪声约束一致且更好地适应可行切片的初始化。从这个初始化开始，我们使用精确的法向修正和切向方向上的预训练无条件得分执行引导反向去噪。

理论分析遵循相同的分解。我们将总采样误差分为两项。第一项是中间噪声水平下的初始化误差，由近似仿射切片上的真实条件边缘分布引起。第二项是在反向去噪过程中累积的路径误差，由用无条件切向得分替换真实条件切向得分引起。我们的主要路径结果表明，第二个误差由切向和法向分量之间的条件互信息控制。简而言之，当在选择噪声水平下，未观测切向分量与观测法向分量之间的剩余统计依赖性较小时，零样本切向引导是准确的。

我们将路径界与初始化分析相结合。在潜在高斯混合模型下，我们得到了一个终端库勒-莱布勒（KL）界，该界由初始化项和互信息路径项组成。在潜在法向码本上的额外分离条件下，这两项都随分离到噪声比率指数衰减。这些结果确定了使用固定无条件得分进行推理时条件化可以准确的制度，并解释了为什么切空间歧义是核心障碍。

我们使用预训练扩散骨干和匹配的算力预算，在标准线性成像逆问题上评估所得采样器。在 CelebA-HQ、LSUN Church 和 ImageNet 上的图像修复和 $8\times8$ 超分辨率任务中，所提出的方法在感知图像块相似度（LPIPS）和弗雷歇起始距离（FID）方面优于强有力的基于投影的零样本基线。在切向歧义更大的设置中（如 ImageNet 和高倍数超分辨率），增益最大，这与分析中切向混合的作用一致。

### 1.1 相关工作

我们的工作建立在基于得分的生成建模和扩散模型之上（Song and Ermon, 2019; Ho et al., 2020; Song et al., 2020b, a）。条件生成可以通过训练条件模型获得，但许多逆问题需要重用固定的无条件模型。分类器引导和无分类器引导利用额外的条件信息修改反向过程（Dhariwal and Nichol, 2021; Ho and Salimans, 2022）。如 SDEdit、RePaint 和 ILVR 等图像编辑和恢复方法通过加噪、去噪和重采样过程施加条件（Meng et al., 2021; Lugmayr et al., 2022; Choi et al., 2021）。扩散先验也广泛用于逆问题。预测器-校正器采样器和似然梯度校正将观测值纳入采样过程（Song et al., 2020b, 2021）。对于线性逆问题，DDRM 和 DDNM 利用测量算子在反向扩散期间施加解析更新或零空间修正（Kawar et al., 2022; Wang et al., 2022）。扩散后验采样（DPS）通过似然梯度引导将后验采样思想扩展到更一般的噪声和非线性设置（Chung et al., 2022）。这些方法展示了预训练扩散先验在恢复方面的优势。

我们的关注点不同：我们分析在法向测量分量被修正后剩余的特定切向得分近似。其他方法通过改变模型或底层路径测度来构建条件采样器。基于奖励的微调和强化学习方法使用任务特定的反馈适应预训练生成器（Fan et al., 2023; Zhao et al., 2025; Uehara et al., 2024）。Doob h-变换和扩散桥方法提供了条件化的原则路径空间表述（Didi et al., 2023; Guo et al., 2026; Zhou et al., 2024）。这些方法在适当假设下可以是精确或渐近精确的，但通常需要学习额外对象、解决控制问题或微调模型。相比之下，我们保持无条件得分固定，并研究仅通过推理时条件化能实现什么。

这里使用的朗之万初始化与约束采样有关。投影朗之万方法在受限域或流形上采样（Lamperski, 2021）。欠阻尼朗之万动力学在某些设置中可以相对于过阻尼动力学改善混合（Cheng et al., 2018），BAOAB 离散化以其在位置边缘分布中的稳定性和低偏差行为而闻名（Leimkuhler and Matthews, 2013）。在仿射逆问题中，这些方法是自然的，因为一旦法向分量固定，剩余的采样问题就生活在切空间中。

最近的理论开始分析条件和零样本扩散采样器，包括渐近精确条件采样器（Wu et al., 2023）、线性逆问题的基于滤波的后验采样器（Dou and Song, 2024）以及零样本引导的得分不匹配分析（Liang et al., 2025）。我们的贡献是互补的：我们隔离仿射条件化的法向-切向结构，并界定用无条件切向得分代替条件切向得分所导致的误差。

### 1.2 贡献

本文的主要贡献如下：

首先，我们推导了仿射条件扩散的法向-切向分解。对于高斯加噪，条件得分的法向分量可以从测量和加噪过程中精确获得，而切向分量是预训练无条件得分模型未提供的唯一部分。这种分解促成了第2节中的代理动力学。

其次，我们提出了一种零样本条件采样器，结合了精确法向修正、仿射切片上的投影欠阻尼朗之万混合以及引导反向去噪。朗之万阶段旨在在最终去噪阶段之前，以改善的未观测切向方向混合在中间噪声水平下初始化采样器。

第三，我们证明了引导反向动力学路径误差界。在定理4中，理想条件路径测度与代理路径测度之间的 KL 散度由切向和法向分量之间的条件互信息控制。这提供了一个信息论准则，用于判断何时用无条件切向得分替换条件切向得分是准确的。

第四，我们将路径估计与初始化分析相结合，以获得终端 KL 保证。在定理9中，终端误差分为初始化项和互信息路径项。所得边界不显式依赖于环境维度；其大小由切向条件敏感性以及...