基于解析方差调度的生成式扩散代理模型

# 具有解析方差调度的生成式扩散代理模型
来源：https://arxiv.org/html/2609.01705  
**Patrick Reichherzer** 电子邮件：[[email protected]](mailto:[email protected]) 附属机构：牛津大学物理系，英国牛津OX1 3PU；普林斯顿大学天体物理科学系，美国新泽西州普林斯顿08544；马克斯·普利安全与隐私研究所，德国波鸿44799  
**David N. Hosking** 附属机构：剑桥大学应用数学与理论物理系，英国剑桥CB3 0WA；冈维尔与凯斯学院，剑桥CB2 1TA  
**Subir Sarkar** 附属机构：牛津大学物理系，英国牛津OX1 3PU  

###### 摘要  
随机输运描述了物理系统中，在未解析的强迫、散射或非均匀介质作用下，初始有结构的分布逐渐扩散的过程。此类系统的有效代理模型应是概率性的、时间分辨的，并能表征非高斯分布结构。生成式扩散模型通过向数据添加高斯噪声并学习逆向流动至结构化状态，具备这些特性。然而，其噪声调度通常是启发式选择的：图像和音频生成这类典型用例没有物理时钟。相比之下，在输运问题中，即使完整分布未知，方差或均方位移通常可从宏观理论或经验标度律中获知。本文将正向加噪速率规定为该方差的时间导数，从而将生成时间转化为校准的输运时钟。方差路径通过构造强制实现，而学习到的分数场表征了从入口数据继承的非高斯结构沿该路径的平滑过程，无需中间时刻的物理输运数据。对于湍流等离子体中弹道到扩散的输运，该代理模型与测试粒子分布匹配，复现了实验室测量的方差尺度，并无需调度调谐即可跟踪模拟的峰度演化，从而支持校准的仿真和基于似然的推断。  

## 1 引言  
生成式扩散模型——广泛应用于人工智能图像、音频和视频生成——通过学习逆转噪声来工作。其前向扩散过程通过逐步添加随机噪声来破坏训练数据。训练神经网络以逆转这一破坏过程，使得高度破坏的样本——甚至纯噪声——可以被转换为类似于训练数据的样本（逆向扩散过程）。在本文中，我们使用相同的机制来建模通过物理上累积随机增量而演化的物理系统，即随机输运，其中初始有序分布受到未解析的涨落作用，如湍流磁场、散射中心、孔隙异质性、分子碰撞或随机强迫。  

扩散模型的一个核心设计选择是前向噪声调度 \( g(\tau) \)，它指定了作为类时间参数 \( \tau \) 函数的前向扩散过程中添加的噪声量（Ho et al., 2020；Song et al., 2021；Nichol and Dhariwal, 2021；Karras et al., 2022）。对于本工作使用的方差爆炸（VE）形式，前向破坏过程为：
$$ d\mathbf{x}_{\tau} = \tilde{g}(\tau) \, d\mathbf{W}_{\tau}, \tag{1} $$
其中 \( \mathbf{W}_{\tau} \) 是具有独立增量的标准维纳过程。如果 \( \tilde{\sigma}^{2}(\tau) \) 表示代理模型中入口后的累积方差增量，则：
$$ \tilde{\sigma}^{2}(\tau) = \int_{0}^{\tau} \tilde{g}^{2}(u) \, du, \qquad \tilde{g}^{2}(\tau) = \frac{d}{d\tau} \tilde{\sigma}^{2}(\tau). \tag{2} $$
因此，一个非递减的宏观方差定律直接决定了扩散模型的瞬时加噪速率。在图像、音频和视频生成中，\( g(\tau) \) 通常是启发式选择的（例如，关于 \( \tau \) 线性或余弦函数）（Ho et al., 2020；Nichol and Dhariwal, 2021），并通过调优以最大化输出质量或似然。相比之下，对于随机输运，方差（解释为输运粒子的均方位移）通常比完整分布更直接地已知，无论是来自宏观输运理论还是测量的标度律。例如包括：通过分数动力学建模的多孔介质中的非菲克输运（Berkowitz et al., 2000；Edery et al., 2015）；拥挤细胞质中的细胞内亚扩散（Weiss et al., 2004；Golding and Cox, 2006）；湍流中的超扩散弥散（理查森定律）（Richardson, 1926）；以及随机磁场中的带电粒子输运。类似的标度律也出现在更广泛的随机扩散问题中，如人类移动性和粗糙波动率（Brockmann et al., 2006；Gatheral et al., 2018）。  

将 \( \tau \) 视为归一化物理时间，此类定律可写作 \( \tilde{\sigma}^{2}(\tau) \)，并在方差层面上用于校准扩散模型时钟。因此，在本文中，我们将噪声调度 \( \tilde{g}(\tau) \) 锚定到已知物理方差定律 \( \tilde{\sigma}^{2}(\tau) \) 的生成式扩散模型，作为随机输运的代理。锚定方差将尺度动力学与剩余分布形状分离：方差通过解析方式指定，而学习的逆向模型则表示更高阶结构，包括从入口数据继承的非高斯结构。此校准固定了方差层面的系综扩散，但未固定底层微观动力学：合成的高斯加噪过程本身并不施加有限传播速度、记忆效应或轨迹相关性。图1总结了本文中使用的扩散模型和随机输运术语之间的映射关系。  
> **图1**：扩散-输运术语映射。单条曲线表示样本轨迹 \( x_{\tau} \)；蓝色密度场显示演化的边际分布 \( p_{\tau} \)。固定的 \( \tau \) 切片在扩散建模中被解释为加噪图像的分布，在随机输运中被解释为束流单粒子概率密度函数，连接入口/数据分布 \( P_{0} \) 与高斯化极限 \( P_{1} \)。  

这种方差时钟构造不同于现有生成模型在科学代理建模中的应用。扩散模型越来越多地被用作科学代理（Thuerey et al., 2021；Greif et al., 2023），包括从测试粒子模拟中合成粒子轨迹（Martin et al., 2025），但其生成时间尺度通常是算法性的，其中前向调度是为了样本质量、似然或采样效率等目标而选择或调优的（Ho et al., 2020；Song et al., 2021；Kingma et al., 2021；Dockhorn et al., 2022；Bao et al., 2022；Karras et al., 2022）。另一条科学机器学习路线通过惩罚控制方程的残差或施加其他基于物理的约束来融入物理信息（Raissi et al., 2019；Thuerey et al., 2021；Karniadakis et al., 2021；Bastek et al., 2024）。基于路径的生成方法，包括流匹配、随机插值器和薛定谔桥，学习分布间规定概率路径上的向量场或随机过程（Lipman et al., 2023；Albergo et al., 2025；De Bortoli et al., 2021；Duong et al., 2025；Baldan et al., 2025）。这些路径不必与物理输运时钟重合，尽管轨迹数据或物理插值器可以在科学应用中被纳入（Wald and Steidl, 2025）。其他方法通过近似逆转模拟器并用学习的分数校正结果来求解逆问题（Holzschuh et al., 2023）。  

在操作上，我们仅修改标准VE-SDE框架中的标量调度（Song et al., 2021）。调度 \( \tilde{g}^{2}(\tau) \) 直接从宏观方差定律 \( \tilde{\sigma}^{2}(\tau) \) 导出，在二阶矩层面上将生成时钟校准到物理时间。这保留了现有的扩散模型基础设施，同时支持解析的矩追踪。它还允许仅使用入口数据进行训练：网络使用入口样本及其沿规定方差路径的合成破坏进行训练，无需中间时刻的物理输运数据。因此，在规定读出时间 \( \tau^{\star} \) 进行采样，即可得到与 \( \tilde{\sigma}^{2}(\tau^{\star}) \) 相关联的代理边际分布。  

在下文中，我们开发了一个将宏观输运定律整合到生成式扩散模型中的框架。我们在§2.1中提供理论基础，在§2.2中将该方法应用于电报型弹道到扩散输运，在§2.3中演示仅入口数据训练，在§2.4中将学习的模型用作实验室等离子体输运的可微代理。在§2.5中，我们将相同的构造应用于重尾和间歇性输运，其中早期时间的输运统计量是强烈非高斯的。由此产生的代理模型以物理时间索引，适用于校准的科学仿真和基于似然的推断。  

## 2 结果  
### 2.1 中心极限定理为物理锚定的高斯代理提供动机  
在许多物理系统中，宏观输运源于微观扰动的累积，例如散射事件或随机碰撞，这些扰动在有限长度尺度 \( \ell_{c} \) 或等效的相关时间 \( \tau_{c} \) 上是相关的。在此尺度以下，微观物理可能是复杂且强烈非高斯的。如果分离 \( \ell_{c} \) 的粗粒化扰动是弱相关的且具有有限二阶矩，中心极限定理（CLT）为在远大于 \( \ell_{c} \) 的尺度上累积的输运核提供了高斯近似的动机。在归一化时钟上，经过 \( N \sim \tau / \tau_{c} \) 个近似去相关的贡献，且具有有限四阶矩，标准化的高阶累积量会松弛；特别是，累积核的超额峰度以 \( 1/N \) 下降（方法，§4.3）。我们使用这种高斯化作为粗粒化建模假设。亚 \( \ell_{c} \) 尺度的非高斯结构通过入口分布 \( P_{0} \) 表示，而随后的入口后扩散近似为一个高斯核，其方差由宏观输运定律规定。因此，模型边际分布中的非高斯结构继承自 \( P_{0} \)，然后被规定方差增长所稀释，除非物理输运核本身保持强烈非高斯。我们在§2.5中利用此构造来传播来自亚 \( \ell_{c} \) 场统计的间歇性，而锚定的方差定律提供尺度演化。  

高于 \( \ell_{c} \) 的高斯化扩散由累积的入口后方差 \( \tilde{\sigma}^{2}(\tau) \) 编码。如果为总方差写出了宏观定律，那么 \( \tilde{\sigma}^{2}(\tau) \) 应解释为相对于入口方差的方差增量。我们使用公式（1）-（2）中引入的VE过程实现此方差增量，现在初始化为 \( \mathbf{x}_{0} \sim P_{0} \)。由于 \( \text{Cov}[d\mathbf{W}_{\tau}] = I \, d\tau \)，在每个固定 \( \tau \) 处产生的边际定律可等价地写为：
$$ \mathbf{x}_{\tau} = \mathbf{x}_{0} + \tilde{\sigma}(\tau) \boldsymbol{\epsilon}, \qquad \boldsymbol{\epsilon} \sim \mathcal{N}(0, I). $$
每个合成的高斯增量仅代表代理层面粗粒化、去相关的输运部分。马尔可夫近似相当于在这些粗粒化增量中忽略了超过 \( \tau_{c} \) 的记忆。因此，公式（1）生成的边际分布 \( p_{\tau}(\mathbf{x}) \) 是 \( P_{0} \) 与高斯核的卷积（方法，§4.1）。从 \( P_{0} \) 开始，每个状态累积独立的、每坐标方差为 \( \tilde{\sigma}^{2}(\tau) \) 的高斯位移：
$$ p_{\tau}(\mathbf{x}) = \big( P_{0} * \mathcal{N}(0, \tilde{\sigma}^{2}(\tau) I) \big)(\mathbf{x}). \tag{3} $$
因此，模型边际的总每坐标方差为 \( \sigma_{0}^{2} + \tilde{\sigma}^{2}(\tau) \)，其中 \( \sigma_{0}^{2} = \text{Var}(P_{0}) \) 表示入口方差。因此，VE过程充当了入口后输运核的高斯代理。当物理输运核是中心化和各向同性时，该高斯分布是中心化各向同性高斯族中矩匹配的成员，并在该族中最小化交叉熵（等价于物理核具有密度和有限微分熵时的前向KL散度）（方法，§4.2）。  

相关的分数是 \( \mathbf{s}(\mathbf{x}, \tau) = \nabla_{\mathbf{x}} \log p_{\tau}(\mathbf{x}) \)，我们用神经网络 \( \mathbf{s}_{\theta} \) 进行近似。因为方差是通过调度解析强制的，所以该网络不需要学习二阶矩的演化。相反，它