能量生成建模：基于Lyapunov能量匹配的视角

# 基于李雅普诺夫的能量匹配视角

来源: https://arxiv.org/html/2605.05530

## 能量生成建模：一种基于李雅普诺夫的能量匹配视角

Yixuan Wang, Wenqian Xue, Warren E. Dixon  
佛罗里达大学机械与航空航天工程系  
{wang.yixuan, w.xue, wdixon}@ufl.edu

###### 摘要

基于静态标量能量函数的生成模型代表了一种新兴范式，在这种范式中，单个与时间无关的势场通过其梯度场驱动样本生成，从而完全消除了对时间条件的需求。我们在一个统一的框架下将传统上被视为独立过程的训练和采样阶段统一起来：将 Wasserstein 空间上的密度输运表述为一个非线性控制问题，其中 Kullback-Leibler (KL) 散度作为李雅普诺夫函数。训练和采样随后成为这一主动力学的两个实例，仅在初始条件上有所不同。在这个自主框架内，我们推导出了两个分析结果。首先，由于李雅普诺夫证书是渐近的，我们推导出了 Langevin 采样的有限步停止准则，并证明了在同一能量景观上不存在确定性梯度流的李雅普诺夫证书。其次，这种重构将非线性控制理论的工具集应用于静态标量能量生成建模，即我们表明，训练后的标量能量的加性组合保留了显式的 Gibbs 不变测度，并继承了闭环李雅普诺夫证书。除了这些直接结果外，这种重构将静态标量能量生成模型与非线性控制理论的全部工具集联系起来，为受约束生成的障碍函数和加速采样的收缩度量打开了大门。在合成分布上的实验验证了理论预测。

## 1 引言

生成模型的主要任务是构建一种机制，该机制能够从最优分布 $\rho^*$ 中产生样本，该分布是潜在数据分布的近似，仅给定有限的训练集 $\{x_i\}_{i=1}^N \subset \mathbb{R}^d$。扩散模型 Sohl-Dickstein et al. (2015); Ho et al. (2020); Song and Ermon (2019); Song et al. (2021) 和流匹配 Lipman et al. (2023); Liu et al. (2023); Albergo et al. (2023); Tong et al. (2024) 已成为主导方法，它们学习时间依赖的向量场或得分函数，沿着连续概率路径将简单的噪声分布传输到数据分布。最近出现的一种范式，能量匹配 Balcerak et al. (2025)，完全去除了时间条件。与其学习时间变化的动力学，不如学习单个标量能量函数 $U_\theta: \mathbb{R}^d \to \mathbb{R}$，定义 Gibbs 分布 $\rho_\theta(x) = \exp(-U_\theta(x))/Z_\theta$ 作为 $\rho_{\text{data}}$ 的替代，并通过在该静态能量景观上运行动力学来绘制样本。

静态能量范式具有时间条件范式所不具备的结构特性：它产生一个自主（与时间无关）的动力学系统。具体而言，样本是通过模拟随机微分方程 $dx_t = -\nabla U(x_t)dt + \sqrt{2}dW_t$ 获得的，其分布对应物是 Fokker-Planck 方程 $\partial_t \rho_t = \nabla \cdot (\rho_t \nabla U_\theta) + \Delta \rho_t$，两者均由与时间不变的漂移 $\nabla U_\theta$ 控制。自主系统正是经典非线性控制理论工具集最自然适用的场景：李雅普诺夫稳定性和控制障碍函数 Khalil (2002); Sontag (1998); Ames et al. (2017)。

对 Langevin 采样器的经典分析视角可以看作是将 $KL(\rho_t \| \rho_\theta)$ 视为 $\mathcal{P}_2(\mathbb{R}^d)$ 上的李雅普诺夫函数 Bakry et al. (2014)。这是对从物理学继承的动力学的分析保证。然而，它并没有解释为什么 Langevin 随机微分方程 (SDE)，而不是其确定性对应物 $\dot{x}_t = -\nabla U_\theta(x_t)$ 或同一能量景观上的任何其他自主流，首先就是正确的分布生成器。生成建模目标本质上是分布性的：任务不是将一个粒子移动到一种模式，而是引导先验分布 $\rho_0$ 趋向于 $\rho^*$，使得最小化全变差或 KL 散度等指标。

本文重构了静态能量生成问题，将其表述为 $\mathcal{P}_2(\mathbb{R}^d)$ 空间上概率密度输运的非线性控制问题。在这种重构中，状态变量是概率密度 $\rho_t$ 本身，开环动力学由连续性方程 $\partial_t \rho_t = -\nabla \cdot (\rho_t u_t)$ 控制，其中速度场 $u_t$ 作为控制输入，而 KL 散度 $KL(\rho_t \| \rho^*)$ 作为李雅普诺夫函数。李雅普诺夫设计要求沿所有轨迹 $\frac{d}{dt} KL(\rho_t \| \rho^*) \leq 0$，这确定了一个唯一的最优速度场，由此产生的闭环密度动力学即为 Fokker-Planck 方程。

我们的贡献如下。

1. 我们开发了一个控制论重构框架，其中训练、采样和平滑统一为 $\mathcal{P}_2(\mathbb{R}^d)$ 上密度输运的三个实例，每个实例都由连续性方程控制。
2. 我们提供了确定性采样和 Langevin 采样的有限时间停止分析。确定性流被分析为早期停止的采样代理，尽管它具有趋向模式崩溃的渐近倾向，而 Langevin 动力学被视为内在的随机采样器。我们的分析确定了确定性输运何时可以在有意义的分布范围内终止，并利用基于李雅普诺夫的论证来表征 Langevin 采样的性能。
3. 我们将非线性控制理论的工具集应用于静态标量能量生成建模。我们表明，训练后的标量能量的加性组合保留了显式的 Gibbs 不变测度，并继承了闭环李雅普诺夫证书，这使我们能够使用控制障碍函数工具进行安全保证生成。

#### 符号说明。

全文中，$\nabla$ 表示梯度算子 $(\partial_{x_1}, \dots, \partial_{x_d})^\top$，$\nabla \cdot$ 表示作用于向量场的散度算子：$\nabla \cdot F = \sum_{i=1}^d \partial_{x_i} F_i$。拉普拉斯算子为 $\Delta = \nabla \cdot \nabla = \sum_{i=1}^d \partial_{x_i}^2$。空间 $\mathcal{P}_2(\mathbb{R}^d)$ 由 $\mathbb{R}^d$ 上具有有限二阶矩的 Borel 概率测度组成。对于 $\rho, \nu \in \mathcal{P}_2(\mathbb{R}^d)$ 且 $\rho$ 关于 $\nu$ 绝对连续，KL 散度为 $KL(\rho \| \nu) = \int_{\mathbb{R}^d} \rho \log(\rho/\nu) \,dx$，全变差距离为 $TV(\rho, \nu) = \frac{1}{2} \int_{\mathbb{R}^d} \|\rho - \nu\| \,dx$，相对 Fisher 信息为 $I(\rho \| \nu) = \int_{\mathbb{R}^d} \rho \, \|\nabla \log(\rho/\nu)\|^2 \,dx$。对于 $A \in \mathbb{R}^{n \times n}$，$A \succeq 0$ 表示半正定矩阵 $A$。$K_h$ 是核密度估计 (KDE) 中使用的对称正定核，带宽 $h > 0$，例如高斯核 $K_h(x) = (2\pi h^2)^{-d/2} \exp(-\|x\|^2/(2h^2))$。$x$ 表示数据输入，$\theta$ 表示神经网络参数。

## 2 控制论重构

在本节中，我们发展控制论重构。取 Wasserstein 空间 $\mathcal{P}_2(\mathbb{R}^d)$ 作为状态空间，概率密度 $\rho \in \mathcal{P}_2(\mathbb{R}^d)$ 作为状态变量。概率密度的开环动力学由连续性方程控制

$$
\partial_t \rho = -\nabla \cdot (\rho u), \tag{1}
$$

其中速度场 $u: \mathbb{R}^d \to \mathbb{R}^d$ 作为控制输入进入。设计目标是选择控制器 $u$，使得由此产生的闭环动力学将先验分布 $\rho_0$ 收敛到目标分布。训练阶段和采样阶段中的先验分布和目标分布是不同的。在训练阶段，神经网络学习一个静态标量能量场 $U_\theta^*$，使得对应的 Gibbs 密度 $\rho_\theta^*(x) = \exp(-U_\theta^*(x))/Z_\theta^*$ 是 $\rho^*$ 在 $t \to \infty$ 时的最优近似。在采样阶段，给定一个训练良好的能量场 $U_\theta^*$。密度输运发生在先验噪声分布 $\rho_0$ 和 $\rho_\theta^*$ 之间。由于训练和采样共享相同的动力系统，我们在后续推导中以训练阶段为例。

为了通过李雅普诺夫直接方法实现这一目标，我们选择 KL 散度作为李雅普诺夫候选函数

$$
V(\rho_\theta) = KL(\rho_\theta \| \rho^*) = \int_{\mathbb{R}^d} \rho_\theta(x) \log \frac{\rho_\theta(x)}{\rho^*} dx. \tag{2}
$$

然后，遵循控制理论，沿着 (1) 中的开环动力学计算 $V$ 的李导数 Yano (2020)（见附录 A.1）

$$
\mathcal{L}_u V(\rho_\theta) = \int_{\mathbb{R}^d} \rho_\theta(x) u(x) \cdot (\nabla \log \rho_\theta(x) + \nabla U^*) dx, \tag{3}
$$

其中 $U^*$ 对应于 Gibbs 密度中的 $\rho^*$。相同的表达式出现在 Wasserstein 梯度流理论中 Jordan et al. (1998); Villani (2009)，这里是通过计算受控流沿李雅普诺夫候选函数的方向导数的控制论途径达到的。为了实现收敛，需要满足李雅普诺夫条件 $\mathcal{L}_u V(\rho_\theta) < 0$ 对于 $\rho_\theta \neq \rho^*$。通过选择最优控制器 $u$ 为

$$
u^*(x, \rho_\theta) = -\nabla U^*(x) - \nabla \log \rho_\theta(x), \tag{4}
$$

李雅普诺夫导数坍缩为负的相对 Fisher 信息，

$$
\mathcal{L}_{u^*} V(\rho_\theta) = -\int_{\mathbb{R}^d} \rho_\theta(x) \, \|\nabla \log \rho_\theta(x) + \nabla U^*(x)\|^2 dx = -I(\rho_\theta \| \rho^*) \leq 0, \tag{5}
$$

其中最后一个等式成立当且仅当 $\rho_\theta = \rho^*$。那么，根据李雅普诺夫稳定性原理 Khalil (2002)，受控轨迹满足 $\rho_\theta \to \rho^*$ 当 $t \to \infty$。更新的神经网络参数 $\theta$ 将在每个更新周期更新控制器，如后面讨论的那样。

通过用 (4) 替换 (1) 并使用 $\rho \nabla \log \rho = \nabla \rho$，得到的闭环密度动力学是 Fokker-Planck 方程

$$
\partial_t \rho = \nabla \cdot (\rho \nabla U^*) + \Delta \rho, \tag{6}
$$

其粒子层面的实现是 Langevin SDE Risken (1996)

$$
dx_t = -\nabla U^* dt + \sqrt{2} dW_t, \tag{7}
$$

其中 $W_t$ 是标准布朗噪声。

在采样方面，Langevin SDE 是通过李雅普诺夫设计选择的最陡下降控制器恢复的。最优控制律 $u^*$ 允许分解为前馈项 $-\nabla U_\theta^*$，编码目标测度的得分，以及状态依赖反馈项 $-\nabla \log \rho_\theta$，闭环系统 (7) 通过布朗增量 $\sqrt{2} dW_t$ 实现该项。去除布朗噪声会在所学能量场 $U_\theta^*$ 上产生确定性梯度下降，正如我们在第 3 节严格建立的那样，这不能作为分布采样器。

在训练方面，将 $\rho_\theta$ 代入 (4)，识别速度场 $u^*(x, \rho_\theta) = -\nabla U^*(x) + s_{\rho_\theta}(x)$，其中 $s_{\rho_\theta} \triangleq \nabla \log \rho_\theta$ 是来自 $U_\theta$ 的模型密度的得分，等效于拟合能量 $U_\theta$。为了实现收敛 $\rho_\theta \to \rho^*$，拟合 $U_\theta$ 对应于两个匹配贡献。一个是隐式得分匹配，最小化 $E_{\rho^*}[\frac{1}{2}\|\nabla U_\theta\|^2 - \Delta U_\theta]$ 并通过分部积分恒等式恢复得分 Hyvärinen (2005)。另一个是去噪得分匹配，在扰动核 $q_\sigma$ 下最小化 $E_{\rho^*, q_\sigma}[\|\nabla U_\theta(\tilde{x}) - \nabla \log q_\sigma(\tilde{x} | x)\|^2]$ Vincent (2011)。这两种损失，在足够表达丰富的标量参数化上优化，驱动 $\rho_\theta \to \rho^*$ 在相对 Fisher 信息诱导的度量中。因此，训练和采样不是两个独立的算法模块，而是同一李雅普诺夫控制器的两种规格说明。