Neural Non-Equilibrium Hamiltonian Monte Carlo 用于修正玻尔兹曼采样

# 神经非平衡哈密顿蒙特卡洛用于修正玻尔兹曼采样 来源：https://arxiv.org/html/2607.15682 Moxian Qian 亥姆霍兹研究所美因茨 约翰内斯·古腾堡大学美因茨 分子生物学研究所（IMB） 德国美因茨 mqian@students\.uni\-mainz\.de ###### 摘要

从未归一化的玻尔兹曼密度中采样需要提出的建议既能全局移动概率质量，又能保留足够的路径概率信息以进行统计修正。我们引入神经非平衡哈密顿蒙特卡洛（NHMC），这是一种先训练后修正的学习型哈密顿采样器。从易处理的基分布出发，NHMC学习朝向目标的随机哈密顿型路径。训练完成后，学习到的建议参数被固定；该建议随后生成完整路径和端点构型，并使用记录的非平衡功进行统计修正。这个无量纲的广义功由正向建议路径与反向参考路径之间的概率比确定。训练过程中，最小化其均值可减少路径空间KL散度，并控制端点失配的上界。评估时，相同的量定义路径自归一化重要性采样（path-SNIS）的权重，估计归一化常数或自由能差，并给出路径空间独立Metropolis-Hastings（path-IMH）的接受率。相同的正反向规律还定义了一个共享桥接往返Metropolis核，该核直接作用于构型并保持玻尔兹曼目标不变。在双阱和有限体积格点φ^4 目标上，当路径重叠足够时，NHMC构造给出修正估计；当重叠较差时，权重简并、低接受率和长自相关暴露了建议的失败。我们还额外报告了一项分子内坐标可行性研究，该研究使用MD先验和学习力路径建议。

## 1 引言

从玻尔兹曼分布 π(x)=1/Z exp[-E(x)] (1) 采样是机器学习、物理模拟和格点场论中的核心问题。经典马尔可夫链方法在标准条件下提供渐近有效的平衡估计，但局部转移在分离的模或亚稳态区域之间可能混合缓慢。神经采样器通过学习全局建议来在构型空间移动概率质量，提供了一条互补途径。然而，有限时间的学习传输通常不能精确保持目标分布。因此，一个有用的神经玻尔兹曼采样器应将全局建议移动与足够的概率信息相结合，以修正得到的估计或转移。

#### 非平衡路径修正。非平衡功恒等式提供了实现这种修正的一条途径。Jarzynski等式将有限时间功的指数平均与平衡自由能差联系起来，而Crooks涨落关系则确定了相应的正反向轨迹概率比 (Jarzynski,1997 (https://arxiv.org/html/2607.15682#bib.bib23); Crooks,1999 (https://arxiv.org/html/2607.15682#bib.bib24))。Bennett接受率方法使用来自两个方向的样本估计自由能差 (Bennett,1976 (https://arxiv.org/html/2607.15682#bib.bib25))。退火重要性采样(AIS)和哈密顿AIS在扩展的退火路径上构建重要性权重，而序贯蒙特卡洛则结合相关的路径权重与重采样 (Neal,2001 (https://arxiv.org/html/2607.15682#bib.bib26); Sohl-Dickstein and Culpepper,2012 (https://arxiv.org/html/2607.15682#bib.bib27); Del Moral et al.,2006 (https://arxiv.org/html/2607.15682#bib.bib33))。非平衡候选蒙特卡洛则使用非平衡功作为Metropolis接受规则 (Nilmeier et al.,2011 (https://arxiv.org/html/2607.15682#bib.bib13))。总之，这些方法表明，当概率比被保留时，有限时间建议路径可以进行统计修正。

#### 学习型采样器。另一类工作则学习采样机制本身。哈密顿蒙特卡洛(HMC)在构型上增加动量，并使用哈密顿积分构建长程Metropolis建议 (Duane et al.,1987 (https://arxiv.org/html/2607.15682#bib.bib1))。学习型马尔可夫链蒙特卡洛方法，包括A-NICE-MC、L2HMC以及相关的哈密顿构造，参数化现有链的转移算子，同时通过Metropolis修正保持目标不变性 (Song et al.,2017 (https://arxiv.org/html/2607.15682#bib.bib4); Levy et al.,2018 (https://arxiv.org/html/2607.15682#bib.bib2); Foreman et al.,2021 (https://arxiv.org/html/2607.15682#bib.bib3))。玻尔兹曼生成器和格点归一化流则学习从易处理的参考分布到类似目标构型的端点传输；变量变换密度支持重要性加权或基于流的Metropolis修正 (Noé et al.,2019 (https://arxiv.org/html/2607.15682#bib.bib5); Albergo et al.,2019 (https://arxiv.org/html/2607.15682#bib.bib6); Del Debbio et al.,2021 (https://arxiv.org/html/2607.15682#bib.bib7); Abbott et al.,2023 (https://arxiv.org/html/2607.15682#bib.bib8))。

#### 学习型随机路径。学习型随机路径方法将端点传输与路径空间修正联系起来。随机归一化流将确定性可逆映射与随机采样块相结合，并在完整的生成路径上计算精确的重要性权重 (Wu et al.,2020 (https://arxiv.org/html/2607.15682#bib.bib12))。路径积分采样器和受控蒙特卡洛扩散学习针对未归一化目标的受控扩散过程，使用随机控制或路径空间目标 (Zhang and Chen,2022 (https://arxiv.org/html/2607.15682#bib.bib30); Vargas et al.,2024 (https://arxiv.org/html/2607.15682#bib.bib31))。AFT、CRAFT和序贯玻尔兹曼生成器将归一化流与退火或序贯细化相结合 (Arbel et al.,2021 (https://arxiv.org/html/2607.15682#bib.bib10); Matthews et al.,2022 (https://arxiv.org/html/2607.15682#bib.bib14); Tan et al.,2025 (https://arxiv.org/html/2607.15682#bib.bib16))。FAB使用AIS引导的样本来训练一个覆盖质量的端点流，并减少重要性权重方差 (Midgley et al.,2023 (https://arxiv.org/html/2607.15682#bib.bib9))。数据驱动的等变流匹配从目标样本学习传输 (Klein et al.,2023 (https://arxiv.org/html/2607.15682#bib.bib15))。基于能量和评分的方法则从目标能量或其梯度学习传输、逆过程、似然代理或随机控制 (Woo and Ahn,2024 (https://arxiv.org/html/2607.15682#bib.bib34); Dern et al.,2025 (https://arxiv.org/html/2607.15682#bib.bib17); Aggarwal et al.,2025 (https://arxiv.org/html/2607.15682#bib.bib35); Vargas et al.,2023 (https://arxiv.org/html/2607.15682#bib.bib18); Akhound-Sadegh et al.,2024 (https://arxiv.org/html/2607.15682#bib.bib19); OuYang et al.,2026 (https://arxiv.org/html/2607.15682#bib.bib20); He et al.,2025 (https://arxiv.org/html/2607.15682#bib.bib21))。NETS沿退火传输过程学习漂移修正，同时保留基于功的权重以消除偏差 (Albergo and Vanden-Eijnden,2025 (https://arxiv.org/html/2607.15682#bib.bib11))。伴随采样学习朝向目标的受控扩散，并强调训练过程中能量评估的复用，而不是训练后使用固定的建议SNIS或IMH修正 (Havens et al.,2025 (https://arxiv.org/html/2607.15682#bib.bib22))。NHMC占据这一领域的哈密顿版本：其随机构造学习条件性的正向和反向动量规律，并与可逆、体积保持的踢-漂移映射交错。双阱映射使用目标能量梯度；格点实现使用学习到的位置依赖踢场。

#### 神经非平衡哈密顿蒙特卡洛。我们引入神经非平衡哈密顿蒙特卡洛(NHMC)，这是一种先训练后修正的学习型哈密顿采样器，用于未归一化的玻尔兹曼目标。从易处理的基分布出发，NHMC学习一条朝向目标的随机哈密顿型路径。每个建议阶段从学习到的条件密度中采样动量，应用可逆的体积保持蛙跳型映射，并记录相应的正向和反向对数概率。一个阶段也可能包含一个记录的离散对合，例如双阱运行中使用的符号翻转。在双阱实现中，学习到的随机分量是附加到每个阶段的条件动量规律。格点实现则额外学习位置相关的踢场，同时保持可逆、体积保持的踢-漂移组合。这些记录量使得完整的路径似然比易于处理，即使端点建议密度不可用。

令 Q_θ 表示完整路径 Γ 上的学习正向规律，P_θ 表示反向参考路径规律，其端点边际分布是玻尔兹曼目标。使用归一化的基约定，ΔF = -log Z，记录的功满足 log (dQ_θ/dP_θ)(Γ) = W_θ(Γ) - ΔF。 (2)
我们将 W_θ 称为与正反向路径密度比相关的无量纲广义功；它不必与沿轨迹的机械功一致。这个恒等式给出了未归一化的路径权重 ω̃_θ(Γ) = exp[-W_θ(Γ)] 和 Jarzynski 归一化。它也给出 E_{Q_θ}[W_θ] - ΔF = D_KL(Q_θ ∥ P_θ)，因此减少平均超额功可以减少路径空间不可逆性。训练后，建议参数被固定。记录的功随后定义路径自归一化重要性采样(path-SNIS)，估计归一化常数或自由能差，并给出路径空间独立Metropolis-Hastings(path-IMH)的接受率。目标是设计通过减少路径空间KL散度来改善端点重叠；记录的路径比提供了统计修正。

#### 最接近的相关方法。最接近的相关方法是NETS、随机路径采样和反绝热哈密顿蒙特卡洛。NETS沿退火传输过程学习额外的漂移，并保留非平衡权重以消除偏差(Albergo and Vanden-Eijnden,2025 (https://arxiv.org/html/2607.15682#bib.bib11))。随机路径采样器学习正向和反向Langevin型路径规律，并应用路径重加权或扩展空间独立Metropolis-Hastings(Chen et al.,2026b (https://arxiv.org/html/2607.15682#bib.bib28))。反绝热HMC学习辅助哈密顿项，并在SMC构造内使用非平衡权重(Cohn-Gordon et al.,2026 (https://arxiv.org/html/2607.15682#bib.bib29))。NHMC则学习双向条件动量规律，并在其格点实现中，学习位置相关的踢场，这些踢场嵌入在可逆、体积保持的踢-漂移映射中。其修正因子是实现随机哈密顿路径的概率比，而不是端点变量变换密度。一个并行的扩散路径构造使用增广空间Metropolis修正来消除近似评分和离散化带来的偏差(Chen et al.,2026a (https://arxiv.org/html/2607.15682#bib.bib32))。因此，NHMC提供了一个学习型随机哈密顿建议，其记录的功连接了训练、自由能估计、path-SNIS和path-IMH。此外，我们推导了一个Metropolis调整的往返NHMC核：反向NHMC规律将当前构型拉回一个共享桥接状态，正向规律则从该桥接状态生成候选构型。一个路径交换Metropolis修正使得最终的构型空间核关于玻尔兹曼目标可逆。我们在解析易处理的多阱目标和有限体积格点 φ^4 上评估了学习到的NHMC路径建议及其path-SNIS、path-IMH和往返修正。一项独立的分子内坐标研究评估了从MD先验初始化的学习力先验动作评分。数值评估报告了加权可观测量的结果，以及路径ESS、功分布、Metropolis接受率、自相关和模式覆盖。附录C (https://arxiv.org/html/2607.15682#A3) 还报告了一个紧凑的U(1)往返试点实验，作为规范目标的压力测试。

## 2 神经非平衡哈密顿蒙特卡洛

参见图注

图1：NHMC路径构造和记录功的修正。训练完成后，学习到的建议参数被固定，由此产生的建议生成完整的随机哈密顿路径。记录的功结合了端点目标/基项与每个阶段的正反向动量对数比，以及（如果存在）离散移动的对数比。示意图中显示的阶段公式省略了这一可选的离散项。同一量支持path-SNIS、归一化子/自由能估计以及独立的path-IMH。往返分支则直接作用于构型：从当前 x 出发，它沿着正向定向路径 Γ_x: u→x 反向遍历至共享桥接 u，然后沿 Γ_y: u→y 到达候选构型，并最终进行一次Metropolis决策。

NHMC定义了完整随机路径上易于处理的概率规律。从归一化的基分布 q_0 开始，它将辅助随机性保留在路径 Γ 内部。这样，即使端点建议密度不可用，正反向路径比仍然是可计算的。

### 2.1 随机哈密顿路径建议

令 γ(x) = exp[-E(x)]，Z = ∫ γ(x) dx，且 π(x) = γ(x)/Z。一个阶段可能首先抽取一个离散辅助变量
s_t ∼ r^{F}_{θ,t}(·∣x_t)， x̃_t = g_{s_t}(x_t)， (3)
其中 g_{s_t} 是一个可逆、体积保持的变换。当未使用离散移动时，x̃_t = x_t，对应的概率因子为1。利用辅助动量 p 和动能 K(p) = 1/2 p^T M^{-1} p，NHMC然后抽取新的输入动量
p_t ∼ q^{F}_{θ,t}(·∣x̃_t)， q^{F}_{θ,t} = N(μ^{F}_{θ,t}(x̃_t), diag(σ^{F}_{θ,t}(x̃_t))^2)， (4)
并应用一个可逆、可逆、体积保持的踢-漂移映射
(x_{t+1}, p̄_{t+1}) = Φ_t(x̃_t, p_t)。 (5)
符号 p_t 表示新采样的输入动量；p̄_{t+1} 表示确定性映射的输出动量。下一个阶段将采样新的动量，因此这两个量是不同的。在双阱实现中，Φ_t 是使用目标能量梯度的蛙跳组合。格点实现使用相同的可逆、体积