稳健分子转变路径采样的随机控制策略

# 用于鲁棒分子转换路径采样的随机控制策略
来源：https://arxiv.org/html/2608.13800
###### 摘要

转换路径采样旨在高效生成亚稳态之间的稀有分子转换轨迹，这对于理解生物分子机制至关重要。除了传统的基于分子动力学的采样方法，机器学习已成为尖端转换路径采样技术的核心。其中一类主要方法是在显式分子动力学展开过程中学习控制力。通过保留基础的分子动力学，这些方法往往能生成比直接构建路径的端点条件生成器更具物理合理性的轨迹。然而，据报道，基于展开的控制方法表现出不稳定且强烈依赖随机种子的性能。我们将基于展开的控制重新定义为学习路径空间提案分布，并研究随机性放置作为改进探索和优化鲁棒性的设计选择。我们开发了两种随机策略：FS-TPS直接参数化控制策略输出上的状态依赖高斯分布；LaS-TPS则采样一个紧凑的潜变量控制变量，并将其解码为结构化的、跨原子相关的力变化。我们在三个尺寸递增的生物分子系统上进行了广泛的多随机种子实验：丙氨酸二肽、chignolin以及快速折叠蛋白质BBL。随机策略在转换成功率和路径质量方面持续优于确定性策略基线，同时显著降低了对随机初始化的敏感性。

## 引言

亚稳态之间的分子转换是蛋白质折叠、构象转换和化学反应等过程的基础。转换路径采样旨在生成连接亚稳态的反应性轨迹，为生物分子系统如何在长寿命构象之间演变提供机制性见解。有效采样此类轨迹具有挑战性，因为相关的自由能垒在可访问的模拟时间尺度上很少被跨越。尽管精心设计的集合变量可以促进这种探索，但识别有信息量的集合变量通常需要大量的领域知识。对于蛋白质折叠，这种限制变得更加严重，因为它涉及高维且协调的原子运动，可能无法接受明显的低维表示。

现有的转换路径采样方法可大致分为三类。传统的基于分子动力学的方法通过分子力场生成轨迹，有时辅以外部施加的引导力或偏置采样方法。学习引导的分子动力学展开方法则训练一个神经策略，从当前分子构型中预测瞬时偏置。该偏置与物理力相结合，系统通过分子动力学积分器推进，使得完整路径从受控动力学中顺序涌现。PIPS引入了这种策略学习框架；TPS-DPS通过回放缓冲区和对数方差路径测度目标改进了非策略训练。第三类方法包括Doob拉格朗日和FAS，直接构建完整的端点条件路径，无需分子动力学展开。在这些类别中，学习引导的分子动力学展开方法仍然具有竞争力，因为它们保留了显式的时间传播，并且往往比直接的端点条件生成器生成更符合物理规律的路径。附录中的证据表明，对于丙氨酸二肽，Doob拉格朗日路径在集合变量空间中坍缩到一个几何连接处，这与其他地方报告的失败一致。FAS在更大的基准测试集chignolin上产生了不太理想的低能量路径。然而，基于展开的方法也有一个明显的局限性：糟糕的初始回放缓冲区可能会使策略反复暴露于路径空间的狭窄区域，强化不成功的控制策略，并对网络初始化产生强烈的敏感性。

先前的工作试图通过信任区域正则化来解决这种不稳定性，但只取得了有限的性能提升。在本工作中，我们探索了一个不同的视角：在策略学习中引入随机性。这与随机最优控制中的一个经典结果相关联，其中噪声水平决定了最优控制是平均多个解还是坍缩到单一解。我们的动机也来自强化学习，它与分子动力学展开方法共享顺序控制结构、状态依赖动作、基于轨迹的交互以及基于回放缓冲区的非策略优化，尽管使用了不同的学习目标。先前的研究表明，动作空间扰动、参数空间噪声和熵正则化的随机策略可以促进探索，这基于最大熵控制与概率推断之间的更广泛联系。受这些方法的启发，我们首先用一个状态依赖的高斯策略替代确定性的偏置力预测器，该策略在每次分子动力学展开期间采样施加的控制，从而产生力空间随机转换路径采样。在丙氨酸二肽上，与确定性基线相比，FS-TPS分别在均方根偏差、转换成功率和路径多样性方面提高了39.5%、52.8%和22.2%。这些增益在更大的chignolin和BBL系统上保持一致。更重要的是，在七个到九个随机种子上的评估显示变异性显著降低，证明了其对网络初始化具有更强的鲁棒性。

这些结果进一步促使我们研究在更高维的分子系统中应在何处引入随机性。笛卡尔力分量的独立波动可能不足以表示分子转换中涉及的协调原子运动。因此我们假设，随机性应该通过一个紧凑的潜在表示来引入，允许共享解码器将潜在扰动转换为整个原子偏置力的相关变化。基于这一思想，我们提出了潜在空间随机转换路径采样，它在瓶颈架构内采样一个状态依赖的潜在变量，并将其确定性地解码为施加的控制。在局部线性近似下，我们证明了诱导的力协方差通常是非对角且状态依赖的，其秩受潜在维度的上界约束。我们的经验表征进一步表明，LaS-TPS将随机变化集中到低有效秩、跨原子相关的力模式中，支持了预期的结构化参数化。使用相同的随机初始化集合，LaS-TPS在丙氨酸二肽上相对于确定性基线，分别降低了41.9%和25.4%的均方根偏差和过渡态能量，同时将转换成功率和模式覆盖率分别提高了58.9%和77.8%。在chignolin和BBL上，它在转换成功率和能量路径质量方面也保持了改进，这些增益是在七个到九个随机种子上评估的。

我们的主要贡献如下：

- •我们从路径空间提案的角度重新审视了学习引导的分子动力学展开，并将随机控制作为改善探索和降低对早期回放缓冲区轨迹敏感性的机制。
- •我们提出了FS-TPS，它用一个状态依赖的高斯控制策略替代确定性的偏置预测器，并使用熵正则化在非策略训练期间维持探索。在丙氨酸二肽、chignolin和BBL上，FS-TPS在七个到九个随机种子上提高了转换成功率，并降低了对网络初始化的敏感性。
- •我们提出了LaS-TPS，它通过一个紧凑的瓶颈表示引入随机性。在线性化下，我们证明了诱导的力协方差通常是相关的且状态依赖的，其秩受潜在维度的上界约束，并经验性地表征了这些结构化的力变化。在三个分子系统上，LaS-TPS在保持随机种子鲁棒性的同时，实现了最强的整体转换成功率和能量性能。

## 相关工作

##### 蒙特卡洛路径采样与学习的提案。

转换路径采样最初被制定为轨迹空间中的蒙特卡洛采样，其中射击和移动操作从现有轨迹生成新的反应性轨迹。这些采样器的效率关键取决于射击点的质量，这推动了一系列用学习到的提案分布替代手工设计移动的工作。玻尔兹曼生成器及其条件变体学习直接采样平衡构型，并已用于提议路径空间中的射击点或马尔可夫链蒙特卡洛移动。相关方法利用学习的反应坐标引导路径采样，通过强化学习自适应分配模拟工作量，或采用扩散模型作为稀有事件和自由能估计的增强采样提案。

##### 基于展开的学习控制。

第二条工作线用一个学习的偏置力替代了蒙特卡洛机制，在显式分子动力学展开期间将动力学引导向目标盆地。反应路径集合首次以这种形式被重新描述为一个变分控制问题，其中与时间相关的控制力对无偏路径测度进行重新加权。PIPS引入了一个无需集合变量的策略学习视角，但其基于KL散度的目标可能遭受模式坍塌，只能捕获反应路径模式的一个子集。TPS-DPS将转换路径生成制定为一个受控扩散过程，并使用对数方差目标优化策略，缓解了模式坍塌但仍然对随机种子和策略初始化敏感。TR-LV在对数方差优化中添加了信任区域约束，显著提高了稳定性，同时仅在转换路径指标上产生了适度的增益。在整个这条线上，路径是通过顺序分子动力学生成的，而不是通过端点构建施加的，这保留了与物理时间有序动力学更紧密的联系。然而，所有这些方法都学习一个从构型到控制力的*确定性*映射：策略为每个构型确定一个单一的控制动作。

##### 端点条件与路径空间生成模型。

一个互补的类别一次构建整个轨迹，通过构造强制两个亚稳态端点，而不是通过模拟达到目标盆地。一组通过Doob变换制定转换路径采样，该变换描述了以稀有事件为条件的随机过程：Doob拉格朗日通过一个无模拟的变分目标学习端点条件路径分布，后续工作通过序列到序列架构和固定窗口注意力将此公式扩展到更长的转换路径。第二组使用扩散或流模型生成轨迹，方法是最小化Onsager-Machlup作用量、学习路径上的归一化流或直接在轨迹数据上训练。FAS将基于伴随的采样扩展到函数空间，采样端点约束的路径函数，其终端代价结合了势能和路径平滑性。

## 方法论

### 学习引导的转换路径采样中的对数方差目标

TPS-DPS通过最小化偏置分子动力学诱导的路径分布与目标转换路径分布之间的对数方差来训练偏置策略。因为这个目标可以在存储在回放缓冲区中的轨迹上进行评估，它支持非策略训练并提高了样本效率。一个可学习的控制变量估计未知的归一化常数并降低梯度估计器的方差。我们请读者参阅原始的TPS-DPS论文以获取完整的推导和训练过程。

确定性的TPS-DPS策略以当前分子构型和目标构象作为输入，并产生在分子动力学展开期间施加的偏置。考虑了两种输出参数化。基于*力*的参数化直接预测笛卡尔偏置力。相比之下，基于*尺度*的参数化预测逐原子的缩放系数，这些系数乘以指向对齐目标构象的位移以构建偏置力。后者引入了目标导向的归纳偏置，对于更大的分子系统更具可扩展性。遵循原始系统特定的设置，我们对丙氨酸二肽使用直接力输出，对较大的蛋白质系统使用尺度输出。所有提出的随机策略变体使用与其相应的确定性TPS-DPS基线相同的输出参数化，以确保可控的比较。

### 力空间分布控制 (FS-TPS)

对于FS-TPS，我们通过将策略建模为可接受偏置力的条件概率分布，放松了策略是确定性的假设。给定当前配置xtx_\{t\}和目标构象xBx_\{\\mathcal\{B\}\}，策略定义了一个对角高斯分布

πθ\(ut∣xt,xB\)=N⁡\(μθ\(xt,xB\),diag⁡\(σθ2\(xt,xB\)\)\),\\pi_\{\\theta\}(\\m