可微物理模拟器求解逆问题的优化器基准测试

# 可微分物理模拟器求解反问题的优化器基准测试  
来源：https://arxiv.org/html/2609.13819  
黄桓桓  
单位：中国北京中关村学院  
单位：中国北京中关村人工智能研究所  
邮箱：[[email protected]](mailto:)[email protected]  

###### 摘要  
利用可微分物理模拟器求解反问题有望彻底改变科学发现与工程设计，因为它既严格遵循数值物理模拟器的物理正确性，又具备自动微分与基于梯度优化的高效性与有效性。然而，当前该范式在优化过程中面临性能瓶颈。本研究旨在对不同优化器求解各类反问题的性能进行基准测试。我们构建了12个可微分物理模拟器，涵盖离散力学、连续力学、原子模拟、渲染及半经验物理模型等物理领域。基于这些模拟器，我们设计了相应的反问题，可分为参数识别、逆向设计与最优控制三类。最后，我们通过大量实验对比了一阶优化器、近似二阶优化器及全局优化器在这些问题上的性能，并分析结果以提供可微分编程中优化器选择与设计的启示。我们期望此类基准测试能推动更高效优化器的开发，进一步促进可微分编程在科学与工程领域的应用。  

## 1 引言  
深度学习在过去十年取得显著成功，这得益于神经网络模型的通用逼近能力（Scarselli and Tsoi, 1998）、自动微分系统的高效梯度计算（Baydin et al., 2018），以及优化过程带来的惊人有效性与泛化能力（Chizat and Bach, 2020）。然而，纯数据驱动模型无法保证结果的合法性。可微分物理模型是替代方案之一，它通过在自动微分系统中实现数值物理过程来确保严格的物理严谨性，同时保持自动微分与基于梯度优化器的高效性与有效性。目前，可微分物理模型面临性能问题。虽然在某些场景中取得了巨大成功，但在其他场景中优化过程往往会失败。实际上，深度学习的优化从未是简单任务。在深度学习发展过程中，许多模型架构设计被专门提出以使训练更有效、更稳定，例如ReLU（Nair and Hinton, 2010）、残差连接（He et al., 2016）、归一化（Huang et al., 2023）等。然而，这些技术无法应用于可微分物理模型，因为模型结构由底层物理过程预先确定。因此，该方法只能通过优化器技术的改进来提升性能。据我们所知，目前尚无针对可微分物理模型与反问题的全面优化器性能评估基准。过去几年，许多研究已针对各类物理领域与任务实现了可微分物理模型，但极少有研究将该范式作为整体进行系统性研究。将这些模拟器与任务统一到一个框架中十分困难，因为它们可能使用不同的编码结构、自动微分工具甚至编程语言，这导致难以发现可广泛适用于各种场景的更优方法。我们找到的最接近先前工作是DiffTaichi（Hu et al., 2020）和PhiFlow（Holl and Thuerey, 2024）。然而，它们的目标并非进行优化器基准测试，也不是系统性研究各种物理模型与反问题的性能。本研究旨在对可微分物理模拟器求解反问题的不同优化器性能进行基准测试。我们构建了12个可微分物理模拟器，涵盖离散力学、连续力学、原子模拟、渲染及半经验物理模型等领域。相应地，我们为每个物理模拟器设计了反问题，这些反问题分为参数识别、逆向设计与最优控制问题。对于优化器，我们采用并实现了一阶局部优化器、近似二阶局部优化器和全局优化器，每类各包含4个优化器，均利用梯度信息加速优化效率。最后，我们通过大量实验对比不同优化器在这些问题上的性能，并分析结果以提供可微分编程中优化器选择与设计的见解。我们期望此类基准测试能帮助发现关于可微分编程优化过程更基础、更普遍的规律，推动更高效优化器的开发，进一步促进可微分编程在科学与工程领域的应用，并帮助通用深度学习与大语言模型技术演进至更优的模型架构与优化方法。  

## 2 相关工作  
##### 可微分编程技术。常见的深度学习层（如全连接层、卷积层、注意力层）均为显式层，即层输出 $z$ 可表示为输入 $x$ 的显式函数，由可训练参数 $\theta$ 参数化，即 $z=f_\theta(x)$。自动微分不同于数值微分或符号微分，可通过反向传播高效计算高维输入、低维输出模型的机器精度梯度（Baydin et al., 2018）。对于隐式层，输入 $x$ 与输出 $z$ 满足方程 $g_\theta(x,z)=0$（Kolter et al., 2020）。此时可通过隐式微分方法计算梯度。先前提出的隐式层推导与实现包括多种形式，如常微分方程（Chen et al., 2018）、偏微分方程（Mitusch et al., 2019）、自洽迭代（Bai et al., 2019）及优化方法（Amos and Kolter, 2017; Agrawal et al., 2019）等。  
##### 可微分物理模型。过去十年间，可微分物理模型已在广泛的物理领域中发展。在经典力学中，离散系统与连续系统的可微分形式均已取得长足进展。对于离散力学，研究者已成功实现刚体动力学（de Avila Belbute-Peres et al., 2018）、质量-弹簧系统（Hu et al., 2020）以及基于拉格朗日力学（Lutter et al., 2019）和哈密顿力学（Greydanus et al., 2019）的形式的可微分模拟。连续力学的并行进展使得流体力学（Holl and Thuerey, 2024）、弹性力学（Hoyer et al., 2019）以及电磁学（Oskooi et al., 2010）、光学（Colburn and Majumdar, 2021）和声学（Jin et al., 2024）中波传播的端到端可微分模拟成为可能。除经典领域外，可微分性已被系统性地整合到第一性原理模拟中，包括密度泛函理论（Li et al., 2021; Kasim and Vinko, 2021）、分子动力学（Doerr et al., 2021）以及高精度量子化学方法如CCSD/CI（Tamayo-Mendoza et al., 2018）。在计算机图形学与视觉领域，这些技术进一步推动了逆向渲染（Kato et al., 2020）的发展，如神经辐射场（Mildenhall et al., 2021）和3D高斯溅射（Kerbl et al., 2023）。这一跨学科快速扩展的基础是专为可微分编程设计的编程生态系统与框架，最著名的包括JAX（Schoenholz and Cubuk, 2020; Freeman et al., 2021; Xue et al., 2023; Campagne et al., 2023; Du and He, 2025）、Julia（Innes et al., 2019）和Taichi（Hu et al., 2020）。  
##### 深度学习优化器。标准深度学习优化器主要是基于小批量梯度估计的一阶局部优化器，如随机梯度下降及其带动量和自适应学习率的变体（Sun, 2020; Schneider et al., 2019）。近期，Muon（Jordan et al., 2024; Liu et al., 2025）等新方法通过显式利用神经网络参数的二维结构，在大型语言模型训练中取得了显著改进。同时，近似二阶优化器在深度学习中受到积极探索，包括L-BFGS（Bollapragada et al., 2018）、K-FAC（Martens and Grosse, 2015）、Shampoo（Gupta et al., 2018）和SOAP（Vyas et al., 2025）。  

## 3 方法  
以下将分别介绍我们实现的可微分物理模型、设计的反问题以及本研究中基准测试的优化器。  

### 3.1 可微分物理模型库  
表1：已实现的可微分物理模型列表。  
| 类别 | 模型 | 输入 | 输出 |  
|------|------|------|------|  
| 离散力学 | 抛体运动 | 地球重力 | 初始状态、水平射程 |  
| 飞行动力学 | 车辆参数、地球参数 | 初始状态、控制策略 | 飞行轨迹 |  
| 质量-弹簧系统 | 系统参数 | 初始状态、控制策略 | 运动轨迹 |  
| 刚体动力学 | 系统参数 | 初始状态、控制策略 | 运动轨迹 |  
| 连续力学 | 弹性力学 | 材料密度、边界条件 | 物理参数、柔度、位移 |  
| 流体力学 | 汽车形状 | 物理参数 | 阻力 |  
| 原子模拟 | 密度泛函理论 | 系统参数 | 总能量、电子密度 |  
| 紧束缚模型 | 材料参数 | 特征值谱、布洛赫能带 |  
| 渲染 | 高斯溅射 | 场景参数、渲染参数 | 场景图像 |  
| 大气散射 | 地球参数、太阳参数、大气参数、渲染参数 | 天空图像 |  
| 半经验模型 | 轮胎魔术公式 | 轮胎参数 | 轮胎力 |  
| 电池戴维南模型 | 电路参数、开路电压参数 | 初始状态、电流分布 | 电压、荷电状态轨迹 |  

我们在模型库中实现的物理模型总结见表1（https://arxiv.org/html/2609.13819#S3.T1）。我们考虑五类物理模拟：离散力学、连续力学、原子模拟、渲染及半经验物理模型，可覆盖学术研究、工业开发、娱乐业务等相当一部分应用场景。所有模型均在PyTorch中实现，因此我们享有统一接口以及成熟活跃的社区支持。所有物理与几何配置、初始与边界条件均在`__init__`函数中提供。仅受控动力系统的控制策略通过`forward`函数输入。优化变量被设为可训练，这些变量相对于损失函数的梯度由自动微分系统高效计算。我们在图1（https://arxiv.org/html/2609.13819#S3.F1）中提供了已实现的可微分物理模拟器示例，以展示实现的正确性。更多实现细节（如每个模拟器的底层数学公式与数值算法）见附录A（https://arxiv.org/html/2609.13819#A1）。  

##### 离散力学  
离散力学模拟器考虑由离散组件组成的系统。在该类别中，我们考虑一个简单的抛体运动问题，根据特定初始高度、速度、发射角和重力计算飞行时间与水平射程；一个飞行动力学模型模拟具有大气、重力及可控升/阻力系数的飞行轨迹；一个由控制策略驱动的二维质量-弹簧机器人，包含弹簧、阻尼、重力与非弹性地面接触；以及一个带阻尼弹簧与关节的可控二维刚体动力学系统。  

##### 连续力学  
连续力学模拟器针对通常由偏微分方程控制的宏观连续体问题。在当前基准测试中，我们实现了一个弹性力学模拟器和一个流体模拟器，均为二维。弹性力学模拟器（Christensen and Klarbring, 2008）在给定材料密度与物理参数的情况下，计算弹性体在外力与法向力作用下的柔度与位移。流体模拟器计算风洞中汽车轮廓的阻力（Angot et al., 1999）。  

##### 原子模拟  
原子模拟针对原子层面的微观问题。密度泛函理论模拟器（Bickelhaupt and Baerends, 2000）计算原子系统的总能量与电子密度，更具体地说，在我们当前实现中，是一个双电子球形闭壳层。紧束缚模型（Gorin...