PGD-NO:一种具有预计算几何分解的神经算子,用于三维百万级物理模拟
摘要
PGD-NO是一种预计算几何分解的神经算子,能够实现线性内存可扩展性,从而在超过1000万个节点的网格上实现高保真物理模拟,并克服单节点内存瓶颈。
arXiv:2607.08025v1 公告类型:新
摘要:虽然神经偏微分方程求解器在加速工程模拟方面显示出显著潜力,但现有架构仍受到高内存消耗和单节点瓶颈的限制,即单个计算单元的显存严格限制了可处理的最大网格分辨率。为了解决这些挑战,我们提出了PGD-NO,一种具有预计算几何分解的神经算子,它将几何编码的计算开销转移到确定性的预计算阶段。通过使用迭代几何分解算法提取几何令牌,我们的模型将特征提取与求解查询解耦。这种架构实现了线性内存可扩展性,使得能够在超过1000万个节点的网格上进行高保真学习,而现有架构在这个规模下通常会遇到内存耗尽的问题。PGD-NO在各种工业基准测试中展示了具有竞争力的预测精度,并通过注意力机制提供了内在的可解释性。通过有效克服传统的网格尺寸限制,PGD-NO为下一代大规模、高保真工业设计应用提供了稳健且高效的解决方案。
查看缓存全文
缓存时间: 2026/07/10 06:17
# 一种基于预计算几何分解的三维百万级物理模拟神经算子 来源:https://arxiv.org/html/2607.08025 ###### 摘要 虽然神经偏微分方程求解器在加速工程仿真方面展现出巨大潜力,但现有架构仍受限于高内存消耗和“单节点瓶颈”——可处理的最大网格分辨率严格受限于单个计算单元的显存。为解决这些挑战,我们提出了PGD-NO,一种基于预计算几何分解的神经算子,它将几何编码的计算开销转移到确定性的预计算阶段。通过利用迭代几何分解算法提取“几何标记”,我们的模型将特征提取与解查询解耦。该架构实现了线性内存可扩展性,使得在超过1000万个节点的网格上进行高保真学习成为可能——而在这种规模下,现有架构通常会耗尽内存。PGD-NO在多种工业基准上展现了具有竞争力的预测精度,并通过注意力机制提供了内在的可解释性。通过有效克服传统的网格尺寸限制,PGD-NO为下一代大规模、高保真工业设计应用提供了稳健且高效的解决方案。我们的代码和数据集可在 https://github.com/WeihengZ/PGD-NO 获取。 神经算子,计算物理,工业规模 ## 1 引言 偏微分方程的数值求解是计算科学与工程的基石,广泛应用于工业设计中的性能评估 (Jagota et al., 2013 (https://arxiv.org/html/2607.08025#bib.bib2))、灵敏度分析 (Hisada, 1995 (https://arxiv.org/html/2607.08025#bib.bib61)) 和不确定性量化 (Zhong and Meidani, 2023 (https://arxiv.org/html/2607.08025#bib.bib37))。传统的离散化方法——如有限元法 (Jagota et al., 2013 (https://arxiv.org/html/2607.08025#bib.bib2)) 和有限体积法 (Moukalled et al., 2015 (https://arxiv.org/html/2607.08025#bib.bib22))——经过高度优化,在多个领域提供了显著的精度和鲁棒性。然而,这些传统方法通常伴随着高昂的计算成本,尤其是在大规模、高保真仿真中 (Lu et al., 2021a (https://arxiv.org/html/2607.08025#bib.bib25))。为缓解这些需求,深度学习架构作为数值方法的高效替代模型被广泛研究,称为神经PDE求解器 (Lu et al., 2021b (https://arxiv.org/html/2607.08025#bib.bib36); Li et al., 2021 (https://arxiv.org/html/2607.08025#bib.bib26); Wu et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib53))。通过在仿真数据上训练,这些神经求解器学习近似传统方法的输入到输出映射,从而显著加速制造和设计过程。 工业应用通常涉及大型复杂几何体,要求模型高效捕捉底层物理特征 (Wu et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib53))。DeepONet (Lu et al., 2021b (https://arxiv.org/html/2607.08025#bib.bib36)) 最初被应用于工业设计,因为许多几何体由低维参数向量控制,便于制造。然而,近期研究表明,随着几何复杂度增加,DeepONet的性能会下降 (Li et al., 2021 (https://arxiv.org/html/2607.08025#bib.bib26))。与此同时,针对自由曲面几何体提出了多种深度学习模型。尽管这些方法在基准问题上表现出潜力,但在涉及数百万网格点的实际工业任务中仍面临困难 (Luo et al., 2025 (https://arxiv.org/html/2607.08025#bib.bib62))。这是因为在如此大规模的数据集上训练需要巨大的GPU内存,通常超出了标准硬件的容量。 请参见图例 图1: 架构比较与内存扩展。 (左) 编码机制:GINO使用基于网格的映射,Transolver++通过加权节点求和计算物理标记,而PGD-NO采用预计算的几何标记来绕过密集编码。 (右) GH200系统上的峰值GPU内存:PGD-NO保持了最低的内存占用,从而支持高达1000万节点的高分辨率仿真,这超出了传统基于网格或图的神经算子的能力。 现有的用于自由曲面几何体的神经PDE求解器可根据其在网格上表示PDE解的方式分为基于图、基于网格和基于点的模型。基于图的模型 (Anandkumar et al., 2020 (https://arxiv.org/html/2607.08025#bib.bib8); Velasco et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib35); Li et al., 2020 (https://arxiv.org/html/2607.08025#bib.bib27); Gladstone et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib14)) 如果依赖稀疏网格图,可能无法捕捉复杂几何体;反之,如果使用基于半径的方法合成边,则会迅速耗尽GPU内存。基于网格的模型 (Sahebi et al., 2025 (https://arxiv.org/html/2607.08025#bib.bib45)),如GINO (Li et al., 2023b (https://arxiv.org/html/2607.08025#bib.bib32)),同样内存密集,因为捕捉复杂几何体需要将点特征映射到高分辨率网格上。相比之下,基于点的方法 (Kashefi and Mukerji, 2022 (https://arxiv.org/html/2607.08025#bib.bib13); Park and Kang, 2026 (https://arxiv.org/html/2607.08025#bib.bib42); Lee and Oh, 2024 (https://arxiv.org/html/2607.08025#bib.bib58)),如Transolver (Wu et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib53)),利用物理注意力机制识别潜在的“物理标记”,展示了复杂几何特征可以直接从点云中捕捉。近期,Transolver++ (Luo et al., 2025 (https://arxiv.org/html/2607.08025#bib.bib62)) 通过优化的并行框架将这一能力扩展到百万级问题。尽管取得了进展,Transolver++ 在扩展到高保真PDE求解任务时仍面临限制。在实践中,我们发现当网格大小超过1000万节点时,训练效率会出现显著瓶颈。虽然Transolver++ 理论上可以通过并行计算扩展,但这会增加通信开销。尽管由于NVLink (Wei et al., 2023 (https://arxiv.org/html/2607.08025#bib.bib23)) 架构,节点内通信保持高效,但扩展到单个计算节点之外需要通过网络在计算节点之间传输数据。这种节点间通信会引入显著延迟,大幅增加每个训练轮次的时长。因此,Transolver++ 的实际网格容量仍然受限于单个计算节点的资源。如图1 (https://arxiv.org/html/2607.08025#S1.F1) 所示,即使利用最新的4路GH200架构(总内存360GB),层数减少的Transolver++ 模型也只能勉强容纳1000万节点用于CFD仿真学习。 我们认为现有方法的GPU内存限制源于它们依赖基于学习的编码过程将复杂几何体映射到隐式表示。相比之下,几何特征可以使用确定性算法预先计算,这通过绕过编码过程显著降低了GPU内存消耗。受此观察启发,本工作探索了一种开发神经PDE求解器的替代范式。我们引入了一种用于特征提取的几何分解算法,并提出了一种简单但有效的解码架构,基于这些预计算特征预测PDE解。因此,我们的主要贡献如下: - • 我们引入了一种确定性分层分解算法来提取“几何标记”,展示了可以使用非可学习的几何基元有效学习PDE解。 - • 我们提出了预计算几何分解神经算子 (PGD-NO),它将几何编码与解查询解耦,消除了百万级网格处理中标准硬件上的节点间通信。 - • 我们在五个工业基准上评估了我们的模型与当前最先进方法的对比,包括一个自生成的高达1200万节点的数据集,我们的方法在其中取得了优越的性能。 - • 我们进一步证明了PGD-NO通过随机采样实现了高效训练,同时为其物理预测提供了增强的可解释性。 利益冲突披露 作者 J.B. 和 V.O. 受雇于Dassault Systèmes,作者 W.Z. 目前也受雇于Dassault Systèmes。本文评估了多个数据集,包括由Dassault Systèmes提供的一个数据集。 ## 2 相关工作 ### 2.1 神经PDE求解器 受DeepONet启发,分支-主干算子利用通用算子逼近定理来映射无限维函数空间 (Lu et al., 2021a (https://arxiv.org/html/2607.08025#bib.bib25))。这些架构由一个编码输入函数的分支网络和一个处理输出坐标的主干网络组成 (Lu et al., 2021b (https://arxiv.org/html/2607.08025#bib.bib36))。虽然扩展版本解决了维度灾难 (Mandl et al., 2025 (https://arxiv.org/html/2607.08025#bib.bib38))、不确定性量化 (Lone et al., 2026 (https://arxiv.org/html/2607.08025#bib.bib39)) 和计算效率 (Zhang et al., 2025 (https://arxiv.org/html/2607.08025#bib.bib40); Qiu et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib41)) 等问题,并且像GANO (Zhong and Meidani, 2025 (https://arxiv.org/html/2607.08025#bib.bib15)) 和Point-DeepONet (Park and Kang, 2026 (https://arxiv.org/html/2607.08025#bib.bib42)) 这样的专门变体融入了几何信息,但这些模型通常依赖于固定的传感器位置或全局池化。因此,尽管在表达能力 (Zhong and Meidani, 2024 (https://arxiv.org/html/2607.08025#bib.bib7)) 和时间编码 (He et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib6)) 方面有所改进,分支-主干架构在处理真正自由曲面、复杂几何体方面仍存在根本性限制。 基于图的神经算子 (Anandkumar et al., 2020 (https://arxiv.org/html/2607.08025#bib.bib8)) 通过利用消息传递框架设计用于不规则域。关键发展如MGNO (Li et al., 2020 (https://arxiv.org/html/2607.08025#bib.bib27)) 和LNO (Wang and Wang, 2024 (https://arxiv.org/html/2607.08025#bib.bib28)) 实现了长程交互和表达性潜在映射的捕捉。为了泛化到任意几何体,像CORAL (Serrano et al., 2023 (https://arxiv.org/html/2607.08025#bib.bib19))、EA-GNN (Gladstone et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib14)) 和PDE-GCN (Eliasof et al., 2021 (https://arxiv.org/html/2607.08025#bib.bib33)) 等模型引入了基于坐标的特征和PDE感知的消息传递。然而,这些方法的一个显著缺点是存储和处理边信息所需的内存开销;随着网格密度增加,图连通性的内存成本会迅速超过现代硬件的能力。 基于网格的算子,主要由傅里叶神经算子 (Li et al., 2021 (https://arxiv.org/html/2607.08025#bib.bib26)) 引领,以高效的方式在频域中捕捉全局依赖关系。可扩展变体如D-FNO (Li and Ye, 2025 (https://arxiv.org/html/2607.08025#bib.bib46)),以及几何感知模型如GINO (Li et al., 2023b (https://arxiv.org/html/2607.08025#bib.bib32)) 和DAFNO (Liu et al., 2023 (https://arxiv.org/html/2607.08025#bib.bib47)),尝试将谱方法适应于不规则拓扑。虽然这些模型提供了显著的加速 (Lu et al., 2022 (https://arxiv.org/html/2607.08025#bib.bib51)) 并融入了物理约束 (Li et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib50)),但它们依赖于将非结构化数据映射到潜在的规则网格。在大规模工业应用中,这些网格必须保持极高的分辨率以避免显著的信息损失,这在计算上变得不可行。 基于点的算子通过在空间点云上直接操作,为非均匀分辨率和复杂几何体提供了最大的灵活性。诸如GNOT (Hao et al., 2023 (https://arxiv.org/html/2607.08025#bib.bib1)) 和Transolver (Wu et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib53)) 等架构利用物理感知注意力来识别潜在标记,而Universal Physics Transformers (UPT) (Alkin et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib54)) 和GFN (Morrison et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib57)) 等框架则保证了分辨率不变性。尽管这些方法减轻了数值伪影 (Zheng et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib55); Yu et al., 2024 (https://arxiv.org/html/2607.08025#bib.bib56)) 并实现了更好的可扩展性 (Li et al., 2023a (https://arxiv.org/html/2607.08025#bib.bib52)),但一个明显的限制仍然存在:虽然它们的内存复杂度与节点数量成线性关系,但最大节点容量严格受限于单个计算节点的GPU内存限制。 ### 2.2 几何分解 传统的几何分解方法 (Jermann et al., 2006 (https://arxiv.org/html/2607.08025#bib.bib63)) 通常依赖确定性算法,如网格面上的K-means聚类 (Mamou and Ghorbel, 2009 (https://arxiv.org/html/2607.08025#bib.bib64))、基于曲率的层次聚类,或利用拉普拉斯-贝尔特拉米算子的谱聚类 (Lévy, 2006 (https://arxiv.org/html/2607.08025#bib.bib65)) 来识别显著特征。高级技术如凸分解 (Lien and Amato, 2008 (https://arxiv.org/html/2607.08025#bib.bib66)) 旨在将复杂的非凸体分解为一组更简单的、几乎凸的部分,以促进更高效的物理仿真。在工业设计背景下,基于基元的分割经常被用于将几何体分解为与制造参数相对应的标准形状(如平面、圆柱或球体)(Elrefaie et al., 2024a (https://arxiv.org/html/2607.08025#bib.bib9); Luo et al., 2025 (https://arxiv.org/html/2607.08025#bib.bib62))。虽然这些经典分割方法具有高可解释性且不需要训练数据,但它们与端到端神经PDE求解器的集成仍然鲜有探索。此外,要进一步降低计算复杂度,需要一种方法来识别稀疏但具有代表性的几何标记集——这是现有几何分割算法目前不具备的能力。 ## 3 方法 ### 3.1 几何标记提取 所提出的工作流通过结合图拓扑和几何特征检测,将原始3D网格转换为一组离散的、语义上有意义的物理标记。 步骤 (1) 图构建:该过程首先将原始3D网格转换为结构化的拓扑网络 G = (V, E),其中 V 是网格顶点集,E 是边集。 步骤 (2) 锐边识别:为确定网格应在何处自然断裂,算法使用几何梯度识别尖锐特征。该程序计算两个法向量之间的二面角 θ<sub>ij</sub>,其中
相似文章
NoPA: 非参数化在线三维场景图生成
NoPA 提出了一种基于非参数分布的实时三维场景图生成方法,通过核密度估计和基于粒子的对象表示保留了几何细节,显著优于现有方法。
TideGS:通过外存优化实现超过十亿3D高斯泼溅原语的可扩展训练
TideGS提出了一种外存训练框架,通过块虚拟化、异步流水线和差分流式传输技术,在SSD-CPU-GPU层级管理参数,使得在单个GPU上能够以超过十亿原语进行3D高斯泼溅训练。
@AnimaAnandkumar: 这是我们自开始研究神经算子以来一直在强调的一点。我们很快就从简单的...
Anima Anandkumar 强调,尽管基准测试简单,但神经算子在像高分辨率 AI 天气预报模型 (FourCastNet) 和核聚变湍流这样的困难实际问题上实现了巨大加速(10,000 到百万倍)。她引用了一篇新论文,表明随着 PDE 任务难度的增加,学习型求解器变得更加经济高效。
用于$\textit{Norne}$油藏系统的连续物理约束神经算子正向建模
本文提出了一个全面的数学框架,用于使用傅里叶神经算子(FNO)及其物理信息变体(PINO)对三相黑油油藏动态进行连续代理建模,并应用于Norne基准油藏。理论贡献包括泛函分析公式、协变量偏移分析、物理约束谱稳定性以及截断反向传播梯度分析。
SNAP-FM: 物理约束生成建模中的稀疏非线性加速投影
提出SNAP-FM方法,利用稀疏GPU非线性优化加速物理约束生成建模中的约束投影,在保持精确物理约束满足的同时实现更快的推理。