面向零样本数字孪生的图神经网络方法

# 面向零样本数字孪生的图神经网络方法  
来源：https://arxiv.org/html/2607.20535  

Alicia Tierz  
Keysight-UZ 西班牙国家人工智能战略教席。阿拉贡工程研究所（I3A）。萨拉戈萨大学。西班牙萨拉戈萨。  

Icíar Alfaro  
Keysight-UZ 西班牙国家人工智能战略教席。阿拉贡工程研究所（I3A）。萨拉戈萨大学。西班牙萨拉戈萨。  

David González  
Keysight-UZ 西班牙国家人工智能战略教席。阿拉贡工程研究所（I3A）。萨拉戈萨大学。西班牙萨拉戈萨。  

Elías Cueto  
Keysight-UZ 西班牙国家人工智能战略教席。阿拉贡工程研究所（I3A）。萨拉戈萨大学。西班牙萨拉戈萨。  

###### 摘要  

传统的预测性数字孪生通常几何结构固定，每当底层物理域或边界条件发生变化时，都需要大量的重新训练或微调。为克服这一局限性，我们提出了一种新颖的**零样本数字孪生**框架，该框架无缝地将实时视觉感知与一个与几何无关、基于物理信息的推理引擎相结合。我们架构的核心是**热力学信息图神经网络**架构，这是一种基于度量-热力学形式体系的几何深度学习求解器，通过图消息传递在局部强制执行能量守恒和非负熵产生。该框架集成一个辅助图神经网络，直接从稀疏的初始视觉边界推断不可观测场（如应力张量、速度或能量分布），从而减轻数值启动瞬态问题。为弥合仿真与真实之间的差距，我们实现了一种连续的闭环数据同化机制；该流程使用深度分割网络结合稀疏光流实时跟踪宏观变形和自由表面流体边界，动态校正自回归仿真展开，消除数值漂移。为验证我们方法的有效性，我们在两个截然不同的物理体系中展示了该方法极强的泛化能力：粘弹性梁的大变形和粘性流体的非线性晃动。在两种场景下，这一统一框架可在未见过的几何结构上实例化物理精确的仿真，无需针对特定案例重新训练，实时延迟预算良好（每帧约 **25ms**），并通过增强现实直接投影潜在的力学变量。  

## 1 引言  

计算仿真几十年来一直是各科学领域的基石，它促进了物理现象的预测，并使得在建造昂贵的物理原型之前就能优化工程设计。传统上，这些仿真严重依赖于通过偏微分方程表达的机理控制方程，用于模拟流体动力学或结构力学等领域的复杂系统。然而，信息时代的到来（通常被称为科学的第四范式[41 (https://arxiv.org/html/2607.20535#bib.bib2)]），推动了向数据驱动方法的转变。特别是深度学习，为在严格的实时约束下处理复杂的非线性动力学提供了解决方案，这是预测性数字孪生等现代应用所必需的[38 (https://arxiv.org/html/2607.20535#bib.bib20)]。  

尽管数据驱动模型（或称学习型仿真器）相比有限元法或计算流体动力学等传统方法具有快速推理的优势，但它们常常带来重大挑战。深度学习算法在训练过程中计算量大、对数据需求高，并且在可扩展性和泛化能力方面存在严重问题。纯数据的“黑箱”网络缺乏明确的物理解释性和鲁棒性，在面对分布外条件时往往导致不可靠的预测。为确保对预测的信任，将物理原理嵌入机器学习模型变得至关重要。  

为解决这些局限性，最近在几何深度学习方面的研究成功利用了问题的固有结构来创建鲁棒的仿真器[5 (https://arxiv.org/html/2607.20535#bib.bib17), 3 (https://arxiv.org/html/2607.20535#bib.bib13)]。值得注意的是，热力学信息神经网络及其图神经网络对应物TIGNN的发展[39 (https://arxiv.org/html/2607.20535#bib.bib3)]，提供了一种采用GENERIC形式体系[16 (https://arxiv.org/html/2607.20535#bib.bib15)]来强制执行能量守恒和熵产生的解决方案。与早期依赖于昂贵的全局矩阵组装的架构不同，Local-TIGNN保留了图神经网络中流行的逐节点高效结构[35 (https://arxiv.org/html/2607.20535#bib.bib48), 32 (https://arxiv.org/html/2607.20535#bib.bib25)]，提供了一个可扩展的引擎，能够遵循热力学第一和第二定律。  

然而，拥有一个快速且物理一致的仿真器只是真正自主系统的一个组成部分。当前的数字孪生实现通常保持刚性，每当底层几何或物理上下文发生变化时，都需要大量的重新训练或微调[21 (https://arxiv.org/html/2607.20535#bib.bib42)]。这一局限性阻碍了数字孪生在动态、非结构化环境中的部署，因为在这些环境中系统必须即时适应新颖的对象。  

在本文中，我们利用Local-TIGNN的坚实基础，提出了一种新颖的预测感知框架，通过开发场景中先前未见物体的**零样本数字孪生**。我们所说的“预测感知”是指一种不仅是定量的感知——与人类感知不同——而且能够对控制场景物理的量（如应力或能量）进行预测，这些量对人类眼睛来说是隐藏的。我们提出了一种全面的架构，通过将Local-TIGNN引擎与实时视觉感知流水线集成，超越了传统的离线仿真。这一认知框架动态重建训练期间从未遇到过的物体几何结构（如流体容器或高度可变形固体），并立即实例化一个基于物理信息的仿真，而无需模型重新训练。关键在于，我们提出的框架包含一个连续的闭环反馈机制，利用实时视觉跟踪在线校正预测的物理状态。通过动态地微调自回归展开，这一同化步骤补偿了累积的时间积分误差，并确保与观察到的物理现实严格对齐。最后，该系统通过增强现实将计算得出的不可观测状态变量（如内能或应力）直接无缝地投影到物理场景上。这一流程有效地将数字孪生从一个刚性的离线预测工具转变为一个零样本增强智能系统，能够即时推理和可视化复杂的物理动力学。  

本文其余部分结构如下。第二节回顾了物理信息建模、几何深度学习和认知数字孪生方面的相关工作。第三节详细介绍了方法论，解释了Local-TIGNN的架构以及实时感知和预测循环的机制。第四节讨论了所展示的泛化能力和增强现实可视化。最后，第五节介绍了数值实验和验证，随后第六节给出结论和未来工作方向。  

## 2 相关工作  

### 2.1 物理信息深度学习  

复杂物理现象的仿真传统上依赖于源自守恒定律的严格数值方法，通过偏微分方程表达。虽然精确，但这些求解器对于实时应用来说通常计算成本高昂。数据驱动建模和仿真的出现试图克服这些成本；然而，早期的深度学习架构通常缺乏鲁棒性和物理解释性，在暴露于分布外场景时在泛化方面遇到严重困难[42 (https://arxiv.org/html/2607.20535#bib.bib11)]。  

为解决这些缺陷，物理信息深度学习范式应运而生，旨在将科学先验知识直接嵌入学习算法[23 (https://arxiv.org/html/2607.20535#bib.bib10)]。物理信息神经网络将控制偏微分方程作为软约束纳入损失函数[33 (https://arxiv.org/html/2607.20535#bib.bib12)]。然而，PINNs通常需要明确知道控制方程，并且针对新的边界条件需要不断重新训练，这限制了它们在方程未知或参数快速变化的动态环境中的灵活性。  

强制执行物理规律合规性的早期努力集中在保守系统上。基于拉格朗日和哈密顿形式体系的架构被开发出来，以保证辛结构和能量守恒[14 (https://arxiv.org/html/2607.20535#bib.bib22), 9 (https://arxiv.org/html/2607.20535#bib.bib9)]。然而，现实世界的工程系统，如流体动力学和固体力学，本质上是耗散和不可逆的，纯粹的保守框架无法捕捉这些动力学。对此类系统的建模需要严格遵循热力学第一和第二定律。  

为了整合这些原理，最近的方法采用了度量-热力学形式体系[28 (https://arxiv.org/html/2607.20535#bib.bib16)]，特别是非平衡可逆-不可逆耦合的一般方程(GENERIC)[16 (https://arxiv.org/html/2607.20535#bib.bib15)]。利用这一框架的模型，通常称为结构保持神经网络或热力学信息神经网络，通过构造保证能量守恒和非负熵产生[19 (https://arxiv.org/html/2607.20535#bib.bib5), 17 (https://arxiv.org/html/2607.20535#bib.bib6)]。  

虽然早期的SPNNs在低维系统上被证明有效，但将它们扩展到大型非结构化网格揭示了一个关键瓶颈：对全局泊松(L)和耗散(M)矩阵的依赖。这种全局依赖性破坏了图神经网络的局部消息传递结构，导致二次内存复杂度并阻碍可扩展性[12 (https://arxiv.org/html/2607.20535#bib.bib14)]。  

为应对这一可扩展性挑战，最近的工作弥合了几何深度学习与局部化热力学约束之间的差距。这一努力最终导致了Local-TIGNN（热力学信息图神经网络）架构的发展[18 (https://arxiv.org/html/2607.20535#bib.bib7), 39 (https://arxiv.org/html/2607.20535#bib.bib3)]。通过采用端口-度量-热力学视角，该框架将图中的每个节点视为一个开放热力学系统，通过“端口”与邻居交换能量和熵通量。这一公式避免了全局矩阵的组装，恢复了GNN的线性计算效率，同时严格强制执行热力学定律。这个局部、可扩展的引擎构成了本文提出的零样本认知数字孪生策略的基础骨干。  

### 2.2 图神经网络与几何偏差  

欧几里得域上的深度学习（如图像）在应用于物理仿真中典型的结构化、不规则离散化时存在固有的局限性。为克服这些挑战，几何深度学习通过利用对称性和几何先验，将神经网络推广到非欧几里得域[5 (https://arxiv.org/html/2607.20535#bib.bib17)]。在此框架内，图神经网络[36 (https://arxiv.org/html/2607.20535#bib.bib19)]已成为模拟复杂拓扑的标准，为基于网格的卷积方法提供了灵活的替代方案。  

在物理仿真的背景下，GNNs基于消息传递原理运作[13 (https://arxiv.org/html/2607.20535#bib.bib21)]。通过迭代地在局部邻域间传播潜在信息，这些架构学习直接在网格上近似复杂的微分算子。像MeshGraphNets这样的著名模型已成功采用这种编码器-处理器-解码器方案，以高保真度模拟流体动力学和结构力学[32 (https://arxiv.org/html/2607.20535#bib.bib25), 40 (https://arxiv.org/html/2607.20535#bib.bib24)]。  

然而，标准的GNN仿真器通常作为纯数据驱动的黑箱运作。尽管高效，但它们缺乏明确的物理解释性，并且难以严格遵守守恒定律，尤其是在低数据场景中。为弥合这一差距，必须将GNN的几何灵活性与上一节讨论的热力学严谨性结合起来。通过采用Local-TIGNN架构[39 (https://arxiv.org/html/2607.20535#bib.bib3)]，我们有效地将GENERIC形式体系嵌入到消息传递更新中。这种集成将GNN从一个统计近似器转变为一个鲁棒的结构保持求解器，为构建能够在未见几何结构上运行的零样本数字孪生提供了必要的基础。  

### 2.3 数字孪生、感知与增强现实  

现代工程对预测可靠性的需求推动了数字孪生的发展，数字孪生是与其物理对应物持续同步演化的虚拟副本[15 (https://arxiv.org/html/2607.20535#bib.bib27), 22 (https://arxiv.org/html/2607.20535#bib.bib32)]。虽然传统的数字孪生通常依赖于预定义模型，但该领域正在向认知数字孪生(CDT)转变[30 (https://arxiv.org/html/2607.20535#bib.bib30), 8 (https://arxiv.org/html/2607.20535#bib.bib31)]。与标准的预测工具不同，CDT充当增强智能系统，能够解释系统的当前动态状态以推理其未来演化，通常需要整合语义知识和高级推理能力[10 (https://arxiv.org/html/2607.20535#bib.bib33)]。  

鲁棒CDT的一个关键先决条件是物理场景理解，即实时感知和重建环境的能力。传统的数据驱动仿真器在面对训练集之外的几何结构时难以泛化。为克服这一点，最近的框架将计算机视觉流水线直接与物理引擎集成。通过从视觉传感器（如RGB-D相机）动态生成网格表示，这些系统能够为训练期间从未遇到的物体实例化仿真，从而实现“零样本”部署能力[43 (https://arxiv.org/html/2607.20535#bib.bib34), 25 (https://arxiv.org/html/2607.20535#bib.bib35)]。  

此外，由于现实世界的传感器数据通常是稀疏或有噪声的，常常仅捕捉边界变形或流体的自由表面，纯粹的开环预测会迅速退化。为解决这个问题，部分