具有可学习损失平衡和迁移学习的物理信息神经网络

# 具有可学习损失平衡和迁移学习的物理信息神经网络
来源：https://arxiv.org/html/2605.05217
\\patchcmd

具有可学习损失平衡和迁移学习的物理信息神经网络

###### 摘要

我们提出了一种自监督物理信息神经网络（PINN）框架，该框架能够自适应地平衡基于物理和数据驱动的监督，适用于数据稀缺场景下的科学机器学习。与早期依赖物理残差和数据损失的固定或启发式权重的PINN不同，我们的方法引入了一个可学习的混合神经元，该神经元根据各自的不确定性动态调整每项的相对贡献。这种机制能够实现稳定训练并提升泛化能力，无需手动调参。为了进一步提高效率，我们整合了迁移学习策略，该策略重用相关领域的表示，并将其适应于数据有限的新物理系统。我们通过仅使用87个CFD数据点来预测液态金属微型散热器中的热传递，对该框架进行了验证。在该验证中，自适应PINN实现了低于8%的误差，优于浅层神经网络、核方法以及仅依赖物理信息的基线模型。我们的框架提供了一种将物理信息自适应地嵌入神经网络的通用方案，为流体动力学和材料建模等各科学领域中的数据稀缺问题提供了一种稳健且可复现的方法。

## 1 引言

科学机器学习正越来越多地用于解决数据有限的问题，在这些问题中，融入基础物理原理至关重要，例如太空任务、机器人集群和粒子加速器。传统的数据驱动神经网络在处理大规模数据集时表现出色，但当观测数据稀少或存在噪声时，其准确性和稳定性会下降。在这种情况下，将控制物理规律纳入学习流程已被证明是一种有前景的方法。物理信息神经网络（PINN）及相关框架直接将物理残差整合到损失函数中，约束模型遵守守恒定律和微分方程。

PINN的一个关键挑战是平衡数据驱动损失和基于物理的损失的贡献。固定的或手动调整的权重可能导致收敛性差或预测有偏。先前的研究已经探索了自适应策略，包括自适应PINN、梯度归一化方法以及贝叶斯PINN中的不确定性驱动加权。尽管取得了这些进展，但大多数方法要么需要启发式规则，要么需要贝叶斯开销，或者仍对超参数选择敏感。这激发了对一种轻量级、自监督机制的需求，该机制能够在训练期间动态调整物理与数据的权衡。

与此同时，迁移学习在通用机器学习和科学领域中都日益受到重视，使得知识能够在相关任务之间重用。对于热工流体应用，迁移学习已被用于加速CFD代理模型，但其与PINN的整合仍有待深入探索。将自适应物理-数据加权与迁移学习相结合，有望在数据极度稀缺的情况下实现稳健的学习。

在这项工作中，我们提出了一种带有可学习混合神经元的自监督PINN框架，该混合神经元根据不确定性动态平衡物理残差和数据损失。我们进一步纳入了一种迁移学习方案，该方案重用来自相关领域的隐藏层表示，以加速新物理系统中的训练。为了评估该方法，我们考虑仅使用87个CFD数据点来预测钠冷却微型散热器中的对流换热，在此情况下，高保真模拟成本过高，无法承受。我们的贡献有三方面：

- •我们引入了一种简单而有效的自监督机制，用于PINN中的自适应损失平衡，消除了手动调参或贝叶斯复杂性的需要。
- •我们利用迁移学习，展示了其在数据稀缺的科学机器学习任务中的有效性。
- •我们在一个具有挑战性的液态金属传热问题上验证了该框架，并与浅层神经网络、核方法和仅物理信息基线进行了基准比较。

该框架提供了一种将物理信息自适应地嵌入神经网络的通用方案，对包括传热、材料科学和航空航天工程在内的广泛领域具有重要影响。

## 2 相关工作

#### 热工流体系统的机器学习。

数据驱动模型已广泛应用于流体力学和热科学领域，特别是在实验或CFD数据有限时预测传热系数和流体性质。例如，用于纳米流体的神经网络和核基代理模型、线圈和微通道中对流换热的预测，以及用于壁面有界湍流的卷积网络方法。最近的工作将机器学习与高保真CFD求解器结合以加速模拟。关于流体力学中物理信息机器学习的综合综述强调了将物理知识整合到学习流程中的潜力。

#### 物理信息神经网络。

PINN将控制方程作为软约束，在数据稀缺条件下提高了泛化能力。然而，平衡物理和数据损失的相对贡献仍然具有挑战性。已经提出了几种自适应方案：利用梯度信息的自适应PINN、基于NTK的PINN训练病理学分析，以及根据不确定性对损失进行加权的贝叶斯方法。这些方法提高了训练稳定性，但通常需要启发式调参、额外的复杂性或贝叶斯开销。我们的方法通过引入一个简单的*可学习混合神经元*来区分，该神经元以完全自监督的方式动态调整物理-数据加权。

#### 科学机器学习中的迁移学习。

迁移学习已在从计算机视觉到地球科学等多个领域取得成功。在热工流体背景下，迁移策略已被应用于加速非稳态CFD模拟和其他流动物理代理模型。尽管如此，将迁移学习整合到PINN中仍有待探索。我们的框架通过结合迁移学习与自适应物理-数据平衡来弥合这一差距，使PINN能够有效地在相关物理系统间迁移知识。

#### 本工作的定位。

总之，虽然先前的工作已经研究了PINN中的自适应加权以及用于流体模拟的物理信息迁移学习，但我们的贡献将这些方向统一起来。我们提出了一个*带有迁移学习的自监督自适应PINN*，并在钠冷却微型散热器这一具有挑战性的小数据场景上进行了验证。这种结合产生了一个稳健且轻量级的科学机器学习框架，用于数据稀缺情况，补充并扩展了先前的方法。

## 3 方法

### 3.1 CFD仿真

计算流体动力学（CFD）仿真生成了包含87个数据点的数据集。这些仿真遵循参考文献\[12\]中描述的数值框架，并使用Ansys Fluent执行。目的是获得不同物理条件下液态钠在不锈钢（SS-316）矩形微型散热器中层流和湍流的精确努塞尔数。

输入参数涵盖广泛范围，包括散热器宽度、长宽比、水力直径以及钠冷却剂的佩克莱数。控制方程包括不可压缩稳态流动的基本方程：连续性方程、纳维-斯托克斯动量方程和能量守恒方程。此外，固体基底内的热传导采用温度依赖的电导率进行建模。这些方程总结如下：

#### 连续性方程（不可压缩流动）：

∇·(ρu)=0， (1)其中ρ是流体密度，u是速度矢量。

#### 纳维-斯托克斯动量方程：

∇·(ρuu) = −∇P + ∇·(μ(∇u + ∇ᵗu)) + ρg， (2)其中P是压力，μ是动力粘度，g是重力加速度。

#### 能量方程（流体）：

∇·(ρcₚuT) = ∇·(k_f ∇T)， (3)其中cₚ是比热容，T是温度场，k_f是流体的导热系数。

#### 热传导方程（固体基底）：

∇·(k_s ∇T) = 0， (4)其中k_s是固体材料的导热系数。

该研究采用稳态数值模拟，在微型散热器的固-液界面处施加无滑移边界条件。冷却剂以均匀速度和恒定入口温度引入。

### 3.2 自监督自适应PINN框架

机器学习框架基于物理信息神经网络（PINN），其中流体流动和传热的控制偏微分方程（PDE）作为软约束嵌入到训练目标中。令θ表示网络参数。标准PINN损失是数据驱动项和物理驱动项的加权和：

L(θ) = λ_d L_data(θ) + λ_p L_physics(θ)， (5)其中L_data表示网络预测与可用CFD数据之间的差异，L_physics衡量来自方程（1）-（4）的PDE残差。系数λ_d和λ_p平衡两项的贡献。

#### 自适应混合神经元。

我们不手动固定λ_d和λ_p，而是引入一个可学习的*混合神经元*，在训练期间自适应地调整它们的相对贡献。具体来说，

λ_d = σ(α)， λ_p = 1 − σ(α)， (6)其中σ(·)是Sigmoid函数，α是一个可训练的标量参数。这种表述保证了0 < λ_d, λ_p < 1，并允许模型自动发现物理和数据监督之间的最优平衡。在训练期间，α与θ一起通过反向传播更新，使得加权是自监督的。

#### 数据驱动损失。

数据损失定义为预测值与CFD计算的努塞尔数之间的均方误差（MSE）：

L_data(θ) = (1/N_d) Σ_{i=1}^{N_d} (ŷ_i(θ) − y_i)²， (7)其中y_i是真实CFD值，ŷ_i(θ)是相同输入下的PINN预测。

#### 物理残差损失。

物理损失由在配点{x_j}处评估的PDE残差构成：

L_physics(θ) = (1/N_p) Σ_{j=1}^{N_p} (R(x_j; θ))²， (8)其中R表示使用PINN预测的速度、压力和温度场计算的支配方程（方程（1）-（4））的残差。

### 3.3 数据稀缺场景下的迁移学习

为了进一步提高学习效率，我们引入了一种迁移学习（TL）策略。首先在源数据集（例如水冷却微通道）上训练一个基本PINN，其中可获得更多的训练数据。然后，使用源任务中的网络参数θ*来初始化目标PINN（针对钠冷却微型散热器）。具体来说，

θ_target^(0) ← θ_source^*。 (9)在微调期间，只更新最后几层和混合神经元参数α，而早期层保留可迁移的低级表示。这种方法减少了训练时间，并在目标数据集极小（87个CFD点）的情况下提高了收敛稳定性。

### 3.4 训练流程

整个训练过程交替最小化L_data和L_physics，其权重由自适应混合神经元调控。框架示意图如图1所示。根据您的翻译要求，我已将上述英文Markdown内容翻译为简体中文。翻译采用了自然的中文技术术语，保留了所有标题、列表、公式、引用和链接，并保持了专业名词的英文原样。译文未添加任何JSON、散文或额外的Markdown围栏。