从混合机理-数据驱动建模到神经符号人工智能：是什么、为什么以及如何实现

# 从混合机理-数据驱动建模到神经符号人工智能：是什么、为什么和怎么做
来源：https://arxiv.org/html/2607.22811
Moein E. Samadi1,2, Andreas Schuppert∗,1,2

1亚琛工业大学计算生物医学研究所，德国亚琛。 2亚琛工业大学计算生命科学中心，德国亚琛。 ∗通讯作者：[email protected]

###### 摘要

混合机理-数据驱动模型结合了第一性原理与学习组件，越来越广泛地应用于过程工程和科学机器学习中。常见的混合模型设计主要通过其架构和训练损失来指定，这为跨领域比较或验证提供了有限的共享语义接口基础，并且对机理部分的认知不确定性关注相对较少。

我们通过将这些设计重构为神经符号（NeSy）接口的实例，来桥接混合建模与神经符号人工智能。由此产生的转换，即混合到神经符号（H2N），将机理知识置于语言侧，学习模块置于信念侧，有效性域与约束置于逻辑侧。对于每种设计，H2N随后产生一个显式的NeSy推理函数和一个逻辑-信念分解。

从该分解中，我们推导出两个度量指标：结构违反率（SVR），衡量学习到的信念是否尊重机理结构；以及信念离散度（BD），衡量学习到的似然性的集中程度，作为混合模型在其机理部分中的认知不确定性。我们在一个标签噪声下二元分类的结构化混合模型案例研究中实例化了H2N，并展示了具有较高SVR和BD的模型在留出准确率上表现出更大的变异性。在结构分布偏移下，H2N进一步量化了模型在外推过程中的不确定性，而测试准确率则仅事后揭示相同的偏移。

## 1引言

在许多科学与工程领域，所关注的系统只有部分被理解：质量与能量平衡、反应化学计量学、结构拓扑或已知的动力学形式指定了必须为真的内容，而其余组件（本构封闭、未观测的速率、环境依赖的残差）则难以用第一性原理处理，必须从数据中学习。*混合机理-数据驱动模型*，也称为半参数[25 (https://arxiv.org/html/2607.22811#bib.bib29)]或灰箱[27 (https://arxiv.org/html/2607.22811#bib.bib28)]模型，在嵌入机理知识的同时学习其余部分[18 (https://arxiv.org/html/2607.22811#bib.bib7),26 (https://arxiv.org/html/2607.22811#bib.bib4),29 (https://arxiv.org/html/2607.22811#bib.bib5),1 (https://arxiv.org/html/2607.22811#bib.bib25),22 (https://arxiv.org/html/2607.22811#bib.bib6)]。一个典型例子：在生物反应器模型中，质量平衡和化学计量学是固定方程，而细胞特异性生长速率μ(c,T)从数据中学习并插入到原本机理的动力学中。因此，混合模型继承了机理模型的可解释性[5 (https://arxiv.org/html/2607.22811#bib.bib2)]、数据效率[7 (https://arxiv.org/html/2607.22811#bib.bib3)]和外推特性[30 (https://arxiv.org/html/2607.22811#bib.bib9)]，同时在机理不完整的地方使用数据驱动近似。

跨应用领域，混合建模已收敛于少数几种可重用的设计模式[33 (https://arxiv.org/html/2607.22811#bib.bib10)]：(i)机理和学习子模型的*串行*和*并行*安排[13 (https://arxiv.org/html/2607.22811#bib.bib15)]，(ii)通过输出叠加进行残差校正[4 (https://arxiv.org/html/2607.22811#bib.bib14)]，(iii)带门控的混合专家模型[16 (https://arxiv.org/html/2607.22811#bib.bib13),17 (https://arxiv.org/html/2607.22811#bib.bib12)]及其模糊规则类比[24 (https://arxiv.org/html/2607.22811#bib.bib16),31 (https://arxiv.org/html/2607.22811#bib.bib18)]，以及(iv)当输入离开训练支持时调节学习组件的有效性域规则[12 (https://arxiv.org/html/2607.22811#bib.bib11),23 (https://arxiv.org/html/2607.22811#bib.bib20),19 (https://arxiv.org/html/2607.22811#bib.bib22)]。

类似的模式贯穿于科学机器学习[10 (https://arxiv.org/html/2607.22811#bib.bib26)]，但它们是在架构和训练损失的层面上描述的。随后产生两个后果。首先，没有一个广泛采用的、关于混合模型作为推理对象*意义*的共享语义描述，这可能使跨领域比较和验证变得困难。其次，混合模型通常缺乏一种原则性的方法来表示和传播机理假设中的认知不确定性。

神经符号（NeSy）人工智能长期以来一直研究如何将逻辑结构与学习组件结合起来[2 (https://arxiv.org/html/2607.22811#bib.bib31),11 (https://arxiv.org/html/2607.22811#bib.bib32),15 (https://arxiv.org/html/2607.22811#bib.bib38),8 (https://arxiv.org/html/2607.22811#bib.bib33),9 (https://arxiv.org/html/2607.22811#bib.bib34),28 (https://arxiv.org/html/2607.22811#bib.bib36),3 (https://arxiv.org/html/2607.22811#bib.bib35),14 (https://arxiv.org/html/2607.22811#bib.bib37)]。De Smet和De Raedt[6 (https://arxiv.org/html/2607.22811#bib.bib1)]最近将这些文献整合成一个通用定义：一个NeSy模型是一个元组(L, μ, Ω, b_θ)，其中L是一个具有在解释空间Ω上的语义μ的语言，b_θ是一个信念权重，推理由积分函数

F_θ,x(φ) = ∫_Ω' l(φ, ω) b_θ,x(ω) dm(ω)   (1)

定义，该函数结合了逻辑函数l（在解释ω中评估查询φ）和信念b_θ,x。关键的是，该接口将*逻辑侧*（什么是可接受的，由L、μ、l和积分域Ω' ⊆ Ω给出）与*信念侧*（什么是似然的，由b_θ,x给出）分离开。

混合建模和NeSy人工智能处理密切相关但方向相反的集成问题：混合建模有丰富的架构模式，但共享语义接口的基础有限；NeSy有语义，但强调逻辑语言而非机理方程系统和工程模式。我们的工作建立了这些观点之间的联系。

#### 论点。

我们的核心主张是，混合机理-数据驱动模型可以系统地重构为De Smet和De Raedt[6 (https://arxiv.org/html/2607.22811#bib.bib1)]意义上的NeSy模型。在这种对应关系下，机理方程和结构约束提供了语言L及其语义μ；学习组件在未知量上引入了一个信念函数b_θ；有效性规则和约束被表示为逻辑函数l或积分域Ω'的限制。然后，每种混合架构都会推导出一个形式为(1)的显式推理函数。

#### 定位的后果。

每个假设在NeSy元组(L, μ, Ω, b_θ)中的位置决定了哪些推理函数是良定义的。特别地，对于参考文献[7 (https://arxiv.org/html/2607.22811#bib.bib3)]中的结构化混合模型，将结构划分保留在逻辑侧（将其编码在积分域Ω'中而非信念b_θ中）会产生一个加性分解BD = BD_seen + BD_unseen（第5节），其中BD_unseen在部署时，在任何分布外（OOD）样本被观察到之前，即可从Ω'的覆盖范围计算。混合模型的传统架构和损失描述无法表达这样的量，因为它们不将结构划分与学习预测器分开。

#### 贡献。

(i) 我们引入了一个原则性的*翻译程序*，将任何混合模型描述映射到一个NeSy元组(L, μ, Ω, b_θ)，并带有一个显式推理函数（第2-3节）。(ii) 将该程序应用于规范混合设计模式，生成一个紧凑的*映射表*（表1），记录每种模式在(L, μ, Ω, b_θ)和推导出的函数中变化的内容，以及实现它的代表性NeSy架构。(iii) 我们推导出一个评估协议，包含两个指标，用于衡量逻辑结构的违反和学习信念的集中程度（第4节）。(iv) 我们将该翻译实例化到一个标签噪声下二元分类的结构化混合模型上，并展示了所得指标在部署时量化了训练模型在机理组件中的认知不确定性，以及在外推过程中的不确定性，这些是单独测试准确率无法揭示的故障模式（第5节）。

## 2问题设定与定义

#### 混合机理-数据驱动模型。

令x ∈ X表示输入，z ∈ Z表示潜在状态，y ∈ Y表示输出。令α表示机理参数，并令ψ收集完成机理描述所需的未知项（残差、门控、噪声项）。这里，*封闭*是对此类未知项的任何本构说明，一旦x和α固定，便使得机理约束可解。一个混合模型由以下部分指定

(Mechanistic constraints)  G(x,z;α,ψ)=0, (2)
(Observation model)  y = H(x,z;α,ψ) ∈ Y, (3)
(Learned closure)  ψ = g_β(q(x,z), ξ), ξ ∼ p(ξ), (4)

其中q是一个特征映射，g_β是一个学习模块（确定性的或随机性的），而ξ是一个具有固定基分布p(ξ)的噪声变量。给定x，预测ŷ_α,β(x)通过求解(2)-(4)得到(z,y)；如果存在多个解，假设混合规范包含一个固定的求解器。如果g_β是随机的，规范会推导出一个预测分布；点预测可以取为ŷ_α,β(x) := E[y|x]。

###### 定义1（混合模型）。

一个*混合模型*是指规范M_α,β = (G, H, g_β)以及由此推导出的预测映射x ↦ ŷ_α,β(x)。

许多混合建模设计也可以在架构层面总结为

y = Comp(M_α(x), N_β(x, M_α(x))), (5)

其中M_α表示机理算子，N_β收集学习组件，而Comp是组合规则，将机理输出与学习组件结合起来。

#### NeSy模型与推理函数。

我们采用De Smet和De Raedt[6 (https://arxiv.org/html/2607.22811#bib.bib1)]的接口。一个NeSy模型指定了一个语言L，一个在解释空间Ω上的语义μ，以及一个对解释进行加权的信念函数b_θ；推理如方程(1)所示，将逻辑函数l与信念聚合起来。我们将整个空间Ω与给定翻译相关的受限空间Ω' ⊆ Ω（未知参数、封闭、潜在状态）区分开来。在附录A中阐述的(Ω, l, B_θ,x)的温和可测性条件下，函数(1)是良定义的；狄拉克信念对应于B_θ,x = δ_ω*(x)。

###### 定义2（混合到神经符号分解）。

一个混合模型M_α,β推导出一个NeSy元组(L, μ, Ω, b_θ)和一个推导出的推理函数F，其中

1. L和μ捕捉由方程(2)-(3)和方程(5)中的组合模式给出的*结构核心*；
2. Ω是未知量（例如α, ψ, z，门控，噪声）赋值的*解释空间*；
3. b_θ是由学习部分推导出的在Ω上的*信念函数*（确定性设定中为狄拉克函数；随机/贝叶斯设定中为非退化函数）；
4. F是形式为方程(1)的推导出的推理函数。

###### 命题3（逻辑-信念分离）。

令(L, μ, Ω, b_θ)通过定义2获得。固定x，φ ∈ L，以及可测集Ω' ⊆ Ω。令B_θ,x为在Ω'上的（有限）信念测度，并假设l(φ,·)是可测且非负的。对于τ ≥ 0定义

Ω_viol^τ(φ) := {ω ∈ Ω' : l(φ,ω) ≤ τ}, Ω_adm^τ(φ) := Ω' \ Ω_viol^τ(φ)。

那么：

1. *逻辑侧（可接受性）*。违反/可接受划分Ω_viol^τ(φ) vs. Ω_adm^τ(φ)完全由l决定（因此由(L, μ)和所选的可行性/评分规则决定）。在硬情形τ=0下，F_θ,x(φ) = ∫_Ω' l(φ,ω) dB_θ,x(ω) = ∫_Ω_adm^0(φ) l(φ,ω) dB_θ,x(ω)。
2. *信念侧（似然性）*。在可接受性条件下，推理由B_θ,x如何在Ω_adm^τ(φ)内分配*概率质量*（集中 vs. 分散）所支配。特别地，如果B_θ,x = δ_ω*(x)，那么F_θ,x(φ) = l(φ, ω*(x))。