机械场网络:面向多变量系统的结构化神经动力学

arXiv cs.LG 论文

摘要

本文介绍MF-Net,一种循环动力学模型,通过共享场状态表示多变量系统,并学习用于联合演化的机械转移。它在实现有竞争力的预测的同时,还能对学习到的关系进行可解释的结构化读取。

arXiv:2606.11251v1 公告类型:新 摘要:许多多变量动力学系统仅通过轨迹进行观测,其联合动力学的机制是隐藏的。现有方法可以施加可解释的动力学或学习灵活的状态转移,但由此产生的相互作用结构通常要么预先指定,要么隐含在学习到的动力学中。我们引入MF-Net,一种循环动力学模型,它将所有变量表示在共享场状态中,并通过学习到的关系定律更新该状态。每个变量携带一个场分量,这些分量通过可学习的机械转移共同演化。这里,“机械”指的是转移的关系-运动组织,其中学习到的关系塑造了依赖于状态的流、场响应以及推动场状态前进的运动趋势。由此产生的结构是展开本身的一部分:学习到的关系影响场的移动方式,并且相同的内部量同时支持预测和结构化读取。在已知定律的相互作用系统、混沌基准、真实神经记录和生态时间序列上,MF-Net实现了有竞争力的短期和中期预测,同时保持可检查的结构化读取。在40维Lorenz-96测试台上,MF-Net实现了八步$R^2$为$0.798\pm0.018$;在五个种子上,其学习到的关系矩阵恢复了局部耦合支持,局部/非局部强度比为$19.80\pm1.00$,Precision@$K$为$1.000\pm0.000$。MF-Net提供了一个结构可读的动力学建模框架,其中学习到的关系通过前向演化进行训练,并在真实数据上,在适当的观测限制下被解释为功能预测耦合。
查看原文
查看缓存全文

缓存时间: 2026/06/11 13:45

# 引言

来源:https://arxiv.org/html/2606.11251

**机械场网络:面向多变量系统的结构化神经动力学**

Xingji Cui  
西安交通大学,中国  
[email protected]  
(https://arxiv.org/html/2606.11251v1/mailto:[email protected])

**摘要**

许多多变量动力系统只能通过轨迹观测,其联合动力机制被隐藏。现有方法可以施加可解释的动力学或学习灵活的状态转移,但得到的交互结构通常要么预先指定,要么隐式存在于学习到的动力学中。我们提出 MF-Net,一种循环动力模型,它将所有变量表示在一个共享的场状态中,并通过学习得到的关系律更新该状态。每个变量携带一个场分量,这些分量通过可学习的机械转移共同演化。这里,“机械”指的是转移中“关系到运动”的组织方式:学到的关系塑造状态依赖的流、场响应以及推动场状态前进的运动趋势。由此产生的结构是滚动过程本身的一部分:学到的关系影响场的运动方式,而相同的内部量既支持预测,也支持结构读取。在已知规律交互系统、混沌基准、真实神经记录和生态时间序列上,MF-Net 在保持可检查的结构读取能力的同时,实现了有竞争力的短中期预测。在 40 维 Lorenz-96 测试平台上,MF-Net 的八步 \(R^2\) 达到 \(0.798\pm0.018\);在五个随机种子下,其学到的关系矩阵在局部/非局部强度比为 \(19.80\pm1.00\) 且 Precision@\(K\) 为 \(1.000\pm0.000\) 的情况下恢复了局部耦合支持。MF-Net 提供了一个结构可读的动力学建模框架,其中学到的关系通过前向演化训练,并在真实数据上,在适当观测限制下被解释为功能预测性耦合。

**关键词**:多变量动力系统;关系结构循环模型;结构可读预测;交互结构推断;神经动力学建模;功能耦合;机械场网络

多变量动力系统的观测轨迹展示了变量随时间演化的方式,但仅凭轨迹并不能识别出该演化背后的结构关系(Granger, 1969 (https://arxiv.org/html/2606.11251#bib.bib9); Sugihara et al., 2012 (https://arxiv.org/html/2606.11251#bib.bib35); Brunton et al., 2016 (https://arxiv.org/html/2606.11251#bib.bib3); Kipf et al., 2018 (https://arxiv.org/html/2606.11251#bib.bib17))。这造成了预测与结构解释之间的鸿沟:一个模型可以预测未来值,却不暴露参与其滚动过程的关系;而事后关系评分可能识别出看似合理的关联,却不能表明这些关系参与了预测计算(Tank et al., 2022 (https://arxiv.org/html/2606.11251#bib.bib36); Rudin, 2019 (https://arxiv.org/html/2606.11251#bib.bib33))。MF-Net 正是从这一鸿沟出发:那些用于结构读取的内部量,也应被用于计算前向滚动。

问题在于现有模型往往在此处做出权衡。诸如稀疏方程发现(Brunton et al., 2016 (https://arxiv.org/html/2606.11251#bib.bib3))或局部线性化等方法可以暴露部分动力学,但它们暴露的内容高度依赖于学习前所选的测量变量、基函数或局部近似方案。更灵活的循环或隐状态模型(Chen et al., 2018 (https://arxiv.org/html/2606.11251#bib.bib4); Rubanova et al., 2019 (https://arxiv.org/html/2606.11251#bib.bib32))去除了许多人工设计,但它们用于预测的依赖关系往往被折叠到转移本身中,没有留下明确的结构接口。基于图的关系模型(Kipf et al., 2018 (https://arxiv.org/html/2606.11251#bib.bib17))在精神上更为接近,因为它们在变量间引入了显式关系,但图通常只负责路由消息,而不是定义正在演化的动力学对象本身。

因此,问题不仅仅是缺少关系,而是缺少一个前向过程,在其中关系结构、状态演化和结构读取被作为一个整体进行训练。

我们引入**机械场网络**(Mechanical Field Network, MF-Net)作为一种围绕这一思想构建的循环动力模型。MF-Net 维护一个由各变量分量组成的联合场状态,使得每个变量在共享的动态场中都有一个内部状态。术语“机械”指的是推进该场的方式:其分量通过结构化的循环转移向前推进,而非仅从固定的隐摘要中解码。耦合由一个单一的关系律编码,该关系塑造了联合场状态在预测过程中的演化方式。因此,那些用于结构读取的相同内部量也参与了产生滚动过程。通过这种方式,MF-Net 将结构视为被推进的动力学对象的一部分,而非附加在已完成预测器上的分数(Rudin, 2019 (https://arxiv.org/html/2606.11251#bib.bib33))。

为了验证这一想法,我们使用了不同类型证据可用的系统。Lotka–Volterra 和 Lorenz-96 提供了直接的结构校验:学到的关系律可以与真实交互或局部耦合进行比较。混沌滚动提供了更严格的检核,因为即使预测误差累积,可读结构也应保持有序。我们将 MF-Net 与多种参考方法进行比较,包括方程发现方法、特征扩展动力模型、神经预测器和基于图的基线,从而分别评估预测精度、结构读取和滚动稳定性。对于真实的神经和生态时间序列,评判标准必然更为谦逊:在缺乏真实机制的情况下,我们考察学到的关系是否对预测有负载作用,以及它们是否与独立的功能证据一致。我们还包含了辅助边界案例,以展示 MF-Net 预测良好的情况,以及结构解释应被弱化的情形。

总体而言,本工作提供了结构可读循环动力学的具体表述。MF-Net 将学习到的有向关系置于共享场状态的前向演化之中,使得该关系不仅在训练后被检查,而且被用于生成滚动过程。在受控交互系统、混沌基准和真实神经记录上,这一设计使得同一模型既能支持预测,又能暴露可解释的关系律。核心信息是:结构读取不必与预测分离,它可以成为产生预测的动力学过程的一部分。

## 方法

![图1](https://arxiv.org/html/2606.11251/x1.png)  
图 1:MF-Net 前向计算。观测历史初始化当前场状态。共享关系律进入循环 MF 转移模块,其中当前影响被聚合并用于向前推进场状态。预测从未来场状态读取,滚动损失约束用于结构读取的同一过程。

MF-Net 可总结为一次循环场滚动。一个结构化转移反复向前推进场状态,预测从滚动状态的观测坐标读取:

\[
Q_{t+1} = f_{\theta,D}(Q_t), \qquad \hat{\mathbf{z}}_{t+1} = [Q_{t+1}]_z.
\]

其中 \(f_{\theta,D}\) 表示一个 MF-Net 转移步骤。以下各节将该转移分解为状态变量、有向关系、实现流、场响应、机械向量场和训练目标。

### 状态表示

令 \(z_i(t)\) 表示变量 \(i\) 在时间 \(t\) 的观测坐标。该坐标的语义取决于数据集;在 MF-Net 中,\(z_i(t)\) 是场状态中受数据监督的分量,也是滚动预测被评估的坐标。MF-Net 为每个变量表示一个增强场状态。除了观测坐标 \(z_i(t)\),该状态还包括一个场坐标 \(u_i(t)\)、一个增强趋势状态 \(\eta_i(t)\) 和一个历史上下文 \(\chi_i(t)\)。场坐标 \(u_i(t)\) 为变量 \(i\) 在学习到的场内部提供了一个内部配置。趋势状态 \(\eta_i(t)\) 存储场状态的局部运动趋势;其分量随后进入观测坐标 \(z_i(t)\) 和隐藏场坐标 \(u_i(t)\) 的更新。上下文状态 \(\chi_i(t)\) 携带从近期观测推断的信息,并帮助设置当前滚动条件。因此,\(z_i(t)\) 将状态锚定到数据,\(u_i(t)\) 提供场配置,\(\eta_i(t)\) 提供运动趋势,\(\chi_i(t)\) 提供近期历史上下文。我们将变量 \(i\) 的完整模型状态写作:

\[
q_i(t) = \bigl(z_i(t), u_i(t), \eta_i(t), \chi_i(t)\bigr), \qquad Q_t = \{q_i(t)\}_{i=1}^N.
\]

共同地,这些变量定义了 MF-Net 执行循环滚动时的内部场状态,其中隐式分量提供了配置、运动和上下文,使得关系结构和场响应能够塑造未来轨迹。在滚动开始时,内部分量从一个因果历史窗口初始化。给定过去观测 \(\mathbf{z}_{t-L:t}\),MF-Net 将可用历史编码为当前状态摘要,并将其映射到内部滚动配置:

\[
(\hat{u}_t, \hat{\eta}_t, \hat{\chi}_t) = E_\phi(\mathbf{z}_{t-L:t}).
\]

该初始化仅使用直到时间 \(t\) 可用的信息。此步骤后,未来状态通过反复应用 MF 转移生成,而不是直接从历史窗口解码未来值。

### 有向关系律与实现流

MF-Net 将稳定的有向关系律与其在滚动过程中的状态依赖实现分离。令 \(D \in \mathbb{R}^{N \times N}\) 表示学习到的有向关系矩阵,其中 \(D_{j,i}\) 表示从源变量 \(j\) 到目标变量 \(i\) 的有向通道。对角线上的自边被屏蔽。因此 \(D\) 跨滚动步骤共享,并作为转移的稳定有向分量。在每个时间步,该稳定关系被转换为一个实现的有向流。每个源变量有一个标量源强度 \(s_j(t) = s_\theta\bigl(z_j(t)\bigr)\),或一个具有相同角色的数据集特定源强度映射。从源 \(j\) 到目标 \(i\) 的实现流为:

\[
J_{j \to i}(t) = D_{j,i} \, s_j(t).
\]

矩阵 \(J(t)\) 因此是状态依赖的,而 \(D\) 在时间上重用。这一区分很重要:\(D\) 是可在训练后检查的关系律,而 \(J(t)\) 是该律在特定滚动步骤中的当前表达。实现流在转移中有两个作用。首先,它们的标量和进入观测坐标向量场。其次,它们在目标侧响应之前对源级场消息进行加权,如下定义。因此,结构读取 \(D\) 通过 \(J(t)\) 直接连接到循环场运动。

### 场聚合与响应

给定实现流 \(J_{j \to i}(t)\),MF-Net 计算每个目标从源级消息接收的输入。每个源变量产生一个消息:

\[
m_j(t) = S_\theta\bigl(q_j(t)\bigr).
\]

这里 \(S_\theta\) 是一个学习到的映射。到达目标 \(i\) 的消息使用实现流作为权重进行聚合:

\[
h_i(t) = \sum_{j \neq i} J_{j \to i}(t) \, m_j(t).
\]

一个目标侧响应映射随后将该聚合输入转换为作用于变量 \(i\) 的场响应:

\[
G_i(t) = R_\theta\bigl(q_i(t)\bigr) \, h_i(t).
\]

这里 \(R_\theta(q_i(t))\) 表示目标条件响应映射,而 \(G_i(t)\) 是传递给机械趋势更新的场响应。尽管这种聚合采用了消息传递的形式,但它应被读作场动力学内部的一种类图操作,而非独立的 GNN 层。学习到的关系律为场消息提供了结构化路由模式,而被推进的循环状态仍然是 MF-Net 场状态。

### 机械向量场

场响应 \(G_i(t)\) 塑造了机械趋势 \(\eta_i(t)\),后者作为 MF-Net 的局部运动变量。其分量同时驱动观测坐标 \(z_i(t)\) 和隐藏场坐标 \(u_i(t)\)。MF-Net 使用以下结构化向量场推进联合场状态:

\[
\dot{z}_i(t) = r_i + \alpha_i z_i(t) + \sum_{j \neq i} J_{j \to i}(t) + \eta_i^z(t).
\]

这里 \(r_i\) 和 \(\alpha_i\) 是学习到的变量特定局部趋势参数。观测坐标 \(z_i(t)\) 通过三项演化:变量特定局部趋势 \(r_i + \alpha_i z_i(t)\)、从其他变量接收的实现流总和、以及机械趋势的观测坐标分量 \(\eta_i^z(t)\)。这是向量场中直接与预测信号相关的部分。

\[
\dot{u}_i(t) = b_\theta\bigl(z_i(t), u_i(t), \chi_i(t)\bigr) + \eta_i^u(t).
\]

隐藏场坐标 \(u_i(t)\) 通过一个局部场漂移映射 \(b_\theta\) 和同一机械趋势的隐藏坐标分量 \(\eta_i^u(t)\) 演化。这使得内部场状态与观测坐标一起移动,而不是保持为静态嵌入。

\[
\dot{\eta}_i(t) = \lambda_i\bigl(G_i(t) - \eta_i(t)\bigr), \qquad \lambda_i > 0.
\]

机械趋势 \(\eta_i(t)\) 通过一个松弛更新被拉向场响应 \(G_i(t)\)。因此,响应 \(G_i(t)\) 塑造了局部运动变量,其分量随后进入 \(z_i(t)\) 和 \(u_i(t)\) 的动力学。

\[
\dot{\chi}_i(t) = -\lambda_\chi \chi_i(t), \qquad \lambda_\chi > 0.
\]

上下文状态 \(\chi_i(t)\) 在滚动过程中衰减。它为当前滚动条件提供历史信息,而未来轨迹仍由循环场动力学生成,而非直接复制输入历史。

这些方程共同定义了 MF-Net 在滚动过程中使用的转移。在实验中,向量场逐步积分,以获得多步预测。

相似文章

基于物理建模的神经网络

arXiv cs.LG

本文介绍了动力学物理建模神经网络(DynPMNNs),这是一种连续时间深度学习架构,其中隐藏层由常微分方程定义。该方法基于再生核巴拿赫空间,具有生物启发性,在加州房屋数据集上展现出与标准神经ODE相当的性能,且参数更少。