动态Ising模型中的分布外神经推断

# 动力伊辛模型中的分布外神经推理
来源：https://arxiv.org/html/2607.03039
Yuan-Bin Zhu  
量子物理与智能科学中心，物理系，首都师范大学，北京 10048，中国  
Shuang Qiao  
[email protected] (https://arxiv.org/html/2607.03039v1/mailto:[email protected])  
量子物理与智能科学中心，物理系，首都师范大学，北京 10048，中国  
Shi-Ju Ran  
[email protected] (https://arxiv.org/html/2607.03039v1/mailto:[email protected])  
量子物理与智能科学中心，物理系，首都师范大学，北京 10048，中国  

###### 摘要

神经网络越来越多地被用于从动力学观测中推断隐藏的物理结构，然而其分布外性能是否反映了可迁移的物理规则学习仍不明确。我们在一个受控的反问题中探讨这一问题：从 Glauber 磁化轨迹重建动力学 Ising 模型的相互作用图。在卷积、图、Transformer 和混合架构中，我们发现数据驱动训练在拓扑和温度偏移下会产生不同且可重复的统计策略。边缘人口诊断表明，基于 Transformer 的模型倾向于保持训练集上的链接密度，而卷积模型可能崩溃为稀疏或无链接预测，这些预测通过利用多数无链接类而显得在分布外鲁棒。因此，高分布内精度和看似强大的分布外鲁棒性并不一定意味着学到了从动力学到结构的规则。相反，神经重建可能受限于依赖于架构的统计先验。我们的结果识别出标准数据驱动学习在物理反问题中的一个具体失效模式，并激励了基于规则引导的原则来辅助机器学习的科学发现。

## 引言。—

人工智能 (AI) 和机器学习 (ML) 已成为物理学 Carleo and Troyer (2017 (https://arxiv.org/html/2607.03039#bib.bib1)); He (2024 (https://arxiv.org/html/2607.03039#bib.bib2)); Bracco and others (2025 (https://arxiv.org/html/2607.03039#bib.bib3))、生物学 Jumper and others (2021 (https://arxiv.org/html/2607.03039#bib.bib4)); Hwang and others (2024 (https://arxiv.org/html/2607.03039#bib.bib5)); Mak et al. (2024 (https://arxiv.org/html/2607.03039#bib.bib6))、材料科学 Li and others (2025b (https://arxiv.org/html/2607.03039#bib.bib7)); Xie and Grossman (2018 (https://arxiv.org/html/2607.03039#bib.bib8)) 以及气候研究 Bracco and others (2025 (https://arxiv.org/html/2607.03039#bib.bib3)); Schneider and others (2022 (https://arxiv.org/html/2607.03039#bib.bib10)); Reichstein and others (2019 (https://arxiv.org/html/2607.03039#bib.bib11)) 中越来越重要的工具。除了加速现有数据中的插值，AI for Science 的一个核心抱负是协助科学发现，即预测在训练数据中未出现的机制或结构 Li and others (2025b (https://arxiv.org/html/2607.03039#bib.bib7)); Caro and others (2023 (https://arxiv.org/html/2607.03039#bib.bib16)); Li and others (2025a (https://arxiv.org/html/2607.03039#bib.bib17))。这一抱负使得分布外 (OOD) 预测成为科学 ML 的必要基准：发现需要外推到模型从中学习的统计集成之外，而不仅仅是对来自同一分布的新样本进行准确预测 Li and others (2025b (https://arxiv.org/html/2607.03039#bib.bib7)); Omee and others (2024 (https://arxiv.org/html/2607.03039#bib.bib21)); Muckley and others (2023 (https://arxiv.org/html/2607.03039#bib.bib52)); Segal and others (2025 (https://arxiv.org/html/2607.03039#bib.bib53)); Ursu and others (2025 (https://arxiv.org/html/2607.03039#bib.bib54))。

这一要求与标准的数据驱动学习范式存在张力。大多数监督 ML 模型通过最小化有限数据集上的经验预测误差进行训练，并在独立同分布假设下进行验证。在这种设置下，高分布内 (ID) 精度主要证明了在训练集成内的插值能力。它本身并不能证明模型已经学到了一个可迁移的物理规则。然而，在科学应用中，相关目标通常位于训练集成之外：一种新的材料组成、一个新的相、一种新的相互作用拓扑或一个新的动力学区域。因此，关键问题不仅在于神经网络是否能准确预测，还在于当测试系统违反训练数据的统计 ID 假设时，它们执行了何种推理。

统计插值与可迁移物理推理之间的区别已在分布偏移的背景下被广泛讨论。在图像、语言和基准学习任务中的研究表明，具有高 ID 性能的模型在测试分布发生变化时可能会失败 Koh and others (2021 (https://arxiv.org/html/2607.03039#bib.bib18)); Hendrycks and others (2021 (https://arxiv.org/html/2607.03039#bib.bib19)); Ovadia and others (2019 (https://arxiv.org/html/2607.03039#bib.bib20)); Omee and others (2024 (https://arxiv.org/html/2607.03039#bib.bib21)); Koch and others (2024 (https://arxiv.org/html/2607.03039#bib.bib22))。类似的担忧在物理应用中也存在，包括材料属性预测 Omee and others (2024 (https://arxiv.org/html/2607.03039#bib.bib21))、量子动力学学习 Caro and others (2023 (https://arxiv.org/html/2607.03039#bib.bib16)) 和复杂流建模 Rabeh and others (2025 (https://arxiv.org/html/2607.03039#bib.bib27))，其中分布偏移可能由结构、控制参数或状态空间区域的变化引起 Omee and others (2024 (https://arxiv.org/html/2607.03039#bib.bib21)); Rabeh and others (2025 (https://arxiv.org/html/2607.03039#bib.bib27)); Caro and others (2023 (https://arxiv.org/html/2607.03039#bib.bib16)); Vasiliauskaite and others (2024 (https://arxiv.org/html/2607.03039#bib.bib26))。对于反问题，这个问题更为尖锐：模型必须从有限的观测中推断隐藏的物理结构或参数，而准确的预测可能源于学到的物理关系，也可能源于从训练集成继承的统计规律性 Nguyen et al. (2017 (https://arxiv.org/html/2607.03039#bib.bib32)); Karnakov and others (2024 (https://arxiv.org/html/2607.03039#bib.bib33)); Bingham and others (2024 (https://arxiv.org/html/2607.03039#bib.bib34)); Patel and others (2022 (https://arxiv.org/html/2607.03039#bib.bib35))。

在这里，我们使用具有 Glauber 动力学的动力学 Ising 模型作为受控的物理测试平台来解决这个问题 Glauber (1963 (https://arxiv.org/html/2607.03039#bib.bib50))。正问题将相互作用拓扑（由邻接矩阵表示）映射到随时间变化的局域磁化轨迹。这里考虑的反问题是从这些轨迹重建潜在的相互作用拓扑（图1 (https://arxiv.org/html/2607.03039#S0.F1)）。这使我们能够分离出科学 ML 中经常混淆的三个关键概念：ID 拟合、OOD 预测和可迁移的动力学到结构推理。训练和 ID 测试数据来自相同的晶格拓扑和系综。我们考虑在两种物理上不同的分布偏移下的 OOD 泛化：拓扑偏移（晶格结构在训练中缺失）和温度偏移（轨迹在未见过的温度下生成）。我们比较了卷积神经网络 (CNN)、图神经网络 (GNN)、Transformer 和混合架构，这些架构编码了处理时空磁化数据的不同归纳偏差。

我们的结果表明，在这个物理反问题中，数据驱动的神经重建在分布偏移下受限于依赖于架构的推理策略。尽管不同的架构通常能达到高的分布内精度（这是一个广泛认可的事实），但当图拓扑或动力学温度发生变化时，它们的响应不同。边缘人口诊断显示，基于 Transformer 的模型倾向于保持训练集上的链接密度，而卷积模型可能崩溃为稀疏链接或无链接预测，这些预测利用了多数无链接类。这些行为表明，不同的神经架构不仅仅在精度上有所区别；它们实现了从动力学到结构映射的不同统计策略。这一积极的诊断发现引出了一个重要的警示：看似强大的 OOD 鲁棒性不必意味着可迁移的物理规则，而可能源于依赖于架构的统计先验。结果识别出了标准监督学习在物理反问题中的一个具体失效模式，并激励了基于机制感知、规则引导的方法来辅助机器学习的科学发现。

参考图例
图 1：使用神经网络模型进行动力学 Ising 模型拓扑重建的示意图。给定随时间变化的局域磁化轨迹，模型预测相互作用图的底层邻接矩阵。

## 动力学 Ising 模型作为泛化的测试平台。—

我们考虑一个高维 Ising 模型，其相互作用拓扑由邻接矩阵 A\\bm{A} 编码，

H=−J∑i,jAijsisj。H=-J\\sum_{i,j}A_{ij}s_{i}s_{j}。 (1)

局域磁化动力学由平均场 Glauber 方程控制，

dmidt=−mi+tanh⁡(βJ∑jAijmj)，\\frac{dm_{i}}{dt}=-m_{i}+\\tanh\\Big(\\beta J\\sum_{j}A_{ij}m_{j}\\Big)， (2)

其中 mi(t)=⟨si(t)⟩m_{i}(t)=\\langle s_{i}(t)\\rangle （注意我们取玻尔兹曼常数为 kB=1k_{B}=1）。对于每种拓扑，我们从采样的初始条件数值求解方程 (2)，并将得到的磁化轨迹用作神经网络输入。预测目标是 A\\bm{A} 的上三角部分，对应所有候选的无向链接。

我们评估 ID 和两个 OOD 测试集。ID 集使用与训练相同的拓扑系综和温度，但初始条件独立采样。拓扑偏移 OOD 集在固定温度下使用未见过的晶格结构，而温度偏移 OOD 集使用训练拓扑，但在未见过的温度下生成轨迹。这些设置分别探测结构和热力学分布偏移。

我们比较了双层 CNN (CNN-2)、更深的双层 CNN (CNN-3)、GNN、Transformer 和混合 CNN-Transformer 架构，它们分别编码了卷积局部性 D’Ascoli and others (2021 (https://arxiv.org/html/2607.03039#bib.bib37)); Alzubaidi and others (2021 (https://arxiv.org/html/2607.03039#bib.bib41))、消息传递关系结构 Battaglia and others (2018 (https://arxiv.org/html/2607.03039#bib.bib42))、基于注意力的长程依赖 D’Ascoli and others (2021 (https://arxiv.org/html/2607.03039#bib.bib37)); Vaswani and others (2017 (https://arxiv.org/html/2607.03039#bib.bib44)) 以及混合局部-全局处理 D’Ascoli and others (2021 (https://arxiv.org/html/2607.03039#bib.bib37)); Lu and others (2022 (https://arxiv.org/html/2607.03039#bib.bib46))。不同架构的细节见补充材料 1 (https://arxiv.org/html/2607.03039#bib.bib56)。所有模型均针对 L=12L=12 个自旋进行训练，得到 L(L−1)/2=66L(L-1)/2=66 个候选链接。主要设置使用 Nc=25N_{c}=25 个真实链接，此时无链接预测器已达到 41/66=62.1%41/66=62.1\\%。因此，我们同时报告重建精度 γ\\gamma 和平均预测链接数 N^c\\widehat{N}_{c}。在补充材料 1 (https://arxiv.org/html/2607.03039#bib.bib56) 中探讨了具有温度偏移的平衡 Nc=33N_{c}=33 的情况。训练使用 Adam 优化器 Kingma and Ba (2014 (https://arxiv.org/html/2607.03039#bib.bib51)) 和二元交叉熵损失，

L=−1N∑i=1N[yilog⁡(y^i)+(1−yi)log⁡(1−y^i)]。\\mathcal{L}=-\\frac{1}{N}\\sum_{i=1}^{N}\\left[y_{i}\\log(\\widehat{y}_{i})+(1-y_{i})\\log(1-\\widehat{y}_{i})\\right]。 (3)

参考图例
图 2：(a) 训练精度 γIDtra\\gamma_{\\mathrm{ID}}^{\\mathrm{tra}}，(b) ID 测试精度 γIDtest\\gamma_{\\mathrm{ID}}^{\\mathrm{test}} 和 (c) 拓扑偏移 OOD 精度 γOODtop\\gamma_{\\mathrm{OOD}}^{\\mathrm{top}} 作为训练晶格拓扑数量 NLN_{L} 的函数。虚线标注了无链接基线的精度 41/66=62.1%41/66=62.1\\%。

## 拓扑偏移下的 OOD 泛化。—

我们首先在拓扑偏移下进行评估。训练集包含 N=35000N=35000 条在 T=1T=1 时从 NLN_{L} 个晶格拓扑生成的轨迹，每个拓扑采样 N/NLN/N_{L} 条轨迹。ID 测试集使用相同的拓扑系综和温度，但初始条件独立采样，而 OOD 集则用相同温度下未见过的晶格替换训练拓扑。

图2 (https://arxiv.org/html/2607.03039#S0.F2) (a) 和 2 (https://arxiv.org/html/2607.03039#S0.F2) (b) 显示，所有五个神经网络都达到了高的训练和 ID 测试精度，且趋势随 NLN_{L} 变化相似。总体排名为 Transformer、Hybrid、GNN、CNN-2 和 CNN-3，表明基于 Transformer 的模型在 ID 设置中提取了最具预测性的信息。ID 精度随着 NLN_{L} 的增加而下降，这与固定的样本预算一致：增加 NLN_{L} 既减少了每个拓扑的样本数，又拓宽了依赖于拓扑的动力学响应集合，从而使反问题变得更难。

相同的模型在拓扑偏移下表现出性质上的不同。如图2 (https://arxiv.org/html/2607.03039#S0.F2) (c) 所示，所有精度均大幅下降；对于 NL=10N_{L}=10，它们仅约为 56%56\\%。排名也反转了：CNN-2 和 CNN-3 优于 Transformer。此外，OOD 精度随 NLN_{L} 增加，CNN-3 从 NL=10N_{L}=10 时的约 56%56\\% 上升至 NL=50N_{L}=50 时的约 61%61\\%，与 ID 趋势相反。

这些结果表明，ID 和拓扑-OOD 测试探测了学习到的逆映射的不同方面。ID 精度主要衡量轨迹层面的插值：模型在从训练所用相同拓扑系综中生成的新动力学实现上进行评估。在这个状态下，增加 NLN_{L} 使重建任务变得困难，精度向无链接基线下降但仍高于它。

相比之下，拓扑-OOD 测试探测拓扑层面的外推，要求相同的学习映射重建训练系综中不存在的相互作用图。因此，对 NLN_{L} 的相反依赖性表明，有利于 ID 插值的归纳偏差不一定有利于可迁移的动力学到拓扑推理。更重要的是，这表明仅靠 OOD 精度并不是物理规则学习的直接度量：它必须与揭示模型实际预测何种图的重建诊断一起解释。这激励了超越逐边精度的互补诊断。

## 温度偏移下的 OOD 泛化。—

我们接下来通过训练