使用深度信念网络和双向GRU对三态多数投票模型中临界附近的方向轨迹进行分类

# 使用深度信念网络与双向门控循环单元分类三态多数投票模型临界点附近的定向轨迹
来源：https://arxiv.org/html/2608.18235

1st毛里西奥·A·瓦列（Mauricio A. Valle）  
所属机构：阿道夫·伊瓦涅斯大学工程与科学学院，社会科学数据科学千禧研究所（SODAS），智利圣地亚哥，[email protected]  

2nd冈萨洛·A·鲁兹（Gonzalo A. Ruz）  
所属机构：阿道夫·伊瓦涅斯大学工程与科学学院，社会科学数据科学千禧研究所（SODAS），植物韧性数据科学千禧研究所（PhytoLearning），智利圣地亚哥，[email protected]

###### 摘要

本工作探究由深度信念网络（DBN）和双向门控循环单元（Bi-GRU）学习到的潜在表示，能否区分三态多数投票模型（MV3）中四种动态上不同的轨迹类型：从无序态逼近、从有序态逼近、向无序态偏离、以及向有序态偏离。该DBN采用高斯-伯努利受限玻尔兹曼机作为输入层，并采用784→4096→225→81的架构进行无监督预训练，将每个晶格快照编码为一个81维的潜在向量。对DBN潜在空间进行t-SNE分析显示，四种轨迹类型仅实现部分分离，这反映了一个在静态构型上训练的模型无法完全解析方向性时间结构的事实。一个在长度为T=50的DBN编码快照序列上训练的双层Bi-GRU分类器，在其隐藏状态空间中实现了对所有四种轨迹类型的近乎完美分离，训练集和测试集上的t-SNE可视化均证实了这一点。此外，将训练好的Bi-GRU应用于连续MV3动力学的滑动窗口实验，展示了其实时感知系统当前动力学状态的能力。这些结果建立了一个有原则的分层架构，用于检测和分类基于代理的意见动力学模型中的临界转变。

###### 关键词：

三态多数投票模型、意见动力学、深度信念网络、双向门控循环单元、临界转变

## I 引言

当通过统计力学框架研究基于代理的意见形成模型时，会表现出相变，即有序与无序集体状态之间的分岔，这种分岔由一个扮演社会温度角色的噪声参数所控制\[5 (https://arxiv.org/html/2608.18235#bib.bib1),11 (https://arxiv.org/html/2608.18235#bib.bib2)\]。这些转变具有内在的科学意义，因为它们代表了临界点：一旦跨越就难以逆转的集体行为质变。在社会情境中，此类临界点的类似情况包括：之前温和的公共话语突然分裂为两个不可调和的极化立场；在最初异质的人群中出现群体共识；或先前稳定的社会均衡被打破。因此，理解先于这些转变发生的动力学特征，并开发能够从系统可观测量中检测这些特征的计算工具，不仅是非平衡统计物理学中的一个挑战，也与社会系统和金融市场的建模问题直接相关，近期序列深度模型已被用于标记即将发生的不稳定性\[16 (https://arxiv.org/html/2608.18235#bib.bib22)\]。

三态多数投票模型（MV3）为研究此问题提供了一个简约而非平凡的平台。在MV3模型中，晶格上的每个代理持有三种离散意见之一，以概率p=1−q采纳其邻居的多数意见，或以噪声概率q持异议\[22 (https://arxiv.org/html/2608.18235#bib.bib3),12 (https://arxiv.org/html/2608.18235#bib.bib4)\]。在无限晶格上，三态版本已知表现出不连续的有序-无序转变；然而，在有限晶格上，例如本文研究的28×28系统，尖锐的不连续性因有限尺寸效应而平滑化，转变为连续的交叉区域，产生一个丰富且延伸的临界区。这种有限尺寸平滑化并非限制，而是一个机遇：系统在其轨迹中会花费相当长的时间停留在临界点附近，产生那种缓慢演化的、相关的动力学，而时间序列深度学习架构可以学会识别和分类这种动力学。

机器学习在相变领域的应用在过去十年中显著增长，始于一个里程碑式的证明，即神经网络可以在没有序参量先验知识的情况下，从原始自旋构型中识别物质相\[3 (https://arxiv.org/html/2608.18235#bib.bib5)\]。后续工作表明，即使是无监督方法，特别是“通过混淆学习”方案，也可以在没有标签数据的情况下定位临界点\[20 (https://arxiv.org/html/2608.18235#bib.bib6)\]，并且可以直接从动态数据而非静态数据中学习转变\[19 (https://arxiv.org/html/2608.18235#bib.bib7)\]。然而，这些方法大多分析的是在固定参数值下的构型或信号，而不是在相变过程中演化的完整时间轨迹。在临界转变发生前进行预测这一更具动态丰富性的问题，是预警系统的核心挑战，它需要能够从序列数据中提取时间结构的方法。临界点附近的临界慢化会在时间序列中产生可测量的统计特征\[15 (https://arxiv.org/html/2608.18235#bib.bib8)\]，而在生态和气候系统中，循环深度学习架构能够比经典指标更早、更可靠地检测到这些特征\[2 (https://arxiv.org/html/2608.18235#bib.bib9)\]。将这些思想扩展到基于代理的社会模型是一个自然但并非平凡的步骤，需要仔细设计表示学习流程和时间分类架构。

最近，深度学习被直接应用于意见动力学模型。监督密集网络、主成分分析（PCA）和变分自编码器（VAE）已被用于表征多数投票模型的连续相变，表明VAE重构损失可作为序参量，并且在临界点处，真实构型与重构构型之间的相关性具有普适性\[13 (https://arxiv.org/html/2608.18235#bib.bib10)\]。应用于比斯瓦斯-查特吉-森（Biswas–Chatterjee–Sen）模型的类似方法证实，无监督技术可以在不需要明确知道转变点的情况下，在正方形和三角晶格上识别临界点\[14 (https://arxiv.org/html/2608.18235#bib.bib11)\]。这些结果表明，深度生成模型可以以相位敏感的方式学习意见构型的统计结构。然而，这些方法将系统状态视为静态快照，即使是基于动力学的方法也未能解析轨迹相对于临界点的*方向*，即系统是正在逼近还是偏离临界点，以及从哪个相逼近或偏离，而这正是预测转变所需的信息。

在本工作中，我们弥补这一差距，使用具有周期性边界条件的二维方形晶格上的MV3模型作为测试系统。我们通过具有异步更新规则的蒙特卡洛模拟构建准静态轨迹集，覆盖四种相对于临界点由其方向和起源定义的动态不同轨迹类型：从无序态逼近、从有序态逼近、向无序态偏离、以及向有序态偏离。每条轨迹构成一个缓慢通过参数空间演化的晶格构型时间序列，旨在隔离临界慢化和对称性破缺的动力学特征。然后，我们开发了一个两阶段深度学习流程：首先，一个基于高斯-伯努利受限玻尔兹曼机（GB-RBM）输入层构建的深度信念网络（DBN）将高维晶格快照编码为紧凑的潜在表示；随后，一个双向门控循环单元（Bi-GRU）网络处理这些潜在序列以分类四种轨迹类型。我们的贡献有三方面：（i）一个方向性轨迹集，分离了从两个稳定相逼近和偏离的四种组合；（ii）一个分层的DBN–Bi-GRU流程，通过t-SNE分析其潜在表示来分离这些模式，其中DBN提供部分分离，Bi-GRU隐藏状态实现了反映相和方向的更清晰分解；（iii）一个滑动窗口实验，其中训练好的模型沿着连续MV3轨迹实时追踪状态变化。这些结果共同表明，将无监督表示学习与循环序列建模相结合，构成了一个有原则的框架，用于表征意见系统中的临界动力学，并是迈向临界转变早期预警系统的具体一步。

## II 提出的方法与实验

为研究由多数规则支配的系统动力学，我们开发了一个五步方法论，如图1 (https://arxiv.org/html/2608.18235#S2.F1)所示：

1.  使用蒙特卡洛步（MCS）在具有周期性边界条件的晶格上模拟MV3系统，以获得给定p值下系统的静态平衡样本S(p)。
2.  训练一个DBN，以生成上一步模拟样本在最后一个隐藏层L(S(p))中的潜在表示。
3.  模拟准静态轨迹的集合，以捕捉系统的临界动力学。我们使用符号T(pₛ→pₑ)={S(pₜ)}来表示一条由一系列具有不同pₜ值的系统状态S(pₜ)组成的轨迹，从初始值pᵢ到结束值pₑ。
4.  使用DBN对轨迹T(pₛ→pₑ)进行编码，我们称之为L(pₛ→pₑ)。
5.  给定轨迹集合L(pₛ→pₑ)，训练一个GRU，通过多类监督学习在其最后一层的嵌入空间中编码其时间结构。我们将GRU潜在空间中的这些映射称为G(pₛ→pₑ)。

图1：用于分析MV3系统临界动力学的方法论。

### II-A MV3系统与训练数据集生成

我们在具有周期性边界条件的二维方形晶格上模拟三态多数投票模型（MV3），晶格包含N=28²=784个代理，每个代理i持有三种离散意见状态之一sᵢ ∈ {0,1,2}。系统的能量定义为

H(S) = ∑(i,j) δ(sᵢ, sⱼ)   (1)

其中δ是克罗内克δ函数。在每个蒙特卡洛步（MCS），代理异步更新：如果该代理的四个最近邻居持有多数意见，则该代理以概率p=1−q采纳该意见；否则，它以概率q=1−p持异议并随机假设一个状态。如果邻居中没有多数意见，代理则以相等概率采纳任一竞争状态。一个MCS对应N=784次单独的更新尝试。

用于训练DBN的静态训练数据集，每次模拟从随机构型初始化，并自由演化至少100,000个MCS以达到稳态，之后记录一个快照S(p)。此过程在广泛的p值范围内重复，覆盖亚临界（p < 0.75）、临界（0.75 ≤ p ≤ 0.85）和超临界（p > 0.85）区域。理论临界值为q_c ≈ 0.151（等效于p_c ≈ 0.849）\[11 (https://arxiv.org/html/2608.18235#bib.bib2)\]，但由于28×28晶格的有限尺寸效应，该系统观察到的临界噪声值为q_c = 0.106（或p = 0.894），在此处观察到相变，其特征是同时存在两种或三种意见状态的簇，从而产生各种极化的可能性。图2 (https://arxiv.org/html/2608.18235#S2.F2)显示了不同p值下的S(p)系统示例。为计算系统的磁化强度，我们使用复平面上的矢量求和（类似于q=3的Potts模型），而非简单的标量。因此，每个状态表示为一个二维向量。状态s₀=0对应指向右侧（0°）的向量，状态s₁=1指向左上方（120°），状态s₂=2指向左下方（240°）。磁化强度定义为：

M = (1/N) ||∑ᵢ₌₁ᴺ e^(iθᵢ)|| = (1/N) ||∑ᵢ₌₁ᴺ exp(i(2π/3)sᵢ)||   (2)

其中N=784是晶格中的代理数量。分子表示净磁化矢量的大小（欧几里得长度）。因此，当M ≈ 0时，表示代理间完全意见分歧；而当M ≈ 1时，则表示普遍认同三种状态中的一种。

参考标题

图2：不同参数p值下L²=28²=784的S(p)系统示例，从高噪声到低噪声。

### II-B 异步轨迹集生成

我们构建了一个基于物理的准静态轨迹集，旨在让学习流程充分接触到与MV3相变相关的所有动力学状态的多样性。基于轨迹的方法（而非静态快照分析）的核心动机在于，关于系统接近临界点最具诊断相关信息的载体是其时间演化，而非任何单一构型。在临界噪声q_c附近，系统的弛豫时间τ会发散，τ ∝ |q - q_c|^(-νz)，其中ν是关联长度临界指数，z是动力学临界指数\[15 (https://arxiv.org/html/2608.18235#bib.bib8), 2 (https://arxiv.org/html/2608.18235#bib.bib9)\]。这种被称为临界慢化的现象意味着，任何以有限速率穿越转变的系统，必然会在p_c附近的非平衡区域停留一段时间，其构型携带着前一相的记忆。我们的轨迹集旨在系统地采样这些非平衡过程，生成能够编码转变方向和时间特征的轨迹，而这是静态集合无法提供的。四种轨迹模式根据其相对于观测到的临界点p_c ≈ 0.894的方向和端点定义如下：

- • 模式0 — 从无序态到临界点或从无序态逼近（p: 0.5 → p_c，磁化强度增加）。
- • 模式1 — 从有序态到临界点或从有序态逼近（p: 1.0 → p_c，磁化强度降低）。
- • 模式2 — 从临界点到无序态或向无序态偏离（p: p_c → 0.5，磁化强度降低）；在...之后初始化