Controlled Dynamics Attractor Transformer

# 受控动力学吸引子Transformer（Controlled Dynamics Attractor Transformer）
来源：https://arxiv.org/html/2606.15207

###### 摘要

Transformer架构通过自注意力机制在深度模型的表示学习和推理中取得了显著进展。与此同时，联想记忆框架将表示映射到能量景观上，提供了可解释的检索机制。然而，其连续时间推理动力学缺乏经典连续吸引子神经网络（CANN）的生物合理性。为了弥合这一差距，我们提出了**受控动力学吸引子Transformer（CDAT）**，它将混合von Mises–Fisher注意力能量与Hopfield精炼能量相结合，同时通过受CANN启发的兴奋–抑制调制来增强能量下降过程。CDAT实例化了一个拓扑约束的动力系统，其耦合编码了token之间的关系结构，从而将吸引子式动力学与现代能量基注意力联系起来。我们进一步提供了一种建设性的耗散分析，以正式建立其受控推理动力学。受益于这些鲁棒且结构化的动力学，CDAT在图异常检测和图分类的多个基准上实现了最先进的性能。

Transformer，能量基模型，Hopfield网络，吸引子神经网络，图异常检测

## 1 引言

Transformer式的注意力已成为现代深度网络中信息路由的基石。然而，在以噪声观测、对抗扰动和复杂关系依赖为特征的实际场景中，token表示的更新动力学往往显得脆弱。小的偏差会通过重复交互传播和放大，导致轨迹漂移至虚假状态，而全局混合则会冲淡局部有意义的结构（Davis等，2021）。这引出了一个与块级启发式方法大致正交的问题：我们能否显式地为注意力驱动的表示更新赋予稳定性和吸引性的概念，确保迭代推理可靠地收敛到有意义的状态，而不仅仅是产生前馈输出？

从认知科学和神经计算中的吸引子动力学中自然可以找到一种解决方案。联想（语义）记忆解释了生物系统如何从部分线索中鲁棒地恢复潜在内容（Krotov和Hopfield，2016，2021）——这种行为在计算上被建模为内容寻址记忆。在此过程中，通过将神经活动演化到稳定状态（Hinton和Anderson，2014；Rolls，2013；Tsodyks和Sejnowski，1995），从退化查询中重建完整模式。这一观点建议将表示学习建模为一个迭代的状态演化过程，该过程松弛到由全局目标塑造的稳定吸引子。

联想记忆（AM）模型的现代进展使这种联系变得具体。Hopfield网络及其稠密/连续变体提供了由显式能量函数控制的循环动力学，而最近的结果揭示了softmax注意力是这些模型的一个特例（Ramsauer等，2021；Bricken和Pehlevan，2021）。从这个角度来看，稳定性是内在的而非偶然的：全局能量景观的存在对允许的操作和参数对称性施加了严格的约束，从而在理论上保证了前向计算的收敛性（Saha等，2023）。

此外，能量Transformer（ET）通过从一个任务定制的能量函数出发并将迭代的Transformer式块推导为该能量最小化的结果，来实现这一原则（Hoover等，2023）。ET不是堆叠许多传统块，而是在单个基于能量的块内迭代token表示直至（近似）收敛，从而将推理转化为一个可解释的动力系统，可以通过随时间变化的更新方向来检查。

我们设计的一个关键动机源于离散吸引子模型的局限性。经典的Hopfield型网络在有限模式集上的鲁棒检索方面表现出色（Amit等，1985；Amit，1989），但它们的盆地将记忆坍缩为孤立的点吸引子，这在潜在因素连续变化时变得受限。连续吸引子神经网络（CANN）提供了一种互补的视角：在近似对称的相互作用下，它们维持稳定且沿低维流形平滑漂移的活动轮廓（Amari，1977；Samsonovich和McNaughton，1997；Mi等，2014）。然而，在结构化设置中，关系相互作用（*例如*，图拓扑）通常是异质的（Hamilton等，2017），使得流形观点仅是近似的。实际上，动力学通过吸收关系信息，仍然收敛到离散稳定状态，产生与数据几何更对齐的盆地，从而提高鲁棒性和检索质量。

因此，我们通过一种受CANN启发的调制将CANN机制注入到现代Hopfield型联想记忆中，该调制在结构调制反馈下实现局部激发和全局抑制。目的不是强制实现一个字面上的连续吸引子流形，而是重塑能量景观及其诱导的轨迹，使得产生的离散吸引子更具拓扑意识且不易陷入虚假收敛。更广泛地，这种调制引入了对吸引子动力学的新控制接口：我们不再将推理视为纯粹沿能量负梯度的单调下降（Hoover等，2023），而是暴露了额外的、有原则的自由度来引导、阻尼和稳定状态演化。这挑战了联想记忆动力学仅需由能量下降驱动的传统观点（Hopfield，1982；Ramsauer等，2021），并将我们的框架定位为更具表现力和可控性的迭代推理平台。

在本文中，我们提出了受控动力学吸引子Transformer（CDAT），这是一个基于能量的Transformer框架，具有更清晰的计算角色划分和更可控的吸引子几何。CDAT集成了两个互补的能量组件——用于粗略方向对齐和精细原型检索——以及一个受CANN启发的调制机制（Hamilton等，2017；Wu等，2021）。该设计明确稳定了吸引子几何，防止其陷入虚假状态，同时保持结构保真度。如图1所示，该机制使CDAT能够逃离标准能量下降方案所困的虚假局部最小值。具体来说，我们的主要贡献有三点：

- •我们提出了CDAT，这是一个基于能量的Transformer框架，它开发了一种受CANN启发的结构感知调制机制。通过将其与显式稳定相结合，我们实现了超越朴素能量下降的可控吸引子动力学。由此产生的拓扑诱导吸引子抑制了虚假状态和振荡，提高了标准图基准的鲁棒性。此外，我们提供了一种耗散分析，证明系统动力学单调地最小化能量泛函并收敛到稳定的不变集。
- •通过操作化自注意力与von Mises–Fisher混合分布（Mo–vMF）之间的等价性，我们制定了一个Mo–vMF能量，用于在方向特征空间中驱动快速、粗略的语义对齐。这与一个用于后期原型检索和锐化的Hopfield精炼能量相结合，沿着松弛轨迹建立了清晰的计算角色划分。
- •我们通过实验证明，CDAT在图异常检测和分类的多个基准上实现了最先进的性能。它持续优于强大的能量基基线，验证了我们的受控动力学显著增强了结构可判别性和抗噪声检测稳定性。

参见图注

图1：CDAT动力学。该图展示了能量景观上的表示轨迹。负梯度基线（黑色虚线）陷入虚假局部最小值，而CDAT（紫色）通过自抑制（红色，将状态从浅陷阱中推开）和拓扑感知聚合（灰色，用结构先验引导状态）达到全局最小值。

## 2 相关工作

#### 联想记忆模型。

稠密联想记忆网络可视为经典Hopfield网络的一个强大泛化。它们通过基于能量的联想记忆机制将Hopfield型动力学嵌入深度网络，从而定义了一个连续的人工循环神经网络，其状态由一个向量表征，随时间根据非线性更新规则演化（Millidge等，2022；Hoover等，2024；Hu等，2023）。在此框架中，每个存储的模式以一种遵循特定统计模型的方式对状态（或粒子）施加“力”。超越经典离散Hopfield记忆的容量限制（Hopfield，1982），稠密变体通过使用快速增长的非线性/高阶相互作用显著增加了记忆容量并加强了模式补全（Krotov和Hopfield，2016；Demircigil等，2017；Lucibello和Mézard，2024），而理论分析进一步刻画了大容量区域（Krotov和Hopfield，2021；Hu等，2024）。这些进展激励我们通过吸引子记忆的视角来审视表示学习；CDAT建立在此观点上，但目标是可控且结构感知的吸引子几何，用于迭代推理。

#### 基于能量的Transformer与迭代推理。

基于能量的自注意力将Transformer块重新解释为一个可微分的动力系统，该系统最小化一个全局能量函数（Ramsauer等，2021）。token不是在单步加权和中计算，而是在能量景观中自洽演化，反映内部信息流和系统向平衡的松弛。这一观点将注意力与现代Hopfield检索联系起来（Ramsauer等，2021；Bricken和Pehlevan，2021；Sun等，2025；Wu等，2025），并激发了通过在块内迭代直至（近似）收敛来执行推理的架构（Du等，2022；Hoover等，2023）。相关地，联想记忆动力学已被用作一个端到端可微的求解器，用于聚类等原型风格的目标（Saha等，2023）。CDAT遵循这种迭代推理范式，但引入了一个双能量分解（Mo–vMF对齐 vs. Hopfield精炼）和一个拓扑条件调制，以改善在异质关系交互下的收敛性。

#### 连续吸引子与兴奋–抑制机制。

具有局部激发和全局抑制的神经场模型可以维持连续吸引子（Amari，1977；Wu等，2016；Chandra等，2025）。额外的机制如尖峰频率适应可以增强跟踪行为并调节吸引子动力学（Mi等，2014）。CDAT将兴奋–抑制作为依赖结构的调制来重塑吸引子盆地并抑制虚假收敛，而不需要精确的连续吸引子流形。

## 3 Token更新的CDAT动力学

在本节中，我们将CDAT形式化为一个连续时间动力系统。从能量梯度驱动开始，我们通过受CANN启发的兴奋–抑制动力学来增强轨迹，以实现拓扑感知调制。我们通过一个轨迹存储泛函为所提出的动力学建立了耗散证书，并通过一阶Euler步对生成的常微分方程（ODE）进行离散化，得到CDAT更新规则。所使用的具体语义能量在第4节中定义，CDAT的整体架构如图2所示。

参见图注

图2：CDAT的整体架构。

### 3.1 能量引导的梯度流

联想记忆（AM）模型通过将显式能量函数与吸引子动力学配对来实现内容寻址检索（Krotov和Hopfield，2021；Millidge等，2022）：能量的最小值对应稳定的记忆，推理通过将状态驱动向低能量吸引子进行。秉承同样的能量基推理精神，我们将token精炼视为在能量景观上的连续时间*状态演化*。在\(D\)维欧氏空间中，考虑状态\(\mathbf{x}=(x_1,\cdots,x_D)\in\mathbb{R}^D\)及其层归一化输出\(\mathbf{g}=(g_1,\cdots,g_D)\in\mathbb{R}^D\)。特别地，令\(E:\mathbb{R}^{N\times D}\to\mathbb{R}\)是该归一化状态矩阵\(G=[\mathbf{g}_1,\cdots,\mathbf{g}_N]^\top\in\mathbb{R}^{N\times D}\)上的可微能量函数。吸引子动力学通过在潜空间中指定\(d\mathbf{x}/dt\)来控制\(\mathbf{x}\)的轨迹；在单调能量下降（即\(dE/dt<0\)）下，它保证稳定收敛到能量景观的局部最小值。我们将其写为梯度流ODE：

\[
\tau\frac{d\mathbf{x}}{dt}=-\nabla_{\mathbf{g}}E,
\]
其中\(\tau>0\)设置时间尺度，较低的能量对应更兼容的配置。这建立了一个有原则的基线动力学，我们在下一小节将在此基础上引入受控的兴奋–抑制调制。

参见图注

图3：动力学演示。