循环神经网络中学习诱导的动力学转变

# 学习驱动的循环神经网络动力学相变  
来源：https://arxiv.org/html/2609.19288  
Varun Vaidya  
隶属机构：美国南达科他州弗米利恩57069，南达科他大学物理系  
邮箱：[[email protected]](mailto:[email protected])  

###### 摘要  
循环神经网络中的学习能从根本上重塑其内在动力学，将初始的混沌活动转化为稳定的任务相关行为。我们发展了非平衡动力学均场理论（DMFT）来描述学习过程中的这一转变。研究表明，缓慢的反馈驱动学习过程会产生演化的有效反馈强度，推动网络经历由混沌动力学到稳定动力学的转变，该转变由DMFT解的分岔定义。通过推导整个学习过程中的双时间相关函数，我们识别出关键的反馈强度以及对应的学习率相关临界时间，该临界时间分隔了这两种状态区域。这一转变源于已学习反馈结构的增长对有效动力学景观的渐进变形。从未经训练的状态出发，理论预测了训练期间网络输出的时间演化，并与数值模拟结果展现出定量一致性。  

## 1 引言  
循环神经网络为研究复杂动力学系统如何产生灵活稳定的计算行为提供了强大框架。除了作为人工智能模型，循环网络也成为理解高维生物神经回路调控原理的重要理论模型。其中的核心问题是：学习如何改变循环网络的内在动力学，将初始不规则活动转化为能够执行特定计算任务的结构化动力学。  

随机循环网络展现出丰富的动力学行为，包括源于循环连接与非线性神经元响应相互作用的混沌活动。利用动力学均场理论的开创性工作[1 (https://arxiv.org/html/2609.19288#bib.bib1)]建立了理解这些集体动力学状态的框架，并表征了随网络参数变化的混沌与有序状态之间的转变。后续研究表明，学习可通过改变循环连接或通过学习的反馈通路显著重塑这些动力学，从而形成稳定轨迹、吸引子状态和任务相关动力学区域[2 (https://arxiv.org/html/2609.19288#bib.bib2),3 (https://arxiv.org/html/2609.19288#bib.bib3),4 (https://arxiv.org/html/2609.19288#bib.bib4),5 (https://arxiv.org/html/2609.19288#bib.bib5),6 (https://arxiv.org/html/2609.19288#bib.bib6)]。近期理论研究探讨了已学习结构如何调控训练后循环网络的动力学状态。特别是Clark等人[7 (https://arxiv.org/html/2609.19288#bib.bib7)]表明，足够强的任务相关循环重组能驱动混沌与稳定状态之间的转变。此类方法为已学习网络提供了相空间描述，确定了稳定计算成为可能的条件。然而一个关键问题仍然存在：学习本身如何动态驱动网络从一种动力学状态转向另一种状态？训练期间，网络并非平稳系统。其突触参数持续演化，改变有效循环动力学，进而影响神经活动的统计特性。因此，理解这一过程需要追踪完整的非平衡学习轨迹，而非仅刻画最终训练状态。  

本研究中，我们为经历缓慢反馈驱动学习的循环神经网络发展了动力学均场理论。我们不通过外部控制参数在动力学状态间调节，而是证明学习本身通过结构化反馈的逐步形成，产生演化的有效控制参数。这种演化的反馈动态变形了支配网络涨落的有效景观，驱动系统经历从混沌到稳定动力学的转变。  

我们分析的核心对象是神经元输出之间的完整双时间相关函数，它捕捉了学习过程的非平稳特性。基于动力学均场理论[1 (https://arxiv.org/html/2609.19288#bib.bib1)]的双时间相关与响应形式体系，我们运用此描述追踪长时间相关的涌现，并识别出关键反馈强度及对应的学习率相关临界时间——在此时间点动力学状态发生改变。研究表明，这一转变对应有效动力学景观的质变，其中已学习反馈的演化驱动系统跨越临界点。定量上，这对应于DMFT解的分岔。我们发现学习过程中，双时间相关函数展现出快速混沌弛豫与相关平台缓慢演化之间的分离，使得学习轨迹可描述为底层动力学状态的缓慢变形。  

除刻画转变本身外，我们的理论预测了整个学习过程中网络输出的演化。从动力学均场方程获得的预测与数值模拟展现出定量一致性，证明该理论既捕捉了瞬态学习动力学，也反映了最终稳定计算状态的涌现。  

本文组织结构如下：第2节(https://arxiv.org/html/2609.19288#S2)介绍循环神经网络的缓慢反馈驱动学习模型；第3节(https://arxiv.org/html/2609.19288#S3)和第4节(https://arxiv.org/html/2609.19288#S4)发展该系统的DMFT分析；第5节(https://arxiv.org/html/2609.19288#S5)推导训练期间系统的时间演化；第6节(https://arxiv.org/html/2609.19288#S6)与模拟结果对比；第7节(https://arxiv.org/html/2609.19288#S7)给出结论与展望。  

## 2 循环神经网络的学习模型  
考虑一个由\(N\)个相互作用单元组成的循环神经网络，其动力学由以下方程支配：  

\[\tau_c \dot{x}_i(t) = -x_i(t) + \frac{g^2}{2} \sum_{j=1}^N J_{ij} \phi(x_j(t)) + \sum_\mu W_i^{fb} y(t) \tag{1}\]  

其中\(x_i(t)\)表示神经元\(i\)的活动，\(\phi(x)\)是非线性激活函数，\(J_{ij}\)代表循环连接。\(\tau_c\)是储备池动力学的特征时间尺度。本文中我们采用标准激活函数\(\phi(x) = \tanh x\)。循环耦合系数从均值为零、方差为\(1/N\)的高斯分布中抽取，我们分析该集合的统计特性。  

网络通过低维读出产生任务相关输出：  

\[y(t) = \sum_i w_i^{out}(t) \phi(x_i(t)) \tag{2}\]  

这些输出通过反馈投影\(W_i^{fb}\)馈入循环网络，该投影同样来自均值为零、方差为\(\sigma_{fb}/\sqrt{N}\)的高斯分布。从读出到循环储备池的反馈是闭环储备计算与基于FORCE的循环网络[8 (https://arxiv.org/html/2609.19288#bib.bib8),4 (https://arxiv.org/html/2609.19288#bib.bib4),9 (https://arxiv.org/html/2609.19288#bib.bib9)]的标准架构，它使循环网络能够自主生成学习的轨迹和复杂的时间动力学。本文采用此架构作为生物合理机制，通过该机制任务相关信息可在学习过程中渐进重塑循环动力学。从生物学视角，反馈可更广义地解释为调节持续神经活动并传递任务相关信息的自上而下信号[10 (https://arxiv.org/html/2609.19288#bib.bib10),11 (https://arxiv.org/html/2609.19288#bib.bib11),12 (https://arxiv.org/html/2609.19288#bib.bib12)]。  

模型的核心特征是读出权重根据学习规则缓慢演化。我们考虑反馈驱动的学习过程，其中读出依据期望目标信号\(y^*(t)\)与生成输出之间的差异进行修改：  

\[e(t) = y^*(t) - y(t) \tag{3}\]  

突触适应遵循：  

\[\dot{w}_i^{out}(t) = \frac{1}{N} \alpha \, e(t) \, \phi(x_i(t)) \tag{4}\]  

其中\(\alpha \ll 1/\tau_c\)设定了相对于内在神经动力学的慢学习时间尺度。这种时间尺度分离允许循环活动在缓慢演化的突触参数给定值下快速弛豫，而学习则渐进重塑网络的有效动力学。  

本研究的目的不仅是确定最终学习输出，更要理解网络动力学状态如何在学习过程中演化。初始时，随机循环网络表现出混沌涨落。随着反馈通路通过学习变得日益结构化，它会改变循环系统的有效动力学。因此，我们研究由神经活动与突触参数耦合演化产生的非平衡学习轨迹。表征此演化的核心对象是双时间相关函数：  

\[C(t,s) = \frac{1}{N} \sum_i \phi(x_i(t)) \phi(x_i(s)) \tag{5}\]  

它捕捉了学习过程的非平稳动力学。与平衡或完全训练分析中相关性仅依赖于时间差\((t-s)\)不同，学习产生的系统其统计特性随时间演化。这种双时间结构使我们能追踪从混沌状态涌现的长时间相关性，以及训练期间动力学状态之间的转变。  

## 3 无序平均与DMFT分析  
应用于随机神经网络[16 (https://arxiv.org/html/2609.19288#bib.bib16)]的MSRJD路径积分框架[13 (https://arxiv.org/html/2609.19288#bib.bib13),14 (https://arxiv.org/html/2609.19288#bib.bib14),15 (https://arxiv.org/html/2609.19288#bib.bib15)]引入响应场\(\tilde{x}_i(t)\)，通过生成泛函以路径积分形式编码动力学：  

\[Z = \int \prod_i \mathcal{D}x_i \mathcal{D}\tilde{x}_i \; \exp\Bigg\{i \sum_i \int dt \, \tilde{x}_i(t) \Big[ \tau \dot{x}_i(t) + x_i(t) - \sum_j \left( g^2 J_{ij} + W_i^{fb} w_j^{out} \right) \phi(x_j(t)) \Big] \Bigg\} \tag{6}\]  

响应场\(\tilde{x}_i(t)\)在生成泛函内强制执行微观运动方程。我们可以利用分布  

\[P(J_{ij}) = \frac{1}{\sqrt{2\pi N}} \exp\left\{ -\frac{N}{2g^2} J_{ij}^2 \right\}, \quad P(W_i^{fb}) = \frac{\sigma_{fb}}{\sqrt{2\pi N}} \exp\left\{ -\frac{N}{2\sigma_{fb}^2} (W_i^{fb})^2 \right\} \tag{7}\]  

对网络参数\(J_{ij}, W_i^{fb}\)进行集合平均。依据附录A[https://arxiv.org/html/2609.19288#A1]详述的推导，这导出有效单神经元方程：  

\[\tau_c \dot{x}_i(t) + x_i(t) = \eta_i(t) \tag{8}\]  

其中\(\eta_i(t)\)是满足高斯统计的有效噪声项，由有效作用量编码：  

\[S_{\text{eff}} = -\frac{1}{2} \int dt ds \sum_i \eta_i(t) \bar{C}^{-1}(t,s) \eta_i(s) \tag{9}\]  

此处关联函数\(\bar{C}(t,s)\)定义为：  

\[\bar{C}(t,s) = \frac{g^2}{N} \sum_i \langle \phi(x_i(t)) \phi(x_i(s)) \rangle + \frac{\sigma_{fb}^2}{N} \langle y(t) y(s) \rangle \tag{10}\]  

\[\equiv g^2 C(t,s) + \frac{\sigma_{fb}^2}{N} \langle y(t) y(s) \rangle\]  

该关联函数通过此作用量自洽确定。在大\(N\)极限下可进一步简化，注意  

\[\langle y(t) y(s) \rangle = \sum_{i,j} \langle w_i^{out}(t) w_j^{out}(s) \phi(x_i(t)) \phi(x_j(s)) \rangle \tag{11}\]  

由于\(w_i^{out}\)自身通过方程4(https://arxiv.org/html/2609.19288#S2.E4)演化，且该方程正比于第\(i\)个神经元的活动，而大\(N\)极限下不同神经元的互相关被抑制，演化的主导贡献为\(\langle y(t) \rangle \langle y(s) \rangle\)。因此关注对象转为\(\langle y(t) \rangle\)。给定方程3(https://arxiv.org/html/2609.19288#S2.E3)和4(https://arxiv.org/html/2609.19288#S2.E4)，可写出：  

\[w_i^{out}(t) = \frac{\alpha}{N} \int_0^t ds \left( y^*(s) - y(s) \right) \phi(x_i(s)) \tag{12}\]  

于是  

\[\langle y(t) \rangle = \frac{\alpha}{N} \int_0^t ds \sum_i \langle \left( y^*(s) - y(s) \right) \phi(x_i(s)) \phi(x_i(t)) \rangle \tag{13}\]  

在大\(N\)极限下简化为  

\[\langle y(t) \rangle = \alpha \int_0^t ds \left( y^*(s) - \langle y(s) \rangle \right) C(t,s) \tag{14}\]  

显然，要获得封闭方程组，还需\(C(t,s)\)的演化方程，这可由其定义及\(\eta_i(t)\)随作用量(方程9 https://arxiv.org/html/2609.19288#S3.E9)演化的事实推导。  

此后设\(\tau_c = 1\)，所有时间尺度均以\(\tau_c\)为单位度量。形式上，方程8(https://arxiv.org/html/2609.19288#S3.E8)可解为：  

\[x_i(t) = \int^t dt' \exp\{ t' - t \} \eta_i(t) \tag{15}\]  

利用此结果，可定义神经元活动的自相关函数\(\Delta(t,s)\)：  

\[\Delta(t,s) \equiv \langle x_i(t) x_i(s) \rangle = \int^t dt' \exp\{ t' - t \} \int^s ds' \exp\{ s' - s \} \langle \eta_i(t) \eta_i(s) \rangle \tag{...}\]