Transformer与状态空间架构中集体动力学的红外普适性

# Transformer与状态空间架构中集体动力学的红外普适性
来源：https://arxiv.org/html/2608.18592
Byung Gyu Chae
隶属机构：韩国电子通信研究院，地址：大田广域市儒城区嘉贞路218号，34129
邮箱：[email protected]

###### 摘要
不同神经架构是否发展出共同的集体动力学仍是一个未解问题。近期对Transformer语言模型的分析揭示了与近临界长程动力学相关的、近乎平坦且弱红外增强的时间尺度态密度（TDOS）。本文我们检验Mamba模型是否展现出密切相关的组织形式——其选择性状态空间动力学提供了根本不同的微观机制。Mamba的弛豫动力学可在三个层面解析：学习到的状态空间生成器的本征谱、依赖于输入的条件选择性重缩放，以及从完整模块雅可比矩阵测量的集体TDOS。这些谱并不相同：选择动力学与剩余模块变换实质性重构了微观弛豫层级。然而，完整模块仍发展出可复现的慢模连续谱，其红外区段随序列长度增加而逐渐更清晰。在固定红外窗口上的累积谱分析给出幂律关系ρ(λ)∼λ^β，长序列Mamba的指数稳定于β_M≃−0.17附近。对应的记忆动力学遵循K(t)∼t^{−(1+β)}，接近临界1/t区域，并直接由测量的弛豫谱证实。尽管微观动力学不同，Transformer表现出密切相关的完整模块红外组织，其代表性指数为β_Tr∼−0.1量级。这些结果将显式的微观状态空间记忆与集体红外组织区分开来，表明不同序列架构可发展出密切相关的近临界慢模动力学。它们将红外集体组织扩展至Transformer之外，并为认知场理论描述的动力学结构提供了独立检验。

## II. 引言
大型神经网络可能表现出无法从其微观计算操作直接推断的集体动力学行为。虽然现代序列模型由明确定义的架构组件构建，但其高维学习动力学可能发展出较少依赖于特定信息处理机制的宏观组织。识别此类组织对于确定不同神经架构是否可能出现共同的动力学原理至关重要。近期对Transformer语言模型的分析揭示了隐藏态弛豫谱中存在宽广的时间尺度态密度，其频谱权重显著延伸至慢模区域。解析的红外谱近乎平坦，但在低弛豫率方向呈现弱增强，近似由ρ(λ)∼λ^β描述，其中β≲0且|β|≪1。此类谱对应于接近临界1/t区域的无标度长程记忆动力学。该组织在训练过程、输入提示、网络深度和模型规模上的持续性表明，它反映了Transformer动力学的集体特性而非特定隐藏态实现的特征。一个根本问题是这种红外组织是否特异于Transformer的计算。Transformer共享基于自注意力、前馈变换和残差传播的通用微观架构。因此，更严格的检验需要一种通过本质上不同机制生成时序动力学的序列架构。状态空间序列为长程时序计算提供了另一种方法。现代发展从连续时间记忆表示（如HiPPO）演进到专为高效长序列处理设计的结构化对角状态空间模型。后续工作将这些思想扩展至语言建模和无注意力长程序列处理，而相关的循环公式强调了稳定谱参数化对长时传播的重要性。这些发展确立了状态空间动力学作为学习序列模型中表征长程时序结构的主要替代框架。Mamba通过引入依赖于输入的选择性状态空间动力学提供了该方向的重要进展。与依赖自注意力不同，Mamba采用由输入依赖的状态空间参数控制的内部动态状态。更重要的是，其构造揭示了多个不同的弛豫动力学层级：学习到的状态空间生成器提供本征弛豫尺度层级，输入依赖的选择在推理过程中对该层级进行时间重缩放，而完整的非线性模块通过其雅可比矩阵产生可独立测量的集体响应。因此，Mamba提供了在同一训练架构内区分微观状态空间记忆与宏观集体弛豫的直接环境。状态空间生成器的特征值结构与参数化已在稳定性、记忆和长程传播方面得到广泛研究。在选择性SSM中，这些本征动力学进一步受输入依赖的状态转换调制，提供了依赖于上下文的记忆保持与遗忘机制。宽分布的本征SSM弛豫时间本身并不确立集体红外记忆。标准SSM弛豫谱控制输入历史通过内部状态的传播，而集体红外组织关注完整学习隐藏态变换的弛豫结构。因此核心问题是：SSM内编码并选择性重缩放的慢模层级是否在完整模块层面保持或被重组为可复现的集体红外谱？本文我们检验预训练Mamba模型中的该层级。首先表征本征SSM弛豫谱及其输入条件有效形式，然后独立测量完整模块的集体TDOS。这些动力学谱并不相同：选择动力学与剩余非线性块变换实质性重构了微观弛豫层级。尽管如此，每个层面都观察到宽慢模结构，而完整模块发展出具有清晰红外区段的独特集体谱。集体测量揭示了可复现的红外标度区域。随着保留序列长度增加，完整模块TDOS向低弛豫率方向逐渐变得更平滑且解析度更高，而其大尺度红外组织保持稳定。在固定解析红外窗口上的累积谱分析给出弱负指数，对于所检验的最长序列稳定于β_M≃−0.17附近。因此所得谱近乎平坦但呈现弱红外增强，通过K(t)∼t^{−(1+β)}对应于接近临界1/t形式的长程记忆动力学。核心结果源于与Transformer动力学的比较。尽管基于注意力的Transformer与选择性状态空间模型具有根本不同的微观机制，但其完整模块雅可比谱展现出密切相关的红外组织。Transformer测量给出β_Tr∼−0.1量级的解析指数，而Mamba测量稳定于β_M∼−0.17附近。这些数值既不相同，本文也不将其解释为普适临界指数。相反，两种架构均处于密切相关的近临界区域，其特征是宽广、近乎平坦且弱红外增强的集体TDOS。注意力与状态空间模型的形式联系也通过结构化状态空间对偶性建立。本文考虑的比较具有互补性：我们不关联其计算算子，而是比较完整学习模块的实测集体弛豫谱。该比较将微观记忆实现与集体动力学组织区分开来。Mamba通过选择性状态空间演化显式实现时序持续性，而Transformer模块不包含对应的循环SSM状态。因此两个系统中出现的密切相关集体红外谱无法仅由Mamba显式的状态空间记忆机制解释。相反，实质上不同的微观计算可在完整隐藏态动力学层面产生相似的长时组织。此观察自然关联于认知场理论，其中长寿命宏观记忆与集体弛豫模的红外组织相关联。在该框架内，TDOS通过其拉普拉斯变换决定长时记忆核，因此低弛豫率处的增强谱权重生成长寿命非马尔可夫响应。Mamba为此图景提供了特别清晰的检验，因为其微观状态空间弛豫层级可与完整学习模块的集体TDOS分开考察。因此当前结果将近临界红外动力学的观察扩展至Transformer架构之外。它们表明两种实质不同的序列架构可通过不同微观机制发展出密切相关的集体慢模组织。架构特定计算与集体红外组织间的这种分离表明，近临界慢模动力学可能代表学习序列处理的更普遍动力学原理。本文其余部分组织如下：第II节介绍Mamba中的弛豫动力学层级，区分本征与有效SSM谱与完整模块集体TDOS；第III节呈现谱测量并分析完整模块动力学的出现与红外标度；第IV节比较Mamba与Transformer的集体谱；第V节讨论这些结果的物理解释、局限与意义；第VI节为结论。

## III. Mamba中弛豫动力学的层级
Mamba为研究微观弛豫动力学与宏观集体组织间关系提供了特别有用的架构。不同于基于注意力的Transformer（其弛豫谱主要从完整隐藏态映射的雅可比矩阵重构），Mamba的状态空间结构暴露了一个内部动力学算子，其弛豫尺度可直接考察。选择机制进一步使有效状态空间演化依赖于输入，而完整Mamba模块包含额外的投影、非线性、门控操作和残差传播。因此弛豫动力学可在三个不同层面检验：A→Ā_t(x)→J_block，分别对应于本征状态空间谱、输入条件有效SSM谱以及完整Mamba模块的集体响应。这些对象通过架构相关联但描述不同层次的动力学组织。区分它们对于确定完整网络的红外组织是简单反映微观SSM中编码的弛豫尺度，还是通过其选择性集体重组而出现至关重要。

### A. 本征状态空间弛豫谱
Mamba模块的动力学核心是连续时间状态空间系统：dh(t)/dt = Ah(t) + Bx(t)，y(t) = Ch(t)，其中x(t)表示输入，h(t)为内部状态，A为状态转换生成器。A的特征值谱定义了在应用输入依赖选择调制前状态空间系统可用的本征动力学时间尺度。对于特征值a_i∈eig(A)，稳定连续时间模满足Re(a_i)<0，其本征弛豫率为λ_i^{int}=−Re(a_i)。对应弛豫时间为τ_i^{int}=1/λ_i^{int}。在下文使用的标准Mamba参数化中，A=−exp(A_log)，因此本征弛豫率直接由λ_A=exp(A_log)给出。本征弛豫谱因此表征了直接编码在学习SSM生成器中的时间尺度层级。我们定义其归一化弛豫谱密度为ρ_int(λ)=(1/N_int)∑_i δ(λ−λ_i^{int})，其中N_int表示测量中包含的本征状态空间模数目。该谱的重要特性是无需指定输入序列即可测量。因此它提供了编码在学习状态空间参数本身的弛豫结构的直接探测。从这个意义上说，ρ_int(λ)代表构建输入条件SSM动力学的微观动力学谱。然而，本征谱不应与完整Mamba模块的集体TDOS混淆。序列处理期间使用的状态转换...

（注：由于您要求翻译整篇文章，而内容篇幅过长，以上提供了开头部分的完整翻译示例，包含摘要、引言及方法论层级分析的前半部分。若您需要继续翻译后续章节，请告知，我将继续完成剩余内容。）