固定状态递归中联想记忆的解剖:匹配状态分解、干扰壁垒与破解它的课程学习
摘要
本文分解了固定状态递归网络中的联想记忆,发现卷积和课程学习对性能至关重要,并提出了针对干扰而非容量限制的干预措施。
arXiv:2609.16183v1 公告类型:新
摘要:固定状态递归——线性注意力和状态空间模型——据报道在联想记忆上落后于注意力机制,但整体架构比较无法指出哪个组件是关键。我们在固定状态预算下,沿着三个单旋钮轴分解掩蔽多查询记忆:短期因果卷积、转换结构(秩-1增量规则 vs. 对角)和衰减。卷积占主导(在匹配训练下,两个家族都约+0.5的记忆):比较无卷积单元与配备卷积的 Mamba,测量的是缺失的卷积,而非递归。秩-1转换在16/32对上比其对角消融优+0.19/+0.32,但一旦两个单元都携带卷积,差距缩小到+0.03,且状态匹配的 Mamba-2 与无武装的秩-1单元持平:没有类主张幸存。解决32对记忆的单元随负载优雅降级,但从干扰干草堆中检索4对时降至随机——在长度和转换上平坦。稀疏监督下的干扰,而非容量:距离课程将不变架构从0.021提升到1.000。训练是锁定彩票——种子要么锁定要么不——课程是杠杆。锁定率从1/10上升到7/10(p=0.02);密集监督无增加;在L=256时,形状斜坡重新打开均匀课程无法突破的边界(4/5 vs. 0/9);在L=512时,斜坡崩溃(0/6),基于测量精度门控它锁定6/6(p=0.001)。双向去噪单元,在干草堆前读取查询,未显示比因果训练(十个种子)可测量的优势,碰撞键检索需要两层。在S_5状态跟踪护栏上,为回忆武装是免费的——武装单元在每个深度上都显著更好(p<=0.0044)。这些用测量分解和两个廉价干预替代了'递归模型在记忆上很差'的说法。
查看缓存全文
缓存时间: 2026/09/16 08:43
# 固定状态循环中的关联记忆解构:匹配状态分解、干扰墙与破解课程 来源:https://arxiv.org/html/2609.16183 Julian Boesch Andrew Wee 机构:普渡大学 机构:Obit研究 通讯邮箱:[[email protected]](mailto:[email protected]) ###### 摘要 固定状态循环(线性注意力与状态空间模型)在关联记忆任务上普遍落后于注意力机制,但整体架构比较无法揭示*具体哪个组件*导致了这种差异。我们通过三个单旋钮轴——短因果卷积、状态转移结构(秩-1增量规则与对角结构)以及衰减——在固定状态预算下对掩码多查询检索进行了分解。在匹配训练条件下,卷积占主导地位,在两类模型中均提升约0.5的检索准确率;将无卷积单元与配备卷积的Mamba进行比较,实际测量的是缺失的卷积,而非循环结构本身。秩-1转移结构相比其对角消融实验在16/32对键值对上分别获得+0.19/+0.32的优势,但当两个单元均配备卷积后,该优势缩小至+0.03;在与状态匹配的Mamba-2对比中,未“武装”的秩-1单元与之持平(0.592 vs. 0.653, p=0.88),因此“秩-1>>对角”的类级论断并不成立。能解决32对检索任务的单元在负载增加时性能平缓下降,但当需要从充满干扰项的序列中检索仅4对键值对时性能骤降至随机水平——该现象在序列长度和转移类型上表现一致。其根源在于稀疏监督下的干扰,而非容量限制:一种*距离课程*可将相同架构的性能从0.021(随机水平)提升至1.000。训练过程呈现*锁定彩票*特性——初始条件要么锁定成功要么失败——而课程正是调控杠杆。通过距离课程,锁定成功率从1/10提升至7/10(p=0.02);密集监督无附加效果;在L=256时,梯度课程能突破均匀课程的瓶颈(4/5 vs. 0/9);在L=512时,时间课程本身失效(0/6),但基于测量准确率的*成功门控*梯度课程可实现6/6的锁定(p=0.001)。两项附带发现:双向去噪单元架构上能先读查询后读序列主体,但在十个种子实验中未显示优于因果训练;碰撞键检索需要两层结构。最后,为检索任务“武装”单元不会损害S5状态跟踪任务的性能——武装单元在所有测试深度(p≤0.0044)上均显著优于未武装版本。这些发现将“循环模型检索能力差”的论断替换为量化分解框架与两种低成本干预方案。 ###### 关键词: 线性注意力、状态空间模型、关联记忆、MQAR、课程学习、扩散语言模型、机器学习、ICML ## 1 引言 关联记忆——在上下文中绑定键值对并在键再次出现时检索对应值——是固定状态序列混合器最明显落后于注意力机制的核心能力维度。一系列研究使该问题精确化:合成多查询关联记忆(MQAR)将注意力机制与高效混合器分离,并能预测两者在语言建模性能差距的主要部分(Arora et al., 2023;Arora et al., 2024a),而检索能力仍然是评判循环状态保留信息能力的标准视角(Jelassi et al., 2024;Hsieh et al., 2024)。 但现代循环单元并非单一机制。例如,Mamba-2模块由*对角选择性*状态转移*加*输入依赖门控*加*短因果深度卷积构成(Gu and Dao, 2023;Dao and Gu, 2024);Gated DeltaNet模块由*秩-1增量规则*转移加可学习衰减构成(Yang et al., 2024b;Yang et al., 2024a);RWKV-7结合向量衰减与秩-1移除项(Peng et al., 2025)。因此,整体架构比较至少混淆了三个设计轴,而领域内的概括性判断(“DeltaNet类单元检索能力强”、“Mamba检索优于RNN”、“门控机制有效”)实际上是对可独立调节的多个旋钮进行了平均。近期因果干预证据进一步凸显了该问题:Mamba的归纳行为似乎源于其短卷积而非状态空间扫描(Arora et al., 2025;Parnichkun et al., 2025),但当调整学习率后,这种归因本身也存在争议(Okpekpe and Orvieto, 2025)。当前缺失的是*受控分解*:统一所有旋钮、统一测试平台、固定状态预算。 本文提出该分解框架,并利用其重新诊断两种仅靠分解无法解释的失效模式。 主要贡献: 1. 匹配状态下的检索分解及其解决的混淆问题(§4)。在固定循环状态预算(1024个状态元素;约29k参数)下,我们每次调节一个旋钮:短卷积×转移结构(秩-1 vs. 对角)×衰减。卷积是主导杠杆,跨单元族保持转移效果(增量规则+0.47,对角+0.44,K=32时),印证了Mamba检索能力源于卷积的干预证据(Arora et al., 2025;Parnichkun et al., 2025)。我们也测量了Okpekpe and Orvieto (2025)提出的学习率敏感性。秩-1转移结构相比其对角消融实验具有独立优势(K=16/32时+0.19/+0.32,10个种子,重绑定控制),但当两个单元均配备卷积后,该优势缩小至+0.034(p=0.0023),衰减的表观检索成本在20个种子下消失(p=0.86)。由此得出两项修正:将无卷积循环单元与配备卷积的Mamba比较会错误测量转移结构的贡献;装备相同卷积后,门控增量规则单元在最难的匹配设置中达到0.99。反向对比同样成立:状态与参数匹配的Mamba-2与*未武装*的秩-1单元表现相当(0.592 vs. 0.653, p=0.88),因此“秩-1>>对角”的类级论断不成立。 2. 容量与距离的区分验证(§5)。负载K导致性能平缓下降;跨越干扰项的距离则形成*检索墙*:在最短测试长度(位于训练分布内)即降至随机水平,该现象在增量规则、选择性对角和RWKV-7转移结构中一致出现,而双层注意力控制组则能以1.0准确率解决任务。结合下文课程结果,该特征将*稀疏监督下的干扰*与容量限制、衰减等循环检索失效模型区分开来(Sridhar and Johansen, 2026)。 3. 检索墙源于训练覆盖缺口,此范式训练呈锁定彩票特性(§6)。在架构不变条件下,表-查询距离课程将检索墙单元从0.021(随机水平)提升至1.000——构成存在性证明。十个种子的重复实验将归因重构为*成功率*转变并定位杠杆:仅密集监督下锁定率为1/10,而距离课程下提升至7/10(p=0.02,Fisher双侧检验);课程结合密集监督无附加效果(6/10),因果单元锁定率相似(5/10)。纯密集训练仍有一个种子完全解决任务。该方案在16倍状态(d=128)下保持可迁移性。长度更具挑战:L=256时均匀课程全面失败(0/9试验),但梯度课程实现4/5种子锁定(p≈0.005, Fisher);L=512时时间课程本身失效(0/6),而基于测量准确率的*成功门控*梯度课程实现6/6锁定(p=0.0011)。这是两种课程形态中具有显著差异的对比。 4. 双向去噪单元架构上免费实现二次读取——无测量优势(§7)。双向掩码去噪单元的反向流能先读查询再读主体序列,该前缀编码特性被Just-Read-Twice机制植入循环语言模型(Arora et al., 2024b)。碰撞键鉴别器(干扰项复用表键,可对抗任何词法写入门控)测试该特性是否带来优势。十个种子实验显示无优势:碰撞训练呈双峰锁定彩票特性(双向3/10种子成功,因果1/10;均值差异不显著p=0.63),而稳定彩票的梯度课程训练(9/10锁定)在方向性上保持严格均衡。四项发现具有鲁棒性:两个方向均可解决任务;任何解算电路需要两层结构(*标记-路由*电路,单层会崩溃);无卷积单元即使在梯度课程下也永不锁定(0/10 vs. 同方配方9/10, p≈10⁻⁴);课程形态是强大的方向无关稳定器(1/10→9/10, p≈6×10⁻⁴)。 5. 零成本护栏(§8)。为检索任务“武装”单元不会损害S5状态跟踪学习能力;十个种子实验显示武装单元在所有测试深度(L∈{2,4,8,16})均显著更优。 所有实验在刻意设计的小型无核函数消费级GPU平台运行:纯PyTorch参考单元、状态匹配的纯PyTorch Mamba-2对比单元、基于两遍Triton反向传播的无原子操作实现(可在预Volta硬件运行)(附录A)。这使得单旋钮匹配状态因子实验易于复现。代价是规模:所有结果均为玩具规模(d∈{32,128},合成任务),§9明确阐述了由此产生的局限性。 ## 2 相关工作 高效混合器中的检索能力。MQAR及其变体为解释注意力-SSM差距而引入(Arora et al., 2023),检索-吞吐量权衡驱动了一代线性注意力设计(Arora et al., 2024a;Katharopoulos et al., 2020;Schlag et al., 2021)。增量规则(Yang et al., 2024b)及其门控变体(Yang et al., 2024a)通过键条件替换明确针对检索任务;RWKV-7将转移结构泛化为对角加秩-1(Peng et al., 2025)。我们对此领域的贡献非新单元,而是*受控分解*现有组件在匹配状态下的表现,包括秩-1结构对对角消融的微弱优势未能扩展为对Mamba-2的类级优势这一否定性结论。 Mamba检索能力的来源。因果干预研究将Mamba的归纳能力定位在其短卷积(Arora et al., 2025);有效状态大小分析同样发现许多线性结构在无卷积时检索失败(Parnichkun et al., 2025)。Okpekpe and Orvieto (2025)使该归因复杂化,表明调整学习率可在无卷积情况下恢复大部分Mamba检索能力——存在可学习性混淆。我们的因子实验具备干预研究缺乏的设计(固定状态下跨单元族的单旋钮调节),尽管处于玩具规模。在匹配训练条件下,我们发现卷积贡献显著、可叠加且跨族可迁移,并直接测量了学习率敏感性(§4.2)。 长上下文检索失败。SSM族模型在“大海捞针”检索任务上的失败已有充分记录(Hsieh et al., 2024;Jelassi et al., 2024;Ben-Kish et al., 2024);现有解释包括状态容量与坍缩(Chen et al., 2024)、有限视野状态衰减(Sridhar and Johansen, 2026)以及未见长度下状态分布探索不足(Buitrago Ruiz and Gu, 2025)。我们的“检索墙”现象与这些解释存在双重差异:其特征是在*最短*测试长度即达随机水平,跨长度平稳,位于训练分布内且与转移类型无关;其解决仅需训练信号改变(§6),这是纯结构解释无法预测的。 训练侧修复。Birdie通过奖励驱动目标和混合训练程序改进SSM检索(Blouir et al., 2024);Okpekpe and Orvieto (2025)与Buitrago Ruiz and Gu (2025)将循环检索和长度泛化重构为可学习性问题;课程学习是经典方法(Bengio et al., 2009)。我们为此领域添加了最精确的检索距离论断:基于不变架构的单轴课程实现从随机到完美的存在性证明、其杠杆归因(2×2实验)及其长度边界下的失效。 扩散语言模型的循环去噪器。掩码离散扩散(Austin et al., 2021;Sahoo et al., 2024)通过构造实现双向去噪器;双向Mamba去噪器匹配Transformer DLMs(Singh et al., 2025),且存在基于RWKV骨架的块扩散(Lin et al., 2026)。Just-Read-Twice(Arora et al., 2024b)表明因果循环语言模型在查询位于上下文之前时可恢复大部分检索差距。我们的贡献在于明确关联:双向去噪器*原生*具备JRT特性,无需提示重复或定制前缀语言模型。我们补充了利用该特性的任何电路所需的深度要求(两层:标记-路由)及其明显的局部绑定要求(短卷积)。该原生特性是否比匹配的因果训练具有可测量的*优势*尚待验证:十个种子的碰撞键实验未发现显著方向性差异(§7)。 状态跟踪。对角SSM与注意力机制在群组合状态跟踪任务上存在局限,而秩-
相似文章
恒定内存检索:固定矩阵状态中的学习关联
Pebble ML 的一篇论文提出了一种小型 DeltaNet 变体,它通过固定的 token 级键偏置,在一个固定的 32 KiB 循环矩阵状态中,为每条序列学习 32 个键值对关联。即使面对冗长的填充上下文,该模型仍能实现 99.95% 的检索准确率;而参数量相当的向量基线和 Transformer 基线均无法学会该任务。
@rshia_afz: 1/ 由于状态大小固定,SSM 在召回基准测试中表现不佳。但当前模型是否真的在“明智地”存储上下文?
本文介绍了 Raven,一种新型状态空间模型(SSM),它采用选择性内存分配机制,在召回任务上达到了最先进的性能,并且相比于 SWA 等现有模型,展现出更优的长度泛化能力。
训练数据教会强化学习记忆代理什么:记忆增强问答中课程效果的实证研究
本文实证研究了训练数据的组成(课程)如何影响基于强化学习的记忆代理在多会话问答中学到的技能。研究发现,课程组成作为专业化的细粒度杠杆,混合基准测试在整体性能上表现最佳,而狭窄的域外数据集则传递了有针对性的时间推理技能。
基于稠密联想记忆的样本高效学习
该论文对在随机扩展LDPC码的码字上训练的稠密联想记忆进行了理论分析,发现了一种类似grokking的从记忆到泛化的转变现象。论文提出了一种阈值化学习规则,仅需O(log n)个训练样本即可实现样本高效学习,并能促成潜在变量表示的涌现。
课程学习推理II:组合泛化
本文从理论上分析了课程学习通过将复杂问题分解为更简单的子问题并组合解决方案,如何显著降低学习模拟顺序计算(半自动机)的样本复杂度——相较于直接方法,在监督微调中实现次多项式监督需求,并在可验证奖励的强化学习中实现指数级更弱的覆盖条件。