标签
本文系统性地解构了循环语言模型中的循环设计维度——拓扑结构、输入注入和循环状态组织，发现采用前奏-循环块-尾声三明治架构（Huginn 风格）的模型在推理与知识基准上优于 Ouro，并且其优势可迁移到常驻参数量减少 75% 的参数高效 MoE 模型上。
论文提出了三元线性注意力，它将线性注意力加以推广，通过将两个键（key）和一个值（value）的三重外积写入一个三阶张量状态，仅需两个额外投影即可实现 E 倍的状态容量提升。将其应用于 Gated DeltaNet 和标量门控线性注意力后，长上下文语言建模与召回能力均得到改善，优于其他扩大状态容量的方法。
本文建立了概率联合嵌入预测学习（JEPA）与隐马尔可夫模型（HMM）之间的理论联系，提供了状态空间解释，并引入了马尔可夫链JEPA以增强一致性。
本文发展了动力模型分叉附近梯度下降的局部理论，表明状态空间神经正切核坍缩为秩一算子，主导学习动力学，使优化有效低维且可从规范形式预测。