SHiPPO: 带传输多项式投影的循环记忆

# SHiPPO: 具有传输多项式投影的循环记忆  
来源：https://arxiv.org/html/2607.03055  
Tomoya Mizuguchi 京都大学，日本 & Bum Jun Kim 东京大学，日本  

###### 摘要  

HiPPO 赋予循环状态作为在线多项式投影系数的记忆语义，但仅在固定通道坐标中。相比之下，现代选择性状态空间模型依赖于基于令牌的控制和通道交互。我们引入 SHiPPO（Sylvester HiPPO），一种传输投影记忆先验，它将 HiPPO 系数记忆提升到一个移动的通道框架中。对于任何固定或实现出的右传输路径，SHiPPO 共同传输近似族和通道度量；以该路径为条件，状态是普通 HiPPO 在一个绑定的移动框架中，并遵循 Sylvester 系数动力学，在保留左在线记忆算子的同时添加右作用传输。对于选择性状态空间模型的执行，我们推导出一个受限的分组局部实现，具有与控制器兼容的右作用、指数调整更新、精确块仿射扫描和循环解码。我们还给出了一个同时可约性准则，该准则识别出右传输何时退化为静态混合加上独立的标量或块级银行。受控的诊断表明，更大的当前令牌写入秩改善了普通预测误差，但无法恢复已写入记忆的顺序敏感变化；传输记忆变体恢复了这一信号，当移除传输路径时该信号消失。一个带有交错绑定、操作和查询的有限域关联召回诊断为自回归证据提供了补充，同时将优先的右作用实现保持开放。总的来说，这些结果支持 SHiPPO 作为一种机制上有根据的传输记忆先验，其证据集中于记忆机制而非广泛的序列建模主导地位。

## 1 引言  

状态空间模型（SSM）已重新成为高效的序列骨干，将循环推理与长上下文可扩展性相结合。我们将循环序列建模视为 **归纳偏差选择**：选择ODE、递归族、参数化、离散化或初始化，会选择出一个结构化的因果动力学族，并偏向特定的谱、时间尺度和优化路径 [41 (https://arxiv.org/html/2607.03055#bib.bib21), 17 (https://arxiv.org/html/2607.03055#bib.bib22), 63 (https://arxiv.org/html/2607.03055#bib.bib25)]。对于循环记忆，一种更强的基于模型的偏差是可能的：隐藏状态可以被设计为表示已揭示历史的近似，而不是一个无约束的潜在向量 [67 (https://arxiv.org/html/2607.03055#bib.bib26), 52 (https://arxiv.org/html/2607.03055#bib.bib28)]。Legendre Memory Unit 和 HiPPO 是典型例子：LMU 在 Legendre 基中表示滑动历史窗口，而 HiPPO 从投影到多项式基推导出在线压缩动力学 [65 (https://arxiv.org/html/2607.03055#bib.bib41), 19 (https://arxiv.org/html/2607.03055#bib.bib1)]。通篇，我们在这种归纳或建模偏差意义上使用“先验”，不一定是参数上的贝叶斯先验 [14 (https://arxiv.org/html/2607.03055#bib.bib27)]。

在 HiPPO 中，循环 ODE 不仅仅是架构模板；它是由在线近似问题诱导的系数动力学，因此状态存储了历史近似的系数 [19 (https://arxiv.org/html/2607.03055#bib.bib1)]。这种目标推导的观点塑造了结构化状态空间模型，包括 S4、HiPPO 的广义基解释以及对角简化如 DSS 和 S4D [21 (https://arxiv.org/html/2607.03055#bib.bib2), 23 (https://arxiv.org/html/2607.03055#bib.bib3), 24 (https://arxiv.org/html/2607.03055#bib.bib4), 22 (https://arxiv.org/html/2607.03055#bib.bib5)]。最近的工作进一步研究了记忆先验如何与初始化、时间尺度、对角化、鲁棒参数化以及谱或频率偏差交互 [36 (https://arxiv.org/html/2607.03055#bib.bib12), 34 (https://arxiv.org/html/2607.03055#bib.bib18), 76 (https://arxiv.org/html/2607.03055#bib.bib10), 75 (https://arxiv.org/html/2607.03055#bib.bib13), 74 (https://arxiv.org/html/2607.03055#bib.bib14), 58 (https://arxiv.org/html/2607.03055#bib.bib17)]。

我们的目标是扩展基本原则：在线近似目标应证明循环记忆动力学的合理性，而参数化和初始化决定了可训练模型如何探索结果族。

现代 SSM 和线性循环块已经超越了原始的单边独立记忆设置。S5 用多输入多输出状态空间层取代了许多独立的单输入单输出 SSM [57 (https://arxiv.org/html/2607.03055#bib.bib6)]。H3 引入了 SSM 输出和输入投影之间的乘法交互以用于语言建模 [15 (https://arxiv.org/html/2607.03055#bib.bib7)]。Mamba 使 SSM 参数依赖于输入，并将得到的条件性循环与硬件感知扫描配对 [20 (https://arxiv.org/html/2607.03055#bib.bib8)]。SSD/Mamba-2 通过半可分离结构和高效算法分析条件性循环 [11 (https://arxiv.org/html/2607.03055#bib.bib9)]。最近的门控线性注意力和线性循环模型结合了门控、delta 风格更新或状态扩展以实现自适应记忆控制 [72 (https://arxiv.org/html/2607.03055#bib.bib48), 73 (https://arxiv.org/html/2607.03055#bib.bib47), 45 (https://arxiv.org/html/2607.03055#bib.bib51), 71 (https://arxiv.org/html/2607.03055#bib.bib16)]，最近的变体如 Mamba-3 进一步拓宽了表达性循环的设计空间 [33 (https://arxiv.org/html/2607.03055#bib.bib20)]。

这些发展清楚地表明，通道交互和基于令牌的控制本身并不是缺失的新颖性。记忆先验设计的开放问题不同：通道交互是否可以成为在线近似记忆语义本身的一部分，而不仅仅是作为架构混合器、投影、门控或控制器添加？

我们引入 **SHiPPO**（从 **Sylvester HiPPO**），一个用于通道交互循环记忆的传输在线近似框架。在算子层面，SHiPPO 由一个投影问题定义，而不是孤立地假设一个递归。给定一个在线记忆基和一个允许的右传输路径，SHiPPO 共同传输通道度量和近似族。得到的系数矩阵满足 Sylvester 动力学
\[
\dot{C}(t)=A_L(t)C(t)+B_L(t)f(t)^\top + C(t)A_R(t).
\]
这里 \(A_L,B_L\) 由选定的在线近似问题提供，而 \(A_R\) 描述了通道坐标如何沿历史传输。内部投影问题仅对系数状态 \(C\) 进行最小化；传输路径可以是固定的、参数化的，或由外部可训练模型中的因果控制器生成。因此，当 \(A_R\) 依赖于输入时，语义是逐路径的：以实现的传输路径为条件，状态是对应传输近似问题的系数，即使完整输入-输出映射可能是非线性的。对于固定的实现路径，SHiPPO 在绑定的移动通道框架中是普通的 HiPPO，历史编码器、系数解码器和 Sylvester 规范项由同一传输路径决定。

这为深度 SSM 层提供了一个提升原则，这些层的动力学、结构或初始化由在线记忆先验驱动。该提升并未规定一个通用的右生成器或特定的右传输初始化。相反，它用一个传输系数方程取代了单边在线记忆系数方程，将由左算子提供的记忆基与由右传输提供的通道框架演化分开。对于 S4/S4D 风格模型，这对应于向现有系数方程添加一个右作用传输项。

对于 Mamba 风格的条件性 SSM，约束更强：该层必须保留逐令牌参数生成、轻量级精确扫描和循环解码。对角条件性循环的完全通道级提升，在非平凡右传输下通常不保留小的扫描代数。因此，我们研究一个受限的扫描兼容 SHiPPO 派生实现：通道被划分为小的传输组，左动力学在状态维度上保持对角并在组内绑定，右传输与控制器兼容且是分组局部的。这些限制并非抽象 SHiPPO 定义的一部分；它们是为获得指数调整更新、精确分组局部块仿射扫描和所选右作用的循环解码而付出的计算代价。

我们还确定了一个同时可约性坍塌准则，显示右传输何时减少（最多到静态通道混合）为独立的标量或块级传输银行。这激发了扫描兼容实现中的不可约传输参数化。

这一区分也具有经验内容。高秩当前步源/写入更新可以增加当前令牌写入记忆的内容，但它们本身并不对已经写入的记忆实现后续右作用。因此，我们使用配对的非交换传输诊断来分离源/写入秩与存储记忆的未来传输，而不是将广泛关联召回作为主要证据。然后我们使用 Transport-MQAR 作为互补自回归有限域诊断，其中绑定、操作和查询是交错的。

参见图注  
图 1: SHiPPO 提升概述。普通 HiPPO 在固定通道坐标中提供单边在线投影记忆。SHiPPO 在保留左在线记忆算子的同时传输通道框架，在存储记忆上产生右作用项 \(CA_R\)。选择单元是一个扫描兼容的限制，具有与控制器兼容的分组局部右传输和精确块仿射扫描。

#### 贡献。
(i) 我们将 SHiPPO 表述为用于通道交互记忆的传输在线近似问题，并证明耦合传输近似族与传输通道度量会得到 Sylvester 系数动力学。  
(ii) 我们推导出在线记忆系数方程的逐路径提升原则：通过保持左在线记忆算子固定并添加一个右作用传输路径作为外部建模或学习选择，提升单边投影记忆。  
(iii) 我们在一个受限的扫描兼容条件性 SSM 单元中实例化该先验，该单元具有组绑定对角左动力学和与控制器兼容的分组局部右传输，推导出指数调整的离散更新，并证明所得递归的精确分组局部块仿射扫描闭包。  
(iv) 我们确定了一个同时可约性坍塌准则，在该准则下，右传输等同于（最多到静态通道混合）独立的标量或块级传输银行；这激发了不可约的分流传输设计。  
(v) 我们提供了配对的非交换诊断，将高秩源/写入更新与已写入记忆的未来右传输分开，表明源秩和传输记忆是不同的机制，而不是可互换的通道交互形式。  
(vi) 我们在 Transport-MQAR 和控制后缀干预上评估扫描兼容的 SHiPPO 实现，作为学习到的右作用路径的互补自回归诊断。

## 2 SHiPPO（Sylvester HiPPO）：传输在线投影记忆

SHiPPO（*Sylvester HiPPO*）建立在在线多项式投影算子的 HiPPO 框架 [19 (https://arxiv.org/html/2607.03055#bib.bib1), 23 (https://arxiv.org/html/2607.03055#bib.bib3)] 之上，通过向通道框架添加一个选定的右传输路径。我们将 SHiPPO 定义为该实现传输路径的在线近似问题，而不是孤立地假设一个递归。整节中，固定一个允许路径 \(A_R \in L^1([0,T];\mathbb{R}^{d\times d})\)；所有恒等式都以该实现路径为条件，我们在符号中省略这一依赖关系。如果 \(A_R\) 由可训练模型中的因果控制器生成，那么相同的投影语义和系数动力学对每个实现轨迹 **逐路径** 成立。内部优化总是针对系数矩阵 \(C\)，而不是传输路径。

设 \(f:[0,\infty)\to\mathbb{R}^d\) 为一个 \(d\) 通道信号。对于每个 \(t>0\)，令 \(\mu_t\) 为 \([0,t]\) 上的测度，并令 \(\Phi_t:[0,t]\to\mathbb{R}^N\) 为具有可逆格拉姆矩阵的基：
\[
G(t):=\int_0^t \Phi_t(\tau)\Phi_t(\tau)^\top \, d\mu_t(\tau).
\]
当 \(d\mu_t(\tau)=w_t(\tau)d\tau\) 时，定义 \(\psi(t,\tau):=\sqrt{w_t(\tau)}\Phi_t(\tau)\)，满足 \(\partial_t\psi(t,\tau)=A_L(t)\psi(t,\tau)\) 对于 \(\tau<t\)，且边界条件来自在线测度演化。

设 \(P(t,\tau)\in\mathbb{R}^{d\times d}\) 为可逆的，并且关于 \(\tau\) 绝对连续，使得对于每个 \(t\)，\(M_P(t,\tau):=P(t,\tau)P(t,\tau)^\top\) 是通道度量。我们要求 \(P\) 关于 \(\tau\) 可微。

对于 \(t>0\)，定义传输近似族：
\[
\mathcal{G}_t^{\mathrm{SH}} = \{ \tau \mapsto P(t,\tau)^{-\top} C^\top \Phi_t(\tau) : C\in\mathbb{R}^{N\times d} \}.
\]
SHiPPO 系数矩阵为：
\[
C_S(t) = \arg\min_{C\in\mathbb{R}^{N\times d}} \int_0^t \| f(\tau) - P(t,\tau)^{-\top} C^\top \Phi_t(\tau) \|_{M_P(t,\tau)}^2 \, d\mu_t(\tau).
\]
我们记 \(C_S(t) = \operatorname{shippo}_t(f)\)。

定义 2.1 共同传输近似族和通道度量。这种耦合是本质的：仅传输通道度量而保持普通 HiPPO 族，通常会破坏有限的 HiPPO 风格系数闭包，当度量依赖于 \(\tau\) 时。附录 A.6 给出了静态计算和 \(\tau\) 无关的特例。

该耦合构造与普通 HiPPO 共轭。对于固定 \(t\)，定义
\[
(\mathcal{T}_t u)(\tau) := P(t,\tau)^\top u(\tau).
\]
则 \(\mathcal{T}_t\) 是从 SHiPPO 度量到欧几里得 HiPPO 度量的等距映射，并将 \(\mathcal{G}_t^{\mathrm{SH}}\) 双射地映射到普通 HiPPO 族：
\[
\int_0^t u(\tau)^\top M_P(t,\tau) v(\tau) \, d\mu_t(\tau) = \int_0^t (\mathcal{T}_t u)(\tau)^\top (\mathcal{T}_t v)(\tau) \, d\mu_t(\tau),
\]
\[
\operatorname{shippo}_t(f) = \operatorname{hippo}_t(\mathcal{T}_t f).
\]
最后一个等式是系数矩阵的恒等式；附录 A.4 给出了完整论证。

###### 定理 2.2（正规方程和 Sylvester 系数动力学）。  
SHiPPO 系数矩阵满足：
\[
G(t)C_S(t) = \int_0^t \Phi_t(\tau) f(\tau)^\top P(t,\tau) \, d\mu_t(\tau).
\]
如果此外有 \(G(t)=I_N\)，\(d\mu_t(\tau)=w_t(\tau)d\tau\)，上述 HiPPO 闭包条件成立，且通常的莱布尼兹法则正则性假设满足，则