ssm

SHiPPO 通过将多项式投影系数传输到移动通道框架中扩展了 HiPPO，使选择性状态空间模型能够恢复对顺序敏感的记忆信号。本文提供了支持其传输记忆先验的理论基础和诊断方法。

一篇比较RNNs、Transformers和SSMs中记忆设计的技术分析，主张关键问题在于序列状态应存储于何处，而非哪种架构更优。讨论了压缩隐状态、增长的KV缓存以及模型连接中类突触记忆之间的权衡。

本文介绍了 Raven，一种新型状态空间模型（SSM），它采用选择性内存分配机制，在召回任务上达到了最先进的性能，并且相比于 SWA 等现有模型，展现出更优的长度泛化能力。