标签
FreeSolo 提出了一种原生稀疏注意力机制，结合短程滑动窗口和基于长程关键点的双分支结构，实现线性时间复杂度，并在无需昂贵的长上下文微调的情况下，将零样本长度外推能力提升至 256k+ token。
OrthoSSM-130M 是一款新型 Phantom 状态空间模型，针对线性时间、恒定内存的文本生成进行了优化，定位为 Mamba 的快速高效替代方案。
ALPHABET 是一种紧凑的线性时间序列模型，它将时间历史压缩为稳定的复极点模式，以更少的参数和更快的推断速度实现竞争性能。
关于矩阵循环单元（MRU）的更新，这是一种线性时间复杂度的注意力机制替代方案。作者探索了稳定训练的方法，发现正交矩阵表现不佳，而LDU分解效果最佳，并表明MRU在TinyStories等较大数据集上表现不如Transformer。
本文介绍了高斯混合注意力（Gaussian Mixture Attention，GMA），这是一种概率性注意力机制，它用通过学习得到的高斯混合组件进行路由，取代了显式的成对查询-键比较，从而在序列长度上实现了线性时间复杂度。实验表明，在长上下文任务中，它凭借固定K的线性内存扩展展现出了有竞争力的性能。
StateKV是一种推理时方法，通过将跨帧上下文携带在固定容量的循环状态中，实现长视频视觉语言模型的线性时间视频预填充，在无需微调的情况下保持接近完全自注意力的准确性。