标签
FreeSolo 提出了一种原生稀疏注意力机制，结合短程滑动窗口和基于长程关键点的双分支结构，实现线性时间复杂度，并在无需昂贵的长上下文微调的情况下，将零样本长度外推能力提升至 256k+ token。
本文分析了结合全注意力与滑动窗口注意力（SWA）或门控线性注意力（GLA/GDN）的长上下文混合大语言模型的机制，发现上下文扩展中存在跷跷板效应，并提出了滑动窗口线性注意力，实现了16倍免训练长度外推，在64k上下文下NIAH-SK1准确率达到100%。
论文提出 Recurrent Looped Transformer (RLT)，将层划分为并行因果编码器和循环解码器，使计算路径随序列长度增长而每个 token 的成本保持固定，在奇偶校验、S_5 置换追踪和模运算等算法任务上，长度外推能力显著优于标准 Transformer。
本文介绍了Complex KDA，这是对Kimi Delta Attention的增强，通过实现二维旋转和状态追踪能力，提高了线性RNN的表达能力，从而在长度外推和语言建模性能上取得了卓越表现。
提出HiLS注意力机制，一种基于块的稀疏注意力方法，通过语言模型损失端到端学习块选择，性能可与全注意力媲美，同时支持超长上下文外推和更快的推理速度。
本文研究了为何累积的、依赖于token的正交变换（如PaTH Attention中使用的以及简化版SO(2)旋转变体）能使Transformer实现长度外推。论文证明此类变换在有限步后变得不连贯，从而抑制对远距离token的注意力；同时从理论和实验上表明该机制能改善外推，但在极端上下文长度下性能最终会下降。