标签
本文研究了内存管理的长上下文注意力，这是一个将高效状态压缩与显式可编辑内存槽分开的研究方向。实验表明，结合快速循环/稀疏主干网络与显式内存管理的混合方法，在合成任务和长上下文基准测试中均优于纯固定状态或纯稀疏方法。
提出了一种无需训练的NLL引导方法，用于在混合注意力模型中选择保留全注意力的层，在长上下文任务中，使用1/4全注意力层即可达到与1/2周期性基线相当的准确率。
提出擦除后增量注意力（EDA），一种用于线性注意力的记忆更新规则，它在写入新内容之前，先通过解耦擦除和写入地址来有选择地抑制过时信息。在2.5B密集模型和25B MoE模型上的实验表明，在标准评估和长上下文评估中均取得一致增益。
本文介绍了高斯混合注意力（Gaussian Mixture Attention，GMA），这是一种概率性注意力机制，它用通过学习得到的高斯混合组件进行路由，取代了显式的成对查询-键比较，从而在序列长度上实现了线性时间复杂度。实验表明，在长上下文任务中，它凭借固定K的线性内存扩展展现出了有竞争力的性能。
IndexShare是GLM-5.2报告中提到的一种技术，它在稀疏注意力中跨多个层共享一个索引器，通过避免每层重复选择top-k，在1M上下文长度下将FLOPs降低了2.9倍。
本文系统分析了高效注意力模块在混合语言模型架构中的作用，发现不同设计在充分训练下长上下文性能趋于一致，且长距离检索主要由全注意力承担，而高效注意力塑造了优化轨迹，揭示了一个称为“大窗口懒惰”的现象。
MiniMax 稀疏注意力 引入了一种分块稀疏注意力机制，针对超长上下文的大语言模型实现了显著的加速。在1M上下文长度下，每个token的注意力计算减少28.4倍，在H800 GPU上预填充阶段实际速度提升14.2倍，解码阶段提升7.6倍。该方法附带了一个开源推理内核以及一个公开发布的多模态模型。
提出模糊窗口注意力（BLA），一种具有有界记忆控制的新型注意力方法，通过狄利克雷核插值重建模糊的KV历史，在多查询关联回忆任务上实现了比滑动窗口注意力高8倍的状态效率。
本文提出DLA，一种用于多状态线性注意力的动态内存建模框架，它能根据令牌信息变化自适应地合并状态，并维护固定大小的状态缓存，从而在无需标准注意力二次复杂度的前提下实现更好的长上下文表示。
Wall Attention 是一种新的注意力变体，具有每个通道、每个时间步的乘法衰减，提供内容相关的遗忘率，以及在Triton中实现的高效训练/解码内核。
介绍Parallax，一种参数化局部线性注意力机制，结合硬件感知优化，提升LLM预训练效率和性能，在0.6B和1.7B规模实现帕累托改进。
Gated DeltaNet-2 为线性注意力引入了独立的擦除门和写入门，在长上下文语言建模和检索任务中实现了优越的性能。
CompactAttention引入块合并KV选择机制，加速长上下文LLM的分块预填充，在LLaMA-3.1-8B模型128K上下文下实现最高2.72倍注意力加速，同时保持与稠密注意力相近的精度。
本文提出了一种面向长上下文大语言模型的训练-推理一致性分段执行框架，旨在解决全上下文训练与受限推理机制之间的不匹配问题，在显著降低内存占用的同时实现了相当的性能。
Nous Research 推出了 Lighthouse Attention，这是一种仅用于训练的次二次方包装器，旨在加速扩展点积注意力（SDPA）的长上下文预训练。该包装器可在部署前移除，从而保持原生推理效率。
本文介绍了 Toeplitz MLP Mixer（TMM），这是一种新型架构，它用 Toeplitz 矩阵乘法取代注意力机制，从而在保持高信息保留率和训练效率的同时实现更低的计算复杂度。