标签
FLARE++ 是一种低秩注意力架构，用输入条件动态路由取代静态学习查询，在 PDE 代理基准和 Long Range Arena 上均优于 FLARE，同时保持线性复杂度。
本文介绍了 bioMoR，一种用于基因组学习的生物引导混合递归框架，它将结构化的生物学知识整合到递归 Transformer 架构中，在多个组学基准上提升了效率和准确性。
提出EA-RMENet，一种用于无线电地图估计的深度学习模型，采用EfficientNetB5编码器、注意力门控跳跃连接和ASPP，实现了高精度与高效率。
EMAGN 是一种用于交通预测的高效多注意力图网络，通过学习聚类实现自注意力的线性化，将复杂度从二次降至线性，同时保持接近全注意力模型的准确性，并在训练时间、推理时间和 GPU 内存方面显著降低。
ResonatorLM 引入了一种源于物理学的因果共振场混合机制，用于替代 Transformer 中的自注意力机制，在长上下文语言建模任务上实现了显著的速度提升和准确性改善。
本文研究了内存管理的长上下文注意力，这是一个将高效状态压缩与显式可编辑内存槽分开的研究方向。实验表明，结合快速循环/稀疏主干网络与显式内存管理的混合方法，在合成任务和长上下文基准测试中均优于纯固定状态或纯稀疏方法。
提出了一种无需训练的NLL引导方法，用于在混合注意力模型中选择保留全注意力的层，在长上下文任务中，使用1/4全注意力层即可达到与1/2周期性基线相当的准确率。
提出擦除后增量注意力（EDA），一种用于线性注意力的记忆更新规则，它在写入新内容之前，先通过解耦擦除和写入地址来有选择地抑制过时信息。在2.5B密集模型和25B MoE模型上的实验表明，在标准评估和长上下文评估中均取得一致增益。
本文介绍了高斯混合注意力（Gaussian Mixture Attention，GMA），这是一种概率性注意力机制，它用通过学习得到的高斯混合组件进行路由，取代了显式的成对查询-键比较，从而在序列长度上实现了线性时间复杂度。实验表明，在长上下文任务中，它凭借固定K的线性内存扩展展现出了有竞争力的性能。
IndexShare是GLM-5.2报告中提到的一种技术，它在稀疏注意力中跨多个层共享一个索引器，通过避免每层重复选择top-k，在1M上下文长度下将FLOPs降低了2.9倍。
本文系统分析了高效注意力模块在混合语言模型架构中的作用，发现不同设计在充分训练下长上下文性能趋于一致，且长距离检索主要由全注意力承担，而高效注意力塑造了优化轨迹，揭示了一个称为“大窗口懒惰”的现象。
MiniMax 稀疏注意力 引入了一种分块稀疏注意力机制，针对超长上下文的大语言模型实现了显著的加速。在1M上下文长度下，每个token的注意力计算减少28.4倍，在H800 GPU上预填充阶段实际速度提升14.2倍，解码阶段提升7.6倍。该方法附带了一个开源推理内核以及一个公开发布的多模态模型。
提出模糊窗口注意力（BLA），一种具有有界记忆控制的新型注意力方法，通过狄利克雷核插值重建模糊的KV历史，在多查询关联回忆任务上实现了比滑动窗口注意力高8倍的状态效率。
本文提出DLA，一种用于多状态线性注意力的动态内存建模框架，它能根据令牌信息变化自适应地合并状态，并维护固定大小的状态缓存，从而在无需标准注意力二次复杂度的前提下实现更好的长上下文表示。
Wall Attention 是一种新的注意力变体，具有每个通道、每个时间步的乘法衰减，提供内容相关的遗忘率，以及在Triton中实现的高效训练/解码内核。
介绍Parallax，一种参数化局部线性注意力机制，结合硬件感知优化，提升LLM预训练效率和性能，在0.6B和1.7B规模实现帕累托改进。
Gated DeltaNet-2 为线性注意力引入了独立的擦除门和写入门，在长上下文语言建模和检索任务中实现了优越的性能。
CompactAttention引入块合并KV选择机制，加速长上下文LLM的分块预填充，在LLaMA-3.1-8B模型128K上下文下实现最高2.72倍注意力加速，同时保持与稠密注意力相近的精度。
本文提出了一种面向长上下文大语言模型的训练-推理一致性分段执行框架，旨在解决全上下文训练与受限推理机制之间的不匹配问题，在显著降低内存占用的同时实现了相当的性能。
Nous Research 推出了 Lighthouse Attention，这是一种仅用于训练的次二次方包装器，旨在加速扩展点积注意力（SDPA）的长上下文预训练。该包装器可在部署前移除，从而保持原生推理效率。