标签
该论文提出了两种基于核的插值型 KV 缓存压缩方法 GAIM 和 Q-DAIM，以及相应的线性时间替代变体和流式注意力扩展，在 LongBench-E 上取得了与最先进方法相当的性能。
Yandex Music 推出 Sona——一个单一的 Transformer，在生产环境 A/B 测试中取代了 15+ 个候选生成器、预排序器和排序器。它采用 History Compression（历史压缩）技术，将推理成本降低约一半，同时实现活跃用户 +4.53%、收听时长 +6.30% 的提升。
该论文提出了注意力流形——用于调制 Transformer 注意力中值维度的二维 B 样条曲面。实验表明，在仅增加 0.3% 参数开销的情况下，LLaMA 3.2 的困惑度即可降低 2–2.5 点；此外，这些曲面支持机械式编辑，可实现模型引导以及用于安全防护的注意力屏障。
SMat-Attention 引入了具有可调 VC 维度的结构化因果掩码，在 softmax attention 与 linear attention 之间架起桥梁，实现了亚二次方的 prefill、常数时间的解码（缓存状态为 O(T^{1-1/d})），并在召回能力上优于 Mamba-2 和 Gated DeltaNet 等骨干网络。
本综述通过上下文记忆的五个维度（表示、更新、访问、读出与集成）视角分析大语言模型中注意力机制的演进，涵盖 14 个模型谱系的 59 条发布级记录，并提出了面向未来序列架构设计的有状态多维记忆路由假说。
本文介绍了两种注意力机制：CoWindow 注意力和 MassAlloc 注意力，它们优化了 Transformer 中的计算分配，在基准测试中实现了显著的加速和训练 FLOPs 的减少。
比较AI模型中自注意力和交叉注意力机制的交互式图解，作为注意力教育库的一部分发布。
本文对视频扩散模型进行可解释性研究，揭示旋转位置嵌入（RoPE）导致过度的空间注意力衰减，从而引发物理违规，并提出一种轻量级的架构修改以增强生成视频的物理连贯性。
本文研究选择性状态空间模型中的递归是否像Transformer中的注意力一样驱动令牌达成共识，利用动力系统理论分析时变权重矩阵的稳定性和吸引域。
本文介绍了一种注意力的平均场分析，该分析能够预测平均表征动态并揭示语言模型中的上下文特定计算，并在GPT-2、Pythia和Qwen-3-14B等模型上进行了验证。
本文按瓶颈问题组织了AI中的13种注意力机制，涵盖KV缓存缩减、注意力模式、计算效率和服务效率，以帮助AI工程师理解和应用这些技术。
本文提出了一种数学框架，用于逆向工程 Transformer 模型，以增强机制可解释性并解决 AI 系统中的安全问题。
Attention-DP3通过注意力机制融入对象级几何线索，增强了3D扩散策略，在复杂环境中提高了稳定性，并在多个基准测试中实现了最先进的性能。
一位用户宣布他们已经解决了LeetGPU上所有与注意力相关的问题，并将它们编译成一个易于访问的资源。
带有sink的滑动窗口注意力在长上下文任务上优于经过后训练的线性注意力，无需重新训练，为LLMs提供更便宜、更可靠的推理解决方案。
本文对大语言模型推理的能耗进行了系统性实证研究，分析了如多头注意力（Multi-Head Attention）、分组查询注意力（Grouped Query Attention）和滑动窗口注意力（Sliding Window Attention）等注意力架构如何影响不同上下文长度和工作负载下的能耗缩放。
ReWorld 提出了一个交互式世界模型，该模型使用混合注意力窗口和分布匹配的LoRA蒸馏，将短期控制与长期记忆解耦，实现了具有高动作保真度和回忆能力的实时视频生成。
ReCache是一个用于工具增强LLM代理中高效KV缓存重用与压缩的框架，在保持性能的同时实现显著的加速和内存减少。
一条推文重点介绍了《理解Transformer与注意力机制》，这是一篇13页的论文，从应用数学的角度解释了Transformer架构和注意力机制。
一条推文推荐了一篇arXiv论文，该论文为应用数学家讲解了Transformer的数学基础，涵盖分词、嵌入、多头注意力和KV缓存。