标签
Flide 是一款高效且精确的 LLM 决策模型推理引擎，通过 ForkAttention 将逻辑树结构与单一的扁平化词元流解耦，查询响应速度最高可达 vLLM 和 SGLang 的 9.5 倍，同时结果最接近 float32 参考值。
在 EMNLP 2026 上，T-Tech 研究人员介绍了 LIMe，这是一种轻量级注意力扩展，通过复用较早层的键值缓冲区来缓解表征坍缩。在约 10 亿参数的模型上，与基线 LLaMA 相比，它在保持同等质量的同时，将大语言模型的训练计算量减少了约 15%。
AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。
提出 First Passage Attention（FPA），将注意力遗忘机制从路径求和改为路径极值，把 Forgetting Transformer 作为特例纳入其中，并在 110M 语言模型上实现了 8 倍训练长度下的完美 passkey 检索。
DST-Net 提出一种解耦的时空网络用于时间序列预测，针对趋势和季节分量分别设计潜在图块和高斯多尺度注意力机制，以匹配各分量的内在特性并在多个基准上验证有效。
17岁的AI研究员陈光宇（Nathan Chen）宣布已离开Moonshot AI Kimi团队。他于2024年11月以16岁之龄加入，任职不到一年。他参与合著了Kimi Attention Residuals论文，该论文获得Musk公开赞誉，并被Kimi K3采用。
提出 First Passage Attention（FPA），用路径极值替代单调衰减累积，从而在压缩 KV 缓存的同时实现完美的长程检索；在 110M 语言模型上以约 25% 缓存达到 8 倍训练长度的 passkey 检索。
提出了 Continuum Attention，一种用连续分段线性记忆曲线上的积分替代离散键值查找的因果 Transformer 注意力算子，在语言建模困惑度上优于标准 softmax 与 focal attention。
Quanta Magazine 探索「注意力」机制如何成为现代 AI 的核心：从 Dzmitry Bahdanau 2014 年的机器翻译研究，到 Google 2017 年的 Transformer 论文，再到 ChatGPT 等大语言模型的崛起。
WinARDet 提出压缩窗口自回归（WinAR）机制，将长答案序列划分为受限自回归窗口并用压缩潜变量表示历史，缓解密集视觉语言定位中的注意力抢占与框重复问题，在 RSDense 上将 RexOmni F1 从 32.16 提升至 39.36。
论文提出 Virtual Head Attention (VHA)，通过轻量级线性 Q Premix 与 Linear Postmix 操作同时优化 KV cache 大小、训练/prefill FLOPs 与模型质量，在多个规模上超越 GQA 基线，并将 KV cache 相比 GQA-8 减少 4 倍。
ALHR是一种基于静态二叉树和可学习预算预测器的注意力机制，将推理复杂度降至O(NlogN)，在MQAR长上下文任务上保持约97%的密集基线精度，同时显著提升KV压缩和显存扩展效率。
Drive3R 提出一种分块流式几何基础模型，通过分块因果注意力和置信度感知重锚定，实现可扩展的长时程多视图 3D 重建，并在 nuScenes、KITTI 和 Waymo 上达到新的最先进水平。
Pristine Models 提出一种新的文生图架构，通过注意力机制在预训练阶段将安全与不安全知识分离到独立参数分支中，从而可在推理时禁用不安全分支，在保持图像质量的同时避免概念遗忘问题。
提出上下文感知注意力高斯混合模型（CAA-GMM），用于自动驾驶中多模态、不确定性感知的车辆轨迹预测，在nuScenes和Argoverse 2上取得与最先进栅格基线相当或更优的精度，同时保持较低计算复杂度和对通信/感知不确定性的鲁棒性。
提出 Tucker Bottleneck Attention（TuBA），利用低秩张量结构实现多维序列的高效全局 token 混合，在视频预测和全球天气预报上以显著更低的计算成本取得更优精度，最高减少 85.1% 计算量并实现 4.27 倍加速。
该论文提出一种物理注意力偏置（physical attention bias），在注意力logits上加入基于弧长距离和欧氏距离的可学习项，以改进对未训练过的电缆等可变形线性对象（DLOs）的运动预测，显著减少长期rollout中的漂移与误差。
一位独立研究者在论文中对 FourierQK 频率坍缩注意力的滤波器特性（直流/奈奎斯特抑制、带宽、中心频率、多尺度覆盖）进行了消融研究，发现 Mexican Hat 等可容许带通滤波器在双向场景下能相对点积注意力带来性能提升，而因果自回归场景则需要基于 Morlet 的变体。该文是关于 Transformer 注意力的谱归纳偏置系列七篇论文之一。
本文提出 STAIR（Stale-Token Attention for Inter-query Reuse，跨查询复用的过时词元注意力）方法，将早期响应生成过程中的键值存储在固定存储库中，并仅训练 12,288 个参数来引导当前查询，在四个基准测试的 Qwen 模型上将后续轮次准确率提升最高达 11.67 个百分点。
文章提出了一种Multi-Key Attention的想法，其中单个注意力头使用多个Key投影，在softmax之前以非补偿方式组合，以更好地处理多约束检索任务，并寻求关于潜在缺陷和现有基准的反馈。