attention-mechanism

Flide is an efficient and exact inference engine for LLM decision models that decouples logical tree structures from a single flattened token stream via ForkAttention, answering queries up to 9.5x faster than vLLM and SGLang while staying closest to a float32 reference.

At EMNLP 2026, T-Tech researchers presented LIMe, a lightweight attention extension that reuses key-value buffers from earlier layers to mitigate representation collapse, reducing LLM training compute by ~15% at equal quality versus baseline LLaMA on ~1B-parameter models.

AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。

提出 First Passage Attention (FPA)，将注意力遗忘机制从路径求和改为路径极值，包含 Forgetting Transformer 作为特例，并在 110M 语言模型上实现 8 倍训练长度的完美 passkey 检索。

DST-Net 提出一种解耦的时空网络用于时间序列预测，针对趋势和季节分量分别设计潜在图块和高斯多尺度注意力机制，以匹配各分量的内在特性并在多个基准上验证有效。

17-year-old AI researcher Chen Guangyu (Nathan Chen) announced he has left the Moonshot AI Kimi team after joining at age 16 in November 2024. He co-authored the Kimi Attention Residuals paper, which was praised by Musk and adopted in Kimi K3.

提出 First Passage Attention（FPA），用路径极值替代单调衰减累积，从而在压缩 KV 缓存的同时实现完美的长程检索；在 110M 语言模型上以约 25% 缓存达到 8 倍训练长度的 passkey 检索。

提出了 Continuum Attention，一种用连续分段线性记忆曲线上的积分替代离散键值查找的因果 Transformer 注意力算子，在语言建模困惑度上优于标准 softmax 与 focal attention。

Quanta Magazine 探索「注意力」机制如何成为现代 AI 的核心：从 Dzmitry Bahdanau 2014 年的机器翻译研究，到 Google 2017 年的 Transformer 论文，再到 ChatGPT 等大语言模型的崛起。

WinARDet 提出压缩窗口自回归（WinAR）机制，将长答案序列划分为受限自回归窗口并用压缩潜变量表示历史，缓解密集视觉语言定位中的注意力抢占与框重复问题，在 RSDense 上将 RexOmni F1 从 32.16 提升至 39.36。

论文提出 Virtual Head Attention (VHA)，通过轻量级线性 Q Premix 与 Linear Postmix 操作同时优化 KV cache 大小、训练/prefill FLOPs 与模型质量，在多个规模上超越 GQA 基线，并将 KV cache 相比 GQA-8 减少 4 倍。

ALHR是一种基于静态二叉树和可学习预算预测器的注意力机制，将推理复杂度降至O(NlogN)，在MQAR长上下文任务上保持约97%的密集基线精度，同时显著提升KV压缩和显存扩展效率。

Drive3R 提出一种块状流式几何基础模型，通过块状因果注意力和置信度感知重锚定实现可扩展的长时程多视图 3D 重建，在 nuScenes、KITTI 和 Waymo 上达到新的最先进水平。

Pristine Models 提出一种新的文生图架构，通过注意力机制在预训练阶段将安全与不安全知识分离到独立参数分支中，从而可在推理时禁用不安全分支，在保持图像质量的同时避免概念遗忘问题。

提出上下文感知注意力高斯混合模型（CAA-GMM），用于自动驾驶中多模态、不确定性感知的车辆轨迹预测，在nuScenes和Argoverse 2上取得与最先进栅格基线相当或更优的精度，同时保持较低计算复杂度和对通信/感知不确定性的鲁棒性。

提出 Tucker Bottleneck Attention（TuBA），利用低秩张量结构实现多维序列的高效全局 token 混合，在视频预测和全球天气预报上以显著更低的计算成本取得更优精度，最高减少 85.1% 计算量并实现 4.27 倍加速。

该论文提出一种物理注意力偏置（physical attention bias），在注意力logits上加入基于弧长距离和欧氏距离的可学习项，以改进对未训练过的电缆等可变形线性对象（DLOs）的运动预测，显著减少长期rollout中的漂移与误差。

An independent researcher's paper ablates filter properties (DC/Nyquist suppression, bandwidth, centre frequency, multi-scale coverage) for FourierQK frequency-collapse attention, finding that admissible bandpass filters like the Mexican Hat DOG yield gains over dot-product attention in bidirectional settings, while causal autoregressive use requires a Morlet-based variant. Part of a seven-paper series on spectral inductive biases for transformer attention.

This paper introduces STAIR (Stale-Token Attention for Inter-query Reuse), a method that stores keys and values from earlier response generations in a fixed bank and trains only 12,288 parameters to direct current queries, improving later-turn accuracy by up to 11.67 percentage points on Qwen models across four benchmarks.

The article proposes a Multi-Key Attention idea where a single attention head uses multiple Key projections combined non-compensatorily before softmax to better handle multi-constraint retrieval tasks, and seeks feedback on potential flaws and existing benchmarks.