attention

本文研究多模态大模型中的检索头机制如何随输入模态扩展，发现跨模态共享的检索头虽不足2%，却对文档理解、空间感知等至关重要，并通过排序目标优化这些注意力头，将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。

LazyFlash 提出一种前向稠密、后向稀疏的注意力机制，通过梯度感知的块稀疏化在保持模型性能的同时，实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速，适用于长上下文 LLM 微调。

该论文提出了一套渐近理论，解释了为什么 Muon 的正交化预条件器与神经网络在初始化时的 Hessian 矩阵结构相匹配，并表明在四种典型模型中，过参数化促使 E[GG^T] 呈现对角占优性。

该论文证明每个 Transformer 块都可精确编译为由固定仿射映射、路由及 sigmoid/逆平方根等基本算子构成的通用深度神经网络，量化分析了去除激活-激活乘积的代价，并提出多智能体注意力聚类方法将打分复杂度从 N² 降至 Nk，实验在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上验证了编译模型与原模型一致且标准后训练量化可直接适用。

LEAF 提出首个 LUT 感知的 Transformer/linformer 架构，面向 FPGA 上的超低延迟推理，在喷注标记基准上以更少 LUT 资源实现更高精度，适用于 CERN 等实时系统。

UC Berkeley、Apple、EPFL、Harvard、MIT 和 Google DeepMind 的研究人员发现，在排序任务上训练的两层 Transformer 会根据初始化的不同收敛到两种机制上截然不同的解类别，其中只有双注意力层的解能够完美实现长度泛化。

TokenGate 是一个轻量级可学习的 token 剪枝模块，通过 token-gated attention 机制在长上下文预填充阶段跳过不重要的 token，实现 1.4–11.3 倍的 TTFT 加速和 1.5–3.4 倍的峰值内存降低且无精度损失。

本文提出 FocusGUI，一个轻量级适配器，能够动态为 GUI 智能体选择相关的多模态证据，防止无关上下文导致的错误累积，从而在不微调主干模型的情况下提升动作准确率。

AWS研究人员提出了一种名为"priming"的方法，能够在无需完全重新训练的情况下，将预训练的Transformer转换为混合状态空间架构，将预训练成本降低99%以上，并发布了经过priming处理的8B和32B模型检查点。

该论文提出一种基于非线性时间延迟系统的序列建模框架，通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制，在文本分类和生成任务上超越了现有最先进方法。

论文提出 HART，一种混合注意力与 RWKV 的时间序列基础模型，通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题（占位符空闲衰减）。仅用 36M 参数（约为 Toto-2.0-1B 的 1/28）在 GIFT-Eval 上达到可媲美的长程 MASE（0.752 对比 0.754）。

提出克罗内克积注意力（KPA），使用克罗内克积的紧凑矩阵因子表示键值激活，实现最高 10 倍的 KV 缓存压缩，同时在多个模型规模和基准测试上达到或超越 TPA、MQA、GQA 和 MLA 等方法的表现。

该论文研究安全对齐大模型中注意力与MLP模块在有害性识别与拒绝生成中的不同作用路径，提出结合注意力感知分数与MLP决策分数的Sentinel方法，以更准确地区分越狱与过度拒绝行为。

提出AReA：一种免训练的注意力机制，其感受野随去噪过程从粗到细自适应演化，用于实现高效高分辨率Diffusion Transformer图像生成，在多个分辨率和模型上超越现有免训练基线且速度更快。

Multics 提出一种具有层级通信机制的多玩家视频生成世界模型，在玩家、组和全局层面结构化信息交换，以 SOTA 性能实现 4-6 玩家设置下的跨玩家一致性，并能零重训泛化到 10 玩家推理。

推文推荐斯坦福大学的免费大语言模型课程（含中英双语字幕），称其为讲解 ChatGPT 与 Claude 底层构建原理最清晰、最深入的课程，能帮助学习者真正理解词元化、注意力机制等核心机制，而非停留在记住名词。

该论文提出 Spora，联合设计脉冲编码与注意力算子，通过 Unipolar Binary Spiking (UBS) 和 Bipolar Binary Spiking (BBS) 在少时间步下实现更高容量的连续语义表示，在 GLUE 基准上超越 SpikeLM。

多流注意力残差（Multi-Stream Attention Residuals, MSAR）将注意力残差（AttnRes）从单流扩展为多头深度注意力，通过多尺度因果卷积引入流多样性，在 18B/28B MoE 规模的 12 项下游基准上一致优于标准残差、mHC 和 AttnRes；scaling law 实验显示，相对标准残差基线有 1.58 倍的 iso-loss 算力加速。

IBM Research与UIUC的研究人员提出Universal Attention，一种自剪枝transformer框架。该框架将一阶与二阶key统计量结合为表达能力更强的遗忘门，在保留RoSoftmax注意力机制的同时，实现了最先进的10倍KV-Cache压缩，并在16k上下文长度下达到25倍压缩率。

本文研究序列模型中的长程记忆资源问题：在给定预测记忆律的条件下，证明了指数型与有限状态型记忆在预测风险下的匹配上下界，得出达到误差τ所需的 Θ(log²(1/τ)) 状态复杂度定律，并分析了分数长记忆与非线性递归的临界性条件，以及其在状态空间模型、门控循环模型和注意力模型中的实验验证。