attention

本文研究多模态大模型中的检索头机制如何随输入模态扩展，发现跨模态共享的检索头虽不足2%，却对文档理解、空间感知等至关重要，并通过排序目标优化这些注意力头，将Qwen3-VL-8B在MMDocIR上的页面Recall@1提升了6.03个点。

LazyFlash 提出一种前向稠密、后向稀疏的注意力机制，通过梯度感知的块稀疏化在保持模型性能的同时，实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速，适用于长上下文 LLM 微调。

The paper provides an asymptotic theory explaining why Muon's orthogonalization preconditioner matches the neural network Hessian structure at initialization, showing that overparameterization drives diagonal dominance of E[GG^T] across four canonical models.

该论文证明每个 Transformer 块都可精确编译为由固定仿射映射、路由及 sigmoid/逆平方根等基本算子构成的通用深度神经网络，量化分析了去除激活-激活乘积的代价，并提出多智能体注意力聚类方法将打分复杂度从 N² 降至 Nk，实验在 DeiT-Tiny、MambaIRv2-Light 和 Pythia-70M 上验证了编译模型与原模型一致且标准后训练量化可直接适用。

LEAF 提出首个 LUT 感知的 Transformer/linformer 架构，面向 FPGA 上的超低延迟推理，在喷注标记基准上以更少 LUT 资源实现更高精度，适用于 CERN 等实时系统。

UC Berkeley, Apple, EPFL, Harvard, MIT, and Google DeepMind researchers show that two-layer transformers trained on sorting converge to one of two mechanistically distinct solution classes depending on initialization, where only the two-attention-layer solution length-generalizes perfectly.

TokenGate 是一个轻量级可学习的 token 剪枝模块，通过 token-gated attention 机制在长上下文预填充阶段跳过不重要的 token，实现 1.4–11.3 倍的 TTFT 加速和 1.5–3.4 倍的峰值内存降低且无精度损失。

The paper introduces FocusGUI, a lightweight adapter that dynamically selects relevant multimodal evidence for GUI agents to prevent compounding errors from irrelevant context, improving action accuracy without fine-tuning the backbone.

AWS researchers introduce 'priming,' a method that converts pre-trained Transformers into hybrid state-space architectures without full retraining, cutting pretraining costs by over 99% and releasing primed 8B and 32B model checkpoints.

该论文提出一种基于非线性时间延迟系统的序列建模框架，通过可微语义延迟估计器、对角状态空间的闭式 O(1) 解以及可解释的模糊语义调制机制，在文本分类和生成任务上超越了现有最先进方法。

论文提出 HART，一种混合注意力与 RWKV 的时间序列基础模型，通过交替注意力和 RWKV 模块解决非自回归多步预测中 RWKV-7 的长程退化问题（Placeholder Idling Decay）。仅用 36M 参数（约为 Toto-2.0-1B 的 1/28）在 GIFT-Eval 上达到可媲美的长程 MASE（0.752 vs 0.754）。

提出 Kronecker Product Attention (KPA)，用 Kronecker 积紧凑矩阵因子表示键值激活，实现最高 10× 的 KV 缓存压缩，同时在多个模型规模和基准上匹配或超越 TPA、MQA、GQA 和 MLA 等方法。

该论文研究安全对齐大模型中注意力与MLP模块在有害性识别与拒绝生成中的不同作用路径，提出结合注意力感知分数与MLP决策分数的Sentinel方法，以更准确地区分越狱与过度拒绝行为。

提出AReA：一种训练自由的注意力机制，其感受野随去噪过程从粗到细自适应演化，用于实现高效高分辨率Diffusion Transformer图像生成，在多个分辨率和模型上超越现有无训练基线且更快速。

Multics 提出一种具有层级通信机制的多玩家视频生成世界模型，在玩家、组和全局层面结构化信息交换，以 SOTA 性能实现 4-6 玩家设置下的跨玩家一致性，并能零重训泛化到 10 玩家推理。

推文推荐斯坦福大学的免费 LLM 课程（含中英双语字幕），称其为讲解 ChatGPT 与 Claude 底层构建原理最清晰、最深入的课程，能帮助学习者真正理解 tokenization、Attention 等核心机制而非停留在记住名词。

该论文提出 Spora，联合设计脉冲编码与注意力算子，通过 Unipolar Binary Spiking (UBS) 和 Bipolar Binary Spiking (BBS) 在少时间步下实现更高容量的连续语义表示，在 GLUE 基准上超越 SpikeLM。

Multi-Stream Attention Residuals (MSAR) 将注意力残差（AttnRes）从单流扩展为多头深度注意力，通过多尺度因果卷积引入流多样性，在 18B/28B MoE 规模的 12 项下游基准上一致优于标准残差、mHC 和 AttnRes，scaling law 实验显示相对标准残差基线有 1.58 倍的 iso-loss 算力加速。

IBM Research and UIUC researchers propose Universal Attention, a self-pruning transformer framework combining first- and second-order key statistics into expressive forget gates that preserve RoPE and Softmax attention while achieving state-of-the-art 10x KV-cache compression and 25x compression at 16k context length.

本文研究序列模型中的长程记忆资源问题：给定预测记忆律，证明了指数与有限状态模式在预测风险下的匹配上下界，得到达到误差τ所需的 Θ(log²(1/τ)) 状态复杂度定律，并分析了分数长记忆、非线性递归的临界性条件及其与状态空间、门控循环和注意力模型的实验验证。