标签
This paper introduces Matrix Zonotopic Attention (MZAttn), a context-adaptive value projection for set transformers, and provides a theoretical analysis showing it can represent target operators that standard attention requires depth to approximate. Experiments demonstrate performance gains on high-rank combinatorial set-prediction tasks.
The paper introduces DUD (Decoupled Update Dynamics), a framework that separates Feed-Forward Network and Attention contributions via causal interventions to improve uncertainty quantification and calibration in large language models, outperforming state-of-the-art baselines.
This paper applies graph signal processing to analyze how LLMs internally represent numerical sequences during in-context learning, finding that attention-induced token graphs and hidden-state signals show systematic, context-dependent signatures related to input complexity.
ATFlash introduces a per-RoPE-wavelength distance window that prunes query-key inner-product terms proportional to each frequency pair's wavelength, cutting 37-48% of attention compute with minimal quality loss and up to 1.31x speedups on long-context LLM inference.
AttnLink is a research paper presenting an attention-based framework for schema linking in Text-to-SQL, converting LLM internal attention into continuous relevance scores for schema items. Experiments on Spider, BIRD, and Spider2-SQLite show high mAP scores and millisecond-scale latency.
本文识别了ALiBi位置编码中的一种数值下溢故障模式，该模式可能使注意力权重归零，分析其影响，并评估了使用ALiBi训练模型的缓解策略。
一条推文重点介绍了一篇由Michel Fabrice Serret撰写的arXiv论文，该论文从应用数学的角度介绍了Transformer和注意力机制，涵盖了向量化、多头注意力以及降低注意力成本的方法，如KV缓存和Latent Attention。
ReTopK 是一种无需训练的方法，通过复用历史查询-支持对来加速长上下文大语言模型中的动态 Top-K 稀疏注意力，从而避免全上下文评分和全局 Top-K 选择。在 128K 上下文下，相比精确 Top-K，它实现了最高 3.07 倍的加速，且困惑度仅增加 0.50%。
Moonshot 推出的 Kimi K3 是一款开放权重的模型，在 580 个模型中排名第四。其创新包括 Kimi Delta Attention（减少 KV 缓存内存）、Quantile Balancing（专家负载均衡）以及 AgentENV（高效 RL 训练沙盒）。
该推文重点介绍了关于Moonshot AI的Kimi K3的一篇解析文章。K3是一个拥有2.8万亿参数的开源模型，采用新颖的Kimi Delta Attention机制来减少内存增长并加速长上下文推理，在智能体和长周期任务上表现强劲，且缓存成本低廉。
这篇博客文章逐步推导了从标准softmax注意力经过线性注意力和DeltaNet变体到Kimi Delta Attention的过程，并解释了近期Qwen和Kimi模型使用的状态更新方程。
Pulsar Attention 用内容感知的摘要和注意力汇取代了Star Attention中的静态锚点，在长上下文基准测试中将FLOPs降低了3.3倍，同时超越了密集注意力。
本文引入了CvAdamW，一种AdamW变体，它通过监测注意力比热来检测顿悟相变，并动态调整权重衰减，在基线失败的模算术任务上实现了顿悟。
本文提出了一种新颖的持续学习框架，用于时间序列预测，该框架利用注意力引导的经验回放，使模型能够适应新的数据分布，同时避免灾难性遗忘。该框架在标准基准和真实世界的水位数据上进行了评估。
提出拓扑正则化侧路径（TRSP）以缓解LLM中的表示坍缩，通过平衡混合效率与信息容量之间的频谱权衡，在长上下文基准上取得显著提升。
百度开源的Unlimited OCR模型提出Reference Sliding Window Attention（R-SWA）机制，以30亿参数实现数十页文档连续解析，在GitHub和HuggingFace上获得极高关注。
E-SpecFormer引入了LiTAN，一种无Softmax和LayerNorm的注意力机制，使其能够在边缘设备上进行高效的端到端自动调制和隐蔽信道识别，参数少于1万，FPGA/CPU协同执行速度达每帧92微秒。
本文证明了在滑动窗口序列上使用简单的训练/测试分割会严重夸大或缩小预测性维护中多任务学习的性能指标，并提出了一种泄漏鲁棒的评估协议。
本文研究了扩散变换器（DiTs）中的文本模板令牌如何作为隐式语义寄存器，在去噪过程中因果地维持物体身份，并提出了一种无需训练的剪枝规则，该规则移除了20%的注意力FLOPs，且性能下降极小。
Berkeley 189 lecture provides a clear explanation of the attention mechanism, tracing the evolution from RNN+attention to Transformer and contrasting MLP/CNN parameter efficiency.