attention

本文介绍了 SinkFlex-RL，一个用于长时程工具使用智能体任务中内存可行的强化学习的模块化训练系统。它结合了兼容 Gymnasium 的环境封装、基于 GRPO 的策略优化，以及 sink 感知的 FlexAttention 路径，在 4096 个 token 时峰值显存降低 19.7%，并能在 eager attention 内存溢出的情况下支持 8192 个 token 的运行。

本文应用Marchenko-Pastur随机矩阵理论于预训练注意力权重，将每个投影矩阵分解为类随机体（bulk）和谱异常值。因果实验表明，在Mistral-7B中将这些异常值置零会使HellaSwag、MMLU和PIQA的性能接近随机水平，从而揭示谱异常值编码了11个Transformer中占主导地位的学习结构。

Motif 3 是一个具有 3140 亿参数的混合专家语言模型，每个 token 激活 132 亿参数，采用分组差分潜在注意力，并在 12.5 万亿 token 上完成训练，在推理、编程和长上下文任务中展现出具有竞争力的性能。

This preliminary technical report proposes RIG-RoPE, a relation- and instance-gated rotary positional encoding with duration-aware temporal coordinates, aiming to address spatial interference and improper temporal scaling in multimodal LLMs. It introduces a gating mechanism for height/width rotations and duration-aware temporal coordinates, but leaves large-scale empirical validation to future work.

This paper establishes theoretical bounds on the number of attention heads needed to produce vector representations that support multiple tasks, such as computing min/max and XOR, showing trade-offs between head count, embedding dimension, and precision.

本文提出NOVA-KV，一种用于KV缓存量化的变换编码方法，它利用注意力保持变换在查询实际关注的位置分配比特，与先前方法相比，在低比特率下提高了长上下文检索精度。

This paper studies how an agent with limited perceptual bandwidth should allocate interoceptive precision across bodily needs in a foraging task, showing that dynamically attending to the most-needed channel improves survival under a fixed precision budget.

提出了OptR，一种用于INT2 KV缓存量化的输出感知旋转方法，可最小化输出后的注意力误差，在多个模型和基准上改进QuaRot和OSCAR。

苏剑林对K3架构进行复盘，核心为KDA + MLA + Stable LatentMoE + AttnRes的组合，讲解其设计取舍、MoE稳定性改进、为何保留MLA，以及DSV4与MLA的关系。

DeepSeek-V4-Flash 是一个 284B 参数的 MoE 模型，每 token 激活 13B 参数，采用混合压缩注意力机制，可降低 1M token 上下文的 KV 缓存需求。可使用 Modal 上的 SGLang 提供服务，在单个 B300 上实现快速解码。

NVIDIA explains how attention architecture choices (group size, head dimension, KV-cache size, parallelism) set the ceiling for long-context inference performance, with guidelines for co-designing models for faster serving.

ResKV提出了一种KV缓存压缩方法，将固定预算分为精确的主缓存和紧凑的残差缓存，以重构被省略的注意力贡献，从而在多个骨干网络上提升LongBench和RULER上的性能。

本文提出了SEDR-Seq2P，一种用于多任务工业非侵入式负荷监测（NILM）的轻量级膨胀残差序列到点网络，与WaveNet相比，该网络实现了更高的精度，并将推理延迟降低了58%。

本文提出了一种KV缓存逐出策略，通过反因果惊奇度对令牌进行评分，移除那些可以从未来上下文中很好预测的过去令牌。该方法无需训练、分布内，并通过快速的单层近似实现了具有竞争力的性能。

本综述系统性地提出了大型语言模型中记忆机制的分类法，从表示、更新动态和持久性三个维度进行分类，并形式化了底层机制组件。

MM-ShiftKV是一种无需训练的方法，通过在预填充阶段近似解码时的查询行为来改进多模态大语言模型的KV缓存选择，减少内存占用同时保持性能。

本文首次对多头潜在注意力（MLA）进行机械可解释性研究，分析其低秩瓶颈如何分离内容与位置信息，并重塑Transformer电路。

一种新颖的、不依赖患者的自动抑郁症检测多模态框架，整合了BiLSTM与模态内和跨模态注意力机制以及域对抗训练，以提高跨说话人的泛化能力。在Androids-Corpus数据集上达到了93.2%的先进准确率。

提出了RED-PIM，一种算法-架构协同设计，将内存体间的数据移动从O(N²)降低到O(N)，并缩小注意力矩阵，使Transformer模型的推理时间显著降低（16%到99.99%）。

本技术报告探讨了在Transformer块中为大型语言模型的查询/键/值投影添加轻量级深度可分离卷积，提供局部归纳偏置，以极小的参数成本提高下游任务准确性。