attention

论文提出了计算条件化信用传递（CCT）和 CompPO 算法，用于大语言模型强化学习中的架构感知信用分配，性能优于 GRPO 等基线方法。

文章分享了一个直觉，即RNNs中的压缩代表智能递归，而RLMs中的递归代表智能注意力，比较了AI模型中不同的上下文处理方法。

本文介绍了MARCH，一种网络架构，通过将累积的循环状态检查点缓存为内容可寻址的状态锚点，将循环状态空间模型扩展到固定尺寸维度之外，从而实现高效的长程记忆检索，在长上下文基准测试中优于线性注意力变体。

LoKiFormer proposes a new LLM architecture with Local Fusion Attention and a Knowledge Memory Module to improve pretraining efficiency, achieving 1.33x faster convergence than baselines.

本文介绍了 SinkFlex-RL，一个用于长时程工具使用智能体任务中内存可行的强化学习的模块化训练系统。它结合了兼容 Gymnasium 的环境封装、基于 GRPO 的策略优化，以及 sink 感知的 FlexAttention 路径，在 4096 个 token 时峰值显存降低 19.7%，并能在 eager attention 内存溢出的情况下支持 8192 个 token 的运行。

本文应用Marchenko-Pastur随机矩阵理论于预训练注意力权重，将每个投影矩阵分解为类随机体（bulk）和谱异常值。因果实验表明，在Mistral-7B中将这些异常值置零会使HellaSwag、MMLU和PIQA的性能接近随机水平，从而揭示谱异常值编码了11个Transformer中占主导地位的学习结构。

Motif 3 是一个具有 3140 亿参数的混合专家语言模型，每个 token 激活 132 亿参数，采用分组差分潜在注意力，并在 12.5 万亿 token 上完成训练，在推理、编程和长上下文任务中展现出具有竞争力的性能。

This preliminary technical report proposes RIG-RoPE, a relation- and instance-gated rotary positional encoding with duration-aware temporal coordinates, aiming to address spatial interference and improper temporal scaling in multimodal LLMs. It introduces a gating mechanism for height/width rotations and duration-aware temporal coordinates, but leaves large-scale empirical validation to future work.

This paper establishes theoretical bounds on the number of attention heads needed to produce vector representations that support multiple tasks, such as computing min/max and XOR, showing trade-offs between head count, embedding dimension, and precision.

本文提出NOVA-KV，一种用于KV缓存量化的变换编码方法，它利用注意力保持变换在查询实际关注的位置分配比特，与先前方法相比，在低比特率下提高了长上下文检索精度。

This paper studies how an agent with limited perceptual bandwidth should allocate interoceptive precision across bodily needs in a foraging task, showing that dynamically attending to the most-needed channel improves survival under a fixed precision budget.

提出了OptR，一种用于INT2 KV缓存量化的输出感知旋转方法，可最小化输出后的注意力误差，在多个模型和基准上改进QuaRot和OSCAR。

苏剑林对K3架构进行复盘，核心为KDA + MLA + Stable LatentMoE + AttnRes的组合，讲解其设计取舍、MoE稳定性改进、为何保留MLA，以及DSV4与MLA的关系。

DeepSeek-V4-Flash 是一个 284B 参数的 MoE 模型，每 token 激活 13B 参数，采用混合压缩注意力机制，可降低 1M token 上下文的 KV 缓存需求。可使用 Modal 上的 SGLang 提供服务，在单个 B300 上实现快速解码。

NVIDIA explains how attention architecture choices (group size, head dimension, KV-cache size, parallelism) set the ceiling for long-context inference performance, with guidelines for co-designing models for faster serving.

ResKV提出了一种KV缓存压缩方法，将固定预算分为精确的主缓存和紧凑的残差缓存，以重构被省略的注意力贡献，从而在多个骨干网络上提升LongBench和RULER上的性能。

本文提出了SEDR-Seq2P，一种用于多任务工业非侵入式负荷监测（NILM）的轻量级膨胀残差序列到点网络，与WaveNet相比，该网络实现了更高的精度，并将推理延迟降低了58%。

本文提出了一种KV缓存逐出策略，通过反因果惊奇度对令牌进行评分，移除那些可以从未来上下文中很好预测的过去令牌。该方法无需训练、分布内，并通过快速的单层近似实现了具有竞争力的性能。

本综述系统性地提出了大型语言模型中记忆机制的分类法，从表示、更新动态和持久性三个维度进行分类，并形式化了底层机制组件。

MM-ShiftKV是一种无需训练的方法，通过在预填充阶段近似解码时的查询行为来改进多模态大语言模型的KV缓存选择，减少内存占用同时保持性能。