标签
提出了 RAQ-MLA，一种针对多头潜在注意力（MLA）缓存的角色感知量化方法，无需训练即可将 MLA 缓存压缩至约 2.5 比特，在四个 MLA 模型上的推理与编码任务中几乎无损。
RoLaQ提出了针对多头潜注意力（MLA）模型的2位KV缓存联合旋转与范围校准的离线量化方法，在DeepSeek-V2-Lite上实现3.96倍BF16 KV容量和2.51倍解码吞吐提升。
QuantMLA 提出一种功能对齐的双路径量化框架，对 MLA 的内容路径与 RoPE 路径进行低比特 KV 缓存压缩，首次实现 INT4 联合缓存且精度几乎无损，并通过自定义低比特注意力内核在 128K 上下文下获得 3.59 倍压缩和 5.168 倍吞吐提升。
本文展示了对TALH的探索性消融研究，TALH是一种结合MLA和SSM的混合语言模型，表明在测试设置中，SSM的集成对验证性能的影响大于MLA，并提供了关于消费级硬件上内存使用和计时的见解。
作者推测 Qwen 4 的可能架构，并基于对 Deepseek 的逆向工程讨论了潜在设计，例如嵌入卸载的线性注意力或多头潜在注意力混合架构。
本文首次对多头潜在注意力（MLA）进行机械可解释性研究，分析其低秩瓶颈如何分离内容与位置信息，并重塑Transformer电路。