论文页面 - QuantMLA：面向低比特 MLA KV 缓存的功能对齐双路量化

来源：https://huggingface.co/papers/2609.36760

摘要

多头潜在注意力（Multi-Head Latent Attention, MLA）通过紧凑的缓存实现了富有表现力的多头注意力，涵盖其内容路径与解耦的 RoPE 路径，但缓存内存仍然随上下文长度和批大小线性增长。在本研究中，我们建立了 MLA 双路量化误差的系统模型，刻画了它们对注意力输出失真的不同影响，并解释了 RoPE 路径误差被显著放大的原因。在该分析的指导下，我们提出了 QuantMLA——一个面向低比特双路量化功能对齐框架。我们推导出了针对每条路径的变换空间，这些空间在保持全精度计算的同时，可以离线完全融合到模型参数中，从而消除了在线变换开销。在这些空间内，QuantMLA 通过功能对齐的目标函数学习每条路径的特定变换：注意力输出重建捕捉内容路径的耦合匹配误差和聚合误差，而位置 QK 重建则保留注意力 logits 中由 RoPE 引起的分量，并为输出失真提供理论边界。在四个 MLA 模型系列上，据我们所知，QuantMLA 实现了首个联合 INT4 内容缓存和 RoPE 缓存量化方案，且精度损失极小。将内容缓存进一步压缩至 INT2、同时将 RoPE 键缓存保持在 INT4，在具有挑战性的推理和代码基准上仍保持了有竞争力的性能。我们开发了一个原生低比特 MLA 注意力内核，将解包和反量化直接集成到注意力计算中。物理缓存布局在 128K 上下文下实现了 3.59 倍压缩，在缓存压力服务负载下实现了比 BF16 高 5.168 倍的整任务输出吞吐量。代码将在论文被接收后发布。

查看 arXiv 页面 (https://arxiv.org/abs/2609.36760) | 查看 PDF (https://arxiv.org/pdf/2609.36760) | 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36760)

在你的 agent 中获取这篇论文：

hf papers read 2609.36760

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联此论文。

在模型 README.md 中引用 arxiv.org/abs/2609.36760 以从此页面链接。

引用本文的数据集 0

暂无数据集关联此论文。

在数据集 README.md 中引用 arxiv.org/abs/2609.36760 以从此页面链接。

引用本文的 Spaces 0

暂无 Space 关联此论文。

在 Space README.md 中引用 arxiv.org/abs/2609.36760 以从此页面链接。

包含本文的合集 0

暂无合集包含此论文。

将本文添加到合集以从此页面链接。