在查询关注之处分配比特：具有注意力保持变换的KV缓存向量量化

arXiv:2608.04074v1 公告类型：新 摘要：长上下文大语言模型解码在每一步都读取键值（KV）缓存。加载缓存的时间比计算注意力乘积更长，因此吞吐量受带宽限制。因此，减小缓存大小可以提高解码速度和服务容量。挑战在于在保持注意力乘积、重建代价低廉以及使用固定的每令牌比特数的同时减小缓存大小。在每元素两比特的情况下，最有竞争力的方法依赖于正交变换。然而，现有技术要么是数据无关的，要么使用查询统计信息而不从失真准则推导变换。此外，它们依赖于基于随机旋转或Hadamard旋转构建的变换，这些变换均衡各条目之间的方差而非压缩能量，并且使用固定宽度的标量量化器，在低比特率下是次优的。本文将KV缓存量化问题建模为变换编码问题，其中失真定义为注意力乘积的误差。我们基于高分辨率模型，从校准统计数据中为键和值推导出闭式最优变换。我们证明最优键变换不是正交的，并且满足广义Parseval关系：注意力感知失真在变换域中变为均方误差（MSE）。因此，我们可以直接对变换后的键系数应用MSE最优向量量化器。为了满足固定宽度布局要求，我们证明将系数分组为等体积分区可以使等大小码本在同一高分辨率模型下达到变速率最优。在每元素两比特的情况下，我们的方法NOVA-KV能够恢复标量量化方法在相近吞吐量下丢失的大部分长上下文检索精度。

# KV 缓存向量量化与注意力保持变换
来源：https://arxiv.org/html/2608.04074
\\contribution [*] 同等贡献

## 把比特花在查询关注之处：具有注意力保持变换的 KV 缓存向量量化

Amir Ziashahabi, Eduardo Pavez, Antonio Ortega, Salman Avestimehr
南加州大学电气与计算机工程系
\{samuelf9,