标签
本文提出了注意力感知变换编码（AATC）用于压缩大语言模型中的KV缓存，通过注意力机制最小化失真，在约5.8倍压缩下实现了近乎无损的准确率。
本文提出NOVA-KV，一种用于KV缓存量化的变换编码方法，它利用注意力保持变换在查询实际关注的位置分配比特，与先前方法相比，在低比特率下提高了长上下文检索精度。