标签
本文提出了一种多样性感知的分层评分方法，用于大型语言模型中的KV缓存驱逐，通过整合注意力分散和冗余性来提升LongBench数据集上的性能。
SemKV引入了一个基于经验测量的质量悬崖引导的KV缓存混合精度量化框架，在长上下文LLM推理中实现了显著的存储减少，且没有可检测的质量损失。
PuzzleKV是一种无需训练的方法，用于压缩大语言模型中的键值缓存，采用基于页面的低秩分解，以约60%的存储实现超过96%的性能。