标签
CompressKV针对基于GQA的大语言模型，提出了一种语义检索引导的KV缓存压缩方法，通过识别语义检索头来保留关键令牌。在LongBench任务中，仅使用3%的KV缓存即可实现超过97%的全缓存性能。
PolyKV是一种逐层的KV缓存压缩框架，为每一层分配异构的驱逐策略和非均匀的预算，在LongBench上使用LLaMA-3.1-8B和Qwen3-8B相比统一基线有显著提升。
本文介绍了Tangram，一个服务框架，它静态解析多轮LLM服务中的非均匀KV缓存压缩，相比全KV基线实现了高达2.6倍的吞吐量提升，同时消除了运行时开销。
在 RTX 5090 上对 DFlash 推测解码结合 KV 缓存压缩进行的基准测试显示，针对 Qwen3.6-27B 模型最高可实现 3.26 倍加速，且困惑度下降极小，其中 q4_0/turbo4 提供了最佳平衡。
BeeLlama.cpp is a fork of llama.cpp that integrates DFlash speculative decoding, TurboQuant/TCQ KV-cache compression, and adaptive draft control, achieving up to 3x faster inference and 7.5x context expansion on the same hardware.
本文提出了阴影掩码蒸馏（SMD），旨在解决大语言模型在强化学习后训练中因 KV 缓存压缩而导致的离策略偏差。该方法引入了一种机制，确保在策略上的对齐，并提高长上下文推理任务的内存效率。
本文介绍了Forcing-KV，这是一种针对自回归视频扩散模型的混合KV缓存压缩策略，它将注意力头分为静态和动态两类，在1080P分辨率下实现了高达2.82倍的加速，同时保持了输出质量。
OjaKV 引入了一种上下文感知的在线低秩KV缓存压缩框架，该框架利用混合存储策略和Oja算法进行增量子空间自适应，以减少长上下文大语言模型推理中的GPU内存瓶颈，且无需模型微调。