标签
本文提出InfoKV，一种熵感知的KV缓存压缩框架，结合了token级别的预测不确定性和注意力分数，以提高长上下文推理效率。实验表明，它在Llama-3.1、Llama-3.2和DeepSeek-R1上优于现有的基于注意力的方法。