kv-cache-eviction

Random Attention 提出了一种无信号的 KV 缓存驱逐策略，适用于推理模型，在 MATH-500 和 LiveCodeBench 等基准测试中，其性能匹配或超越了学习方法，同时推理速度更快。

本文提出了一种名为Random Attention的KV缓存驱逐方法，它使用随机选择而非评分，匹配选择性方法的同时提高推理任务中的吞吐量。

本文分析了稀疏注意力模型中的KV-Cache淘汰策略，表明选择最大权重近乎最优，且已发表的差距源于内存和查询信息，其中ContourKV取得了强劲性能。

本文介绍了 LaProx，这是一种用于长上下文大模型推理的新型 KV 缓存淘汰策略。它将问题重构为输出感知的矩阵乘法近似问题，仅使用 5% 的缓存用量即可实现高性能。