kv-cache-eviction

本文介绍了 LaProx，这是一种用于长上下文大模型推理的新型 KV 缓存淘汰策略。它将问题重构为输出感知的矩阵乘法近似问题，仅使用 5% 的缓存用量即可实现高性能。