论文页面 - ReFreeKV：迈向无阈值的KV缓存压缩

来源：https://huggingface.co/papers/2502.16886

摘要

ReFreeKV 解决了依赖阈值的KV缓存剪枝方法的局限性，提出了一种无阈值的方案，能够自适应地分配压缩预算，同时在多样化的数据集和模型规模上保持完整缓存的性能。

为了降低LLM推理（https://huggingface.co/papers?q=LLM%20inference）过程中的内存消耗，已有少量方法被提出用于KV缓存剪枝（https://huggingface.co/papers?q=KV%20cache%20pruning）。虽然这些技术可以在许多数据集上实现无损的内存缩减，但它们往往依赖于一个未被充分强调的条件：需要预先确定一个输入/领域特定的KV缓存预算阈值，才能达到最优性能。然而，这种输入敏感的设计在实际应用场景中可能受到很大限制，因为开放域输入涵盖各种领域、长度和难度级别，阈值选择缺乏明确的边界。因此，对这类输入敏感阈值的依赖可能成为根本性限制，导致在任意输入上出现大幅性能下降。在这项工作中，我们提出一个新目标，以解除阈值约束，实现鲁棒的KV压缩，倡导“无阈值”方法，该方法能够自适应地调整预算分配，同时保持完整缓存的性能。接着，我们提出一种新方法 ReFreeKV，作为该目标的首次实例化。在13个具有不同上下文长度、任务类型和模型规模的数据集上进行的大量实验证明了其有效性和效率。我们的代码已公开发布在 https://github.com/Patrick-Ni/ReFreeKV。

查看 arXiv 页面（https://arxiv.org/abs/2502.16886）查看 PDF（https://arxiv.org/pdf/2502.16886）GitHub1（https://github.com/Patrick-Ni/ReFreeKV）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2502.16886）

在你的 agent 中获取该论文：

hf papers read 2502.16886

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2502.16886 以从该页面链接。

引用该论文的数据集0

没有数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2502.16886 以从该页面链接。

引用该论文的 Spaces0

没有 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2502.16886 以从该页面链接。

包含该论文的收藏0

没有收藏包含该论文

将该论文添加到收藏（https://huggingface.co/new-collection）以从该页面链接。