DKV: 用于本地LLM推理的开源KV-cache压缩框架（CLI + 技术报告）

Reddit r/LocalLLaMA 2026/07/25 03:27 工具

open-source kv-cache compression llm-inference cli technical-report framework

摘要

DKV是一个开源框架，用于在本地LLM推理过程中压缩KV-cache，提供CLI和技术报告。

暂无内容

查看原文

相似文章

arXiv cs.AI

CompressKV针对基于GQA的大语言模型，提出了一种语义检索引导的KV缓存压缩方法，通过识别语义检索头来保留关键令牌。在LongBench任务中，仅使用3%的KV缓存即可实现超过97%的全缓存性能。

arXiv cs.LG

SemKV引入了一个基于经验测量的质量悬崖引导的KV缓存混合精度量化框架，在长上下文LLM推理中实现了显著的存储减少，且没有可检测的质量损失。

arXiv cs.LG

MosaicKV引入了用于长上下文LLM服务的动态二维KV缓存压缩，实现了高达16倍的注意力加速和3倍的内存减少，且精度损失极小。

arXiv cs.LG

PolyKV是一种逐层的KV缓存压缩框架，为每一层分配异构的驱逐策略和非均匀的预算，在LongBench上使用LLaMA-3.1-8B和Qwen3-8B相比统一基线有显著提升。

arXiv cs.CL

SGD-KV是一个框架，利用摘要来指导大型语言模型中的KV缓存压缩，在上下文长度高达100万token时，将内存使用量减少高达75%，同时在长上下文基准测试中实现最先进的性能。