DKV: 用于本地LLM推理的开源KV-cache压缩框架（CLI + 技术报告）

Reddit r/LocalLLaMA 2026/07/25 03:27 工具

open-source kv-cache compression llm-inference cli technical-report framework

摘要

DKV是一个开源框架，用于在本地LLM推理过程中压缩KV-cache，提供CLI和技术报告。

暂无内容

查看原文

相似文章

arXiv cs.AI

CompressKV针对基于GQA的大语言模型，提出了一种语义检索引导的KV缓存压缩方法，通过识别语义检索头来保留关键令牌。在LongBench任务中，仅使用3%的KV缓存即可实现超过97%的全缓存性能。

arXiv cs.LG

MosaicKV引入了用于长上下文LLM服务的动态二维KV缓存压缩，实现了高达16倍的注意力加速和3倍的内存减少，且精度损失极小。

arXiv cs.LG

PolyKV是一种逐层的KV缓存压缩框架，为每一层分配异构的驱逐策略和非均匀的预算，在LongBench上使用LLaMA-3.1-8B和Qwen3-8B相比统一基线有显著提升。

arXiv cs.CL

TTKV借鉴人类记忆机制，提出时间分层KV缓存，在128K上下文LLM推理中降低76%延迟、吞吐量翻倍，跨层流量减少5.94倍。

arXiv cs.LG

Hard-KV 引入了级联缓存层次结构和 Logits 校准机制，以解决头部自适应 KV 缓存压缩中的静态-动态不匹配问题，在长上下文 LLM 推理中实现了高达 2 倍的吞吐量提升。