面向突发性LLM推理的预测性投机KV复制

Hacker News Top 2026/07/31 19:55 论文

kv-cache llm-inference speculative-execution replication bursty-workloads

摘要

本文介绍了一种用于处理突发性LLM推理工作负载的预测性投机KV复制方法，代码可在GitHub上获取。

<a href="https://github.com/jwlaboratory/bite-the-bullet" rel="nofollow">https://github.com/jwlaboratory/bite-the-bullet</a>

查看原文

相似文章

arXiv cs.CL

本文介绍了SparseSpec-L，一种用于长上下文LLM推理的无需训练的自推测解码框架，它使用动态稀疏化且可召回（recallable）的KV缓存，以及基于熵的推测长度控制器，相比自回归解码可实现高达2.79倍加速。

Reddit r/LocalLLaMA

一个开源仓库proveKV展示了一种可复现的KV缓存压缩技术，在SmolLM2-1.7B上实现了36倍无损（vs f32）和68倍有损内存减少，且PPL回归为零，包括Rust示例和审计管道。

Reddit r/LocalLLaMA

DKV是一个开源框架，用于在本地LLM推理过程中压缩KV-cache，提供CLI和技术报告。

arXiv cs.LG

介绍了RKSC，一个无需训练的推理框架，用于多分支LLM推理，通过基于相似度的共享和提前退出减少KV缓存冗余，实现最高3倍加速且错误率极低。

arXiv cs.AI

CompressKV针对基于GQA的大语言模型，提出了一种语义检索引导的KV缓存压缩方法，通过识别语义检索头来保留关键令牌。在LongBench任务中，仅使用3%的KV缓存即可实现超过97%的全缓存性能。