LMCache/LMCache
摘要
LMCache 是一个开源的KV缓存管理层，用于LLM推理，通过支持跨推理引擎持久化存储和复用KV缓存，减少首Token延迟并提升吞吐量。
LMCache：用最快的KV缓存层为您的LLM注入超强动力
查看缓存全文
缓存时间: 2026/06/12 14:50
可扩展LLM推理的KV缓存管理层
博客 | 文档 | 加入Slack | 社区会议 | 路线图
相似文章
@techNmak: 你的LLM推理正在消耗50%的计算资源在已经完成的工作上。如果你正在运行RAG或多轮对话，……
LMCache是一个开源库，它使KV缓存持久化并可在请求之间共享，消除了RAG和多轮对话工作负载中的重复计算，实现了高达15倍的吞吐量提升和3-10倍的首令牌时间减少。
@Alacritic_Super: 如果你在构建生产级 LLM 应用，学习 LLM 缓存。缓存可降低延迟、GPU 利用率和 AP…
本文强调了在生产系统中使用 LLM 缓存的重要性，以减少延迟、GPU 利用率和成本，并介绍了 LMCache，这是一个用于可扩展 LLM 推理的开源 KV 缓存管理层。
@pallavishekhar_: 大语言模型中的 KV Cache，阅读链接：https://outcomeschool.com/blog/kv-cache-in-llms…
本文解释了大语言模型中 KV Cache 的概念，详细阐述了其通过存储和复用键值对以避免推理过程中的冗余计算，从而优化文本生成的原理。
@akshay_pachaar：每个推理引擎都犯了同样的错误。像 vLLM 或 SGLang 这样的推理引擎，是位于你的请求与模型权重之间的软件……
LMCache 是一个开源的 KV 缓存管理层，它将缓存 I/O 与计算分离，可插入 vLLM、SGLang 和 TensorRT-LLM，通过并行化缓存查找和共享 GPU 内存，实现高达 14 倍的首 token 延迟降低和 4 倍的解码加速。
@Alacritic_Super: 想要掌握LLM缓存管理？从这些资源开始。KV缓存：https://huggingface.co/docs/transformers/mai…
精心整理的资源列表，用于掌握LLM缓存管理，包括关于KV缓存、前缀缓存及相关技术的解释、教程和研究论文。