llm-caching

本文强调了在生产系统中使用 LLM 缓存的重要性，以减少延迟、GPU 利用率和成本，并介绍了 LMCache，这是一个用于可扩展 LLM 推理的开源 KV 缓存管理层。

本文提出，Transformer中的KV缓存充当了记忆化结论的笔记本，使得无需完全重计算即可进行精确编辑和组合。该方法在保持跨模型规模决策等价性的同时，实现了显著的延迟降低。