lmcache

一位前vLLM核心贡献者解释了如何通过LMCache将KV缓存卸载到CPU/SSD/远程存储，从而使LLM推理成本降低10倍，这一技术已被彭博等生产环境采用。

LMCache v0.5.1 已发布，新增对 MiniMax M3 的模型支持，新后端包括 AMD hipFile 和 XPU Docker，支持跨层级预取、Device-DAX L1 拆分、隐藏状态缓存，以及用于 vLLM 集成的算子自动化。