management-layer

LMCache 是一个开源的KV缓存管理层，用于LLM推理，通过支持跨推理引擎持久化存储和复用KV缓存，减少首Token延迟并提升吞吐量。