mooncake

Mooncake宣布支持KV缓存的SSD卸载，能够经济高效地将KV缓存容量扩展到DRAM之外，适用于长时间运行的智能体工作负载。分析显示，双峰复用模式使得分层存储更加高效。

vLLM 集成了 Mooncake Store 用于分布式 KV 缓存重用，支持跨节点前缀缓存，高效服务具有高令牌重用的代理工作负载。