cacheblend

CacheBlend，EuroSys 2025 最佳论文，解决了由于提示缓存中严格的前缀匹配导致 90% 的 KV 缓存从未被重用的问题。通过选择性地仅重新计算文档之间的边界令牌，它在不损失质量的情况下实现了 2-4 倍的多文档处理速度提升，并在开源 LMCache 层中实现。