semantic-cache

探讨了衡量生产环境中语义缓存正确性的技术，这是依赖缓存提高效率的AI/ML系统的一个关键问题。

提出SOLAR，一种面向LLM智能体中语义缓存替换的学习增强框架，通过基于遗憾的修改时机和贝叶斯在线学习，优于经典启发式算法。实现恒定的竞争比，并显著优于FIFO。

提议使用 Rust/WASM 在 CDN 边缘构建一个轻量级的开源 LLM 语义缓存，以降低延迟和 API 成本，并寻求社区对架构和用例有效性的反馈。

本文提出语义缓存蒸馏（SCD），一种带损失约束的框架，用紧凑的语义码替换原始KV缓存传输，在保持生成质量在oracle的5% F1内的同时，实现高达2.65倍的TTFT加速。