semantic-cache

HotKV：一个用 C++20 从零编写的多线程、Redis 兼容的内存存储，内置面向 LLM 响应的语义缓存。在 Banking77 基准上对 Claude 系列模型测试显示，可将调用、Token 和成本减少约 70%，同时详细分析了语义缓存对答案质量的影响。

Redis LangCache 是一种语义缓存工具，通过存储和重用类似的问题-响应对，将 LLM 成本降低高达 70%，使 AI 应用程序更快、更具成本效益。

探讨了衡量生产环境中语义缓存正确性的技术，这是依赖缓存提高效率的AI/ML系统的一个关键问题。

提出SOLAR，一种面向LLM智能体中语义缓存替换的学习增强框架，通过基于遗憾的修改时机和贝叶斯在线学习，优于经典启发式算法。实现恒定的竞争比，并显著优于FIFO。

提议使用 Rust/WASM 在 CDN 边缘构建一个轻量级的开源 LLM 语义缓存，以降低延迟和 API 成本，并寻求社区对架构和用例有效性的反馈。

本文提出语义缓存蒸馏（SCD），一种带损失约束的框架，用紧凑的语义码替换原始KV缓存传输，在保持生成质量在oracle的5% F1内的同时，实现高达2.65倍的TTFT加速。