response-times

本文介绍了一个用Rust构建的LLM Cache，通过精确匹配和语义匹配重用之前的答案，以降低API成本并加快响应速度。