reusable-computation

MiniCache 是一个程序缓存框架，通过参数化思维程序（Program-of-Thought）来复用相似请求间的计算，使用小模型进行语义变量提取和推测性草拟，从而提高大语言模型推理效率。