caching-mechanism

ACache为扩散大语言模型引入了一种缓存机制，该机制通过选择性重新计算关键标记来提高推理效率，同时不损失准确性。