serving-framework

本文介绍了Tangram，一个服务框架，它静态解析多轮LLM服务中的非均匀KV缓存压缩，相比全KV基线实现了高达2.6倍的吞吐量提升，同时消除了运行时开销。