token-adaptive

DepthWeave-KV 是一种令牌自适应跨层残差分解方法，用于在长上下文Transformer推理中压缩KV缓存。该方法在64K上下文下实现8.3倍内存缩减和72.8令牌/秒的吞吐量，同时在各项基准测试中保持了接近完整缓存的任务质量。