标签
论文提出了 KVFetch,一个无需训练的框架,通过在基于评分的 KV cache 压缩器中加入时序召回通道,解决压缩导致的"序列遗忘"问题(即压缩后逐字复制能力失效),将复制性能从 0.8 恢复至 78.4,并在相同预算下将 RULER-16K 平均得分提升 +8.4。
TaskPress introduces a query-agnostic KV cache compression framework that uses a task guide as a meta-query and quantization scale factors to prune irrelevant tokens, enabling reusable caches across diverse queries with negligible overhead.
KVpop提出了一种由未来注意力目标监督的学习型KV缓存驱逐策略,在Qwen3模型上实现了高压缩率(例如,75%压缩率下保持98%性能),同时保持质量。