cache-compression

标签

Cards List
#cache-compression

KVFetch:面向 KV Cache 压缩所缺失的另一半的时序预取

arXiv cs.LG ↗ · 2026-10-08 缓存

论文提出了 KVFetch,一个无需训练的框架,通过在基于评分的 KV cache 压缩器中加入时序召回通道,解决压缩导致的"序列遗忘"问题(即压缩后逐字复制能力失效),将复制性能从 0.8 恢复至 78.4,并在相同预算下将 RULER-16K 平均得分提升 +8.4。

0 人收藏 0 人点赞
#cache-compression

TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning

arXiv cs.AI ↗ · 2026-08-05 缓存

TaskPress introduces a query-agnostic KV cache compression framework that uses a task guide as a meta-query and quantization scale factors to prune irrelevant tokens, enabling reusable caches across diverse queries with negligible overhead.

0 人收藏 0 人点赞
#cache-compression

KVpop:基于预测性在线剪枝的键值缓存压缩

Hugging Face Daily Papers ↗ · 2026-07-06 缓存

KVpop提出了一种由未来注意力目标监督的学习型KV缓存驱逐策略,在Qwen3模型上实现了高压缩率(例如,75%压缩率下保持98%性能),同时保持质量。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈