layer-wise-optimization

标签

Cards List
#layer-wise-optimization

PolyKV: 异构保留与分配的KV缓存压缩

arXiv cs.LG · 2天前 缓存

PolyKV是一种逐层的KV缓存压缩框架,为每一层分配异构的驱逐策略和非均匀的预算,在LongBench上使用LLaMA-3.1-8B和Qwen3-8B相比统一基线有显著提升。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈