retention-preserving

标签

Cards List
#retention-preserving

Minima-KV:基于混合格式分页注意力的保持保留KV缓存压缩

arXiv cs.AI · 3天前 缓存

Minima-KV 提出了一种基于混合格式分页注意力的保持保留KV缓存压缩方法,旨在减少长上下文LLM服务中的内存占用,并在基准测试中评估了其性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈