transform-coding

标签

Cards List
#transform-coding

在查询关注之处分配比特:具有注意力保持变换的KV缓存向量量化

arXiv cs.LG · 3天前 缓存

本文提出NOVA-KV,一种用于KV缓存量化的变换编码方法,它利用注意力保持变换在查询实际关注的位置分配比特,与先前方法相比,在低比特率下提高了长上下文检索精度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈