diversity-scoring

标签

#diversity-scoring

超越平均注意力：基于多样性的分层KV缓存驱逐评分

arXiv cs.CL ↗ · 2天前缓存

本文提出了一种多样性感知的分层评分方法，用于大型语言模型中的KV缓存驱逐，通过整合注意力分散和冗余性来提升LongBench数据集上的性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈