ranking-preservation

标签

#ranking-preservation

激进解码时KV缓存驱逐的关键因素：时间聚合与排序保持

arXiv cs.AI ↗ · 4小时前缓存

本文研究了AI模型解码时KV缓存压缩中时间聚合和排序保持的重要性，并引入InertiaKV方法以提高解码吞吐量。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈