topic-adaptation

标签

Cards List
#topic-adaptation

Fractional Decay KV-Cache:所有权感知内存管理以提升对话系统中的推理相关性

arXiv cs.CL · 昨天 缓存

提出 Fractional Decay KV-Cache (FD-KVC),一种用于对话系统的所有权感知内存管理算法,该算法使用双通道评分来提升推理相关性,在复合指标上优于 H2O +6.7%,并能更快适应话题变化。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈