deviation-guided-recomputation

标签

Cards List
#deviation-guided-recomputation

KVBoost: 基于偏差引导重计算的块级键值缓存重用,用于高效大语言模型推理

arXiv cs.AI · 4天前 缓存

KVBoost 是一个块级键值缓存重用系统,用于高效大语言模型推理。它通过双哈希键控和偏差引导的重计算,实现高缓存命中率和首 token 时间的显著加速,且不损失质量。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈