BitTide
首页
最新
模型
工具
新闻
产品
论文
事件
今日日报
搜索
订阅
English
登录
chunk-reuse
标签
Cards
List
#chunk-reuse
KVBoost: 基于偏差引导重计算的块级键值缓存重用,用于高效大语言模型推理
arXiv cs.AI
↗
· 4天前
缓存
KVBoost 是一个块级键值缓存重用系统,用于高效大语言模型推理。它通过双哈希键控和偏差引导的重计算,实现高缓存命中率和首 token 时间的显著加速,且不损失质量。
0 人收藏
0 人点赞
← 返回首页
意见反馈
×
提交意见反馈
感谢您的反馈!
提交