kv-cache-blending

标签

#kv-cache-blending

有人尝试过KV缓存混合吗？

Reddit r/LocalLLaMA ↗ · 2026-08-22

作者通过将提示分割成重叠的块来实验KV缓存混合，在Ling3-tiny上实现了预填充速度提升3倍，而不影响检索任务。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈