kv-cache-offloading

标签

#kv-cache-offloading

您可以将Qwen3.8-Flash-Next模型的大部分KV缓存卸载到RAM中，而不会明显影响解码速度。在使用8bit量化的Qwen3.8-Flash-Next模型时，KV缓存大小约为每token 12.5MB。通过将大部分KV缓存从显存移至RAM，并只在显存中保留少量热数据，可以显著扩大显存能够支持的上下文长度。这种混合存储方式仅会增加约1.2ms的延迟，对实际推理速度影响微乎其微，为处理超长上下文提供了一种高效且低成本的解决方案。

Reddit r/LocalLLaMA ↗ · 2天前

演示了将Qwen3.8-Flash-Next模型的KV缓存卸载至系统内存的技术，通过利用该模型高效架构，可在最大程度减少解码速度下降的情况下支持长上下文推理。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈