@QuixiAI: 教训总结：始终使用BF16 KV缓存。我之前用的是turboquant。是的，VRAM消耗很糟糕——所以另一个技巧是…

X AI KOLs Timeline 新闻
kv-cache bf16 cpu-offloading ai-optimization slimserve qwen-model

摘要

作者分享了使用BF16 KV缓存而非turboquant进行AI模型优化的技术经验，并在SlimServe中为Qwen模型实现了CPU卸载以管理VRAM消耗。

教训总结： 始终使用BF16 KV缓存。 我之前用的是turboquant。 是的，VRAM消耗很糟糕——所以另一个技巧是CPU卸载KV缓存。 已在SlimServe中为3090和Qwen实现（需要大量测试才能正确运行） 我还有进一步的工作要将其通用化到所有模型。 我目前在Clearwing上评估Quen3.8-Flash-Next
查看原文
查看缓存全文

缓存时间: 2026/08/29 12:04

经验教训： 务必使用 BF16 缓存键值对。
我曾使用 turboquant 方案，
VRAM占用确实很严重——因此另一个优化技巧是将键值对缓存卸载至CPU。
已在 SlimServe 中为 3090 显卡与 Qwen 模型实现此方案（需经过大量调试才能完善）
后续计划将其扩展为支持所有模型的通用方案。
目前正通过 Clearwing 平台评估 Quen3.8-Flash-Next 模型性能。

Eric Hartford (@QuixiAI): 使用 Qwen3.8-Flash-Next 时发现，它甚至无法跟踪多轮对话。该模型会回答我两轮对话前提问的内容。 以上结论基于 FP8 精度测试。

相似文章

16GB显存炼狱讨论帖

Reddit r/LocalLLaMA

一个讨论帖，分享在16GB显存Windows系统上运行AI模型如Qwen3.8-27B的配置和技巧，专注于内存优化技术。

您可以将Qwen3.8-Flash-Next模型的大部分KV缓存卸载到RAM中，而不会明显影响解码速度。 在使用8bit量化的Qwen3.8-Flash-Next模型时，KV缓存大小约为每token 12.5MB。通过将大部分KV缓存从显存移至RAM，并只在显存中保留少量热数据，可以显著扩大显存能够支持的上下文长度。这种混合存储方式仅会增加约1.2ms的延迟，对实际推理速度影响微乎其微，为处理超长上下文提供了一种高效且低成本的解决方案。

Reddit r/LocalLLaMA

演示了将Qwen3.8-Flash-Next模型的KV缓存卸载至系统内存的技术，通过利用该模型高效架构，可在最大程度减少解码速度下降的情况下支持长上下文推理。