24 GB 显存跑 170 亿参数模型 + 1M 上下文："第一次成功加载近 100 万 token 上下文，并提取出文本各处的 7 根针"

Reddit r/LocalLLaMA 新闻
long-context kv-cache quantization llama-cpp inference vram

摘要

有用户报告称，在单个 RTX 3090 上，使用基于 Qwen 的 35B A3B 模型（占用 17 GB 显存），配合 BeeLlama.cpp 分支中的 KVarN 4-bit KV 缓存量化，成功运行了 100 万 token 的上下文，并从文本不同位置提取出 7 根针。

https://preview.redd.it/xxjh11f38jih1.png?width=1852&format=png&auto=webp&s=76850ed51e29a8bc86c2ca718d4320075eed4363 只是想分享一个我觉得非常有趣的用户报告。一位名叫 manu69x 的神秘用户，在单个 RTX 3090 上，使用基于 Qwen 3.5 35B A3B 的模型成功运行了 100 万上下文，光模型本身就占了约 17 GB 显存。这里的"运行"不只是指"服务器没崩"，而是上下文没有变成一团乱麻，因此他们能够提取出位于文本各处的 7 根针。他们在我的 BeeLlama.cpp 分支（v0.4.3 预览版）中，对 K 和 V 都使用了 KVarN 4-bit 量化。KVarN 是华为提出的方差归一化 KV 缓存量化，在原始论文和我的 KLD 基准测试中，其精度都优于标准量化。说实话，看到有人把它推到极限真的很酷。从他们的表述来看，q4 量化做不到同样的事，所以 KVarN 似乎在实践中确实表现出更好的精度，并改变了我们对低比特 KV 缓存量化所能达到效果的预期。
查看原文

相似文章

在32GB显存上以Q8量化使用Qwen3.6-27，接近100K上下文

Reddit r/LocalLLaMA

用户分享了他们在拥有32GB显存的RTX 5090上，使用Q8量化的Qwen3.6-27B模型尝试达到115K上下文长度的配置与实验过程，并给出了基准测试结果，以及上下文长度与kv-cache量化之间的权衡。