也许将KV缓存卸载到RAM并不差

因此，llama.cpp提供了`-nkvo`（`--no-kv-offload`）选项，将KV缓存卸载到RAM而非VRAM。很多人避免使用它，因为显然这会影响性能。但每个选项都有其权衡之处。在我看来，这是值得的。请听我说。我使用RTX 5060 Ti 16GB和32GB DDR5运行Qwen3.6 27B（IQ4_XS）。为了容纳65k上下文，我必须将KV缓存量化到q4_0，并仅在GPU上保留58层。这给了我**峰值23 tps，长时间生成时降至16 tps**。 llama-server -m Qwen3.6-27B-IQ4_XS.gguf -c 65000 \ -ctk q4_0 -ctv q4_0 -fa on -ngl 58 -np 1 \ --temp 0.6 --top-p 0.95 --top-k 20 --presence-penalty 1.25 \ --min-p 0.0 --chat-template-kwargs '{"preserve_thinking":true}' \ --spec-type draft-mtp --spec-draft-n-max 2 加上`-nkvo`，我能够将整个模型放入GPU，并使用默认的f16作为KV缓存。速度降至**峰值19 tps，长时间生成时14 tps**。不算太差的权衡。 llama-server -m Qwen3.6-27B-IQ4_XS.gguf -c 65000 \ -fa on -ngl 99 -nkvo -np 1 \ --temp 0.6 --top-p 0.95 --top-k 20 --presence-penalty 1.25 \ --min-p 0.0 --chat-template-kwargs '{"preserve_thinking":true}' \ --spec-type draft-mtp --spec-draft-n-max 2 有趣的是，我甚至可以将上下文窗口翻倍至128k，只需在GPU上保留65层中的63层（针对MTP版本）。生成速度变化不大。 llama-server -m Qwen3.6-27B-IQ4_XS.gguf -c 131072 \ -fa on -ngl 63 -nkvo -np 1 \ --temp 0.6 --top-p 0.95 --top-k 20 --presence-penalty 1.25 \ --min-p 0.0 --chat-template-kwargs '{"preserve_thinking":true}' \ --spec-type draft-mtp --spec-draft-n-max 2 当卸载到RAM时，KV缓存量化似乎没有带来任何改进，因此我们基本上免费获得了f16质量。在某些情况下，我发现它反而损害了性能。因此结论是，如果你发现自己为了适应模型而降低KV缓存，或者需要更大的上下文窗口，那么将KV缓存卸载到RAM可能会是更好的选择。