16GB显存炼狱讨论帖

我们正在使用哪些模型和配置？请在这里分享。在Windows系统上，我使用的是这个精简模型 https://huggingface.co/Bucoid/Qwen3.8-27B-Uncensored-IQ4-XS-MTP-16GB-VRAM-GGUF，关闭MTP，将q4 k/q4 v mmproj移至CPU/RAM，并使用小的ub来保存尽可能多的上下文（90k-100k），以便所有内容都留在显存中。如果你使用Linux或有集成GPU，就不必处理Windows占用1.5GB显存的问题，因此有超过14.5GB的显存可用，可能就不会处于炼狱状态。 @echo off .\ikllama\llama-server.exe ^ -m "D:\AI models\qwen3.8\Qwen3.8-27B-Uncensored-IQ4-XS-MTP-16GB-VRAM-GGUF.gguf" ^ :: GPU卸载所有层（99超过最大值，意味着将卸载所有内容） -ngl 99 ^ :: 这取决于你的CPU -t 8 ^ :: 在更高q下无法保存任何内容以节省显存 --cache-type-k q4_0 ^ --cache-type-v q4_0 ^ :: 用fit检查你的最大上下文大小，大约在>100k时上下文旋转开始 -c 100100 ^ :: 此标志应始终开启以优化速度和内存使用 -fa on ^ :: 你需要一个固定的jinja文件以防止它无限运行，我认为这默认为xhigh --chat-template-file chat-template.jinja ^ --chat-template-kwargs "{\"preserve_thinking\": true, \"enable_thinking\": true}" ^ :: 你无法获得更多 -np 1 ^ :: 使用mmproj并将其移至CPU/RAM以节省显存（可能节省约800-900 MB显存） --mmproj mmproj-F16.gguf ^ --no-mmproj-offload ^ :: 我们需要推理 --reasoning on ^ :: 图像mmproj需要这一行 --image-min-tokens 1024 ^ :: --metrics ^ --port 8080 ^ :: 减少显存峰值，节省一些显存 --batch-size 1024 ^ --ubatch-size 256 ^ :: 允许更多缓存到RAM。根据Claude的说法，这主要是针对你的上下文槽检查点，因为确实没有空间 --cache-ram 24576 ^ --ctx-checkpoints 32 ^ :: Delta net架构显然有一个bug，它在保存和移动上下文时会永久停滞，根据Cl*ude的说法，这应该能帮助解决这个问题 --no-context-shift ^ :: 强制将mtp头部移至CPU/RAM（cl*ude估计节省约200 MB） --override-tensor nextn=CPU ^ --jinja pause