DeepSeek v4 Flash 在 4090 + DDR5 上的体验

声明：本文未使用 AI 撰写 我的配置：RTX 4090、128 GB DDR5 5600 MT/s、Intel Core Ultra 7 270k 在 Ubuntu 26.04 上运行 nvidia-595，使用最新的 llama.cpp 构建（今早拉取并重新编译）。 尝试了很多方法，最终使用了 unsloth 的 UD-Q2_K_XL 量化，命令如下： taskset -c 0-7 /home/kevin/ai/llama.cpp/build/bin/llama-server -lv 4 -m /home/kevin/ai/models/DeepSeek-V4-Flash-UD-Q2_K_XL-00001-of-00003.gguf --temp 1.0 --top-p 1.0 --min-p 0.0 -t 8 -fitc 64000 -fa off -np 1 速度：[提示处理：132.5 t/s | 生成：10.9 t/s] 一些备注： 在 Intel Core Ultra 7 270k（我最近购买的 CPU）上，绑定性能核心（pcores）效果显著，速度提升约 2 倍，从 6.8 tok/s 到 11 tok/s。 --no-mmap 会慢很多 使用 -ctk q8_0 或 -ctv q8_0 会导致 llama.cpp 进程崩溃 将 -b 或 -ub 调整为大于 4096 且上下文大于 32k 时，CUDA 缓冲区似乎会膨胀到 90 GB 以上 在使用 llama-server 时，由于某种原因，必须设置 -fa off，否则同样会导致 CUDA 缓冲区膨胀。 总体而言，与 Qwen 3.6 27B Q4_K_XL 相比，它似乎更智能。运行速度较慢，但推理负担较轻，意味着任务仍然能在合理时间内完成。 然而，对于智能体任务，Qwen 3.6 27B 仍然好得多，因为它运行快得多，而且 Qwen 模型在执行智能体任务时似乎不会过度推理。 通过一些修复（flash attention、microbatch/batch 调整、上下文量化等），我认为这个模型在 4090/3090 上可能会相当不错。 如果能把速度提升到大约 20 tg/s 和 300 pp/s，它也许能取代我目前使用的 Qwen 3.6 27b。 另外尝试了运行 IQ4_NL 量化，但最终速度太慢，且无法容纳足够的上下文（仅约 10k）： taskset -c 0-7 /home/kevin/ai/llama.cpp/build/bin/llama-cli -m /home/kevin/ai/models/DeepSeek-V4-Flash-UD-IQ4_NL-00001-of-00004.gguf --temp 1.0 --top-p 1.0 --min-p 0.0 -t 8 速度：[提示处理：50.7 t/s | 生成：8.1 t/s] 我发布这个，希望对其他拥有 24GB 显卡和消费级内存的人有所帮助。 我在这里看到的大多是用 M3 Ultra 和 RTX PRO 6000 的用户，哈哈。