Qwen3.6-27B 各量化格式 KLD 对比：INT 与 NVFP
摘要
Reddit 帖子对比了 Qwen3.6-27B 的多种量化版本（INT4、NVFP4、BF16-INT4），展示不同场景下内存占用与精度的权衡。
https://preview.redd.it/oe958ecy6twg1.png?width=1484&format=png&auto=webp&s=9649d1833be88ec140e2d4fb96b1a66b2bfe6522
后续还会补充，先放一张图给大家选型参考。记住，**用例**很关键：
* 注意 THoTD NVFP 体积明显更大，因为它是 NVFP4A16，而非 NVFP4(A4)。
* NVFP4(A4) 全程保持 4bit，若你跑批处理，batch 起来性能可能更好。
* Cyan 从 INT4 换到 BF16-INT4 后体积暴涨，值得留意。
* 再提醒：混合精度真香，但占空间。为了 0.02 的精度牺牲 6 GB 上下文，值不值？自己权衡。
后续有新模型我会继续往图里加。了解越多，第一次就能选到最适合你的量化版本！！
相似文章
# Qwen 3.6 27B - VLLM 性能基准测试结果（BF16、FP8、NVFP4）
使用 VLLM 对 Qwen 3.6 27B 在 BF16、FP8 和 NVFP4 三种量化方式下的详细基准测试显示：NVFP4 在 token 生成方面最快，但 FP8 在提示处理方面表现最佳。本文还提供了针对编码任务选择合适量化的实用建议。
Qwen3.6-27B 量化基准测试
本文使用 KLD 和 Same Top P 指标，对多种 Qwen3.6-27B 量化版本（Q8 至 Q2）进行基准测试，对比了 Unsloth 和 mradermacher 等提供者的量化结果，并给出了质量与大小权衡的建议。
更新：适用于ik_llama.cpp的Qwen-27B-IQ4_KS和Qwen-27B-IQ_KS_KT量化版本，尤其针对16GB显存的NVIDIA显卡
面向16GB显存NVIDIA GPU优化的新型Qwen3.6-27B GGUF量化版本，包含实验性Trellis变体，并附带了困惑度基准测试。
@witcheer：大家都说NVFP4让黑伟德显卡“更快”。我在我的5090上对Qwen3.6-27B进行了三种方式的基准测试：>NVFP4 >普通Q4_K…
在RTX 5090上对Qwen3.6-27B进行的NVFP4基准测试显示，与同等比特的Q4_K_M相比，预填速度提升32-42%，与Q6_K相比提升52-68%，但解码速度提升有限（相比Q4提升+9%），因为解码受内存带宽限制。与Q6相比，质量损失极小（平均-0.8），使得NVFP4成为本地推理的不错选择。
RedHatAI/Qwen3.6-35B-A3B-NVFP4
Red Hat AI 发布 NVFP4 量化的 35B MoE 版 Qwen3.6，在保持 96.28% GSM8K 精度的同时，通过 vLLM 实现 4-bit 推理。