Qwen3.6-27B 各量化格式 KLD 对比：INT 与 NVFP

Reddit r/LocalLLaMA 模型
quantization nvfp4 int4 mixed-precision memory

摘要

Reddit 帖子对比了 Qwen3.6-27B 的多种量化版本（INT4、NVFP4、BF16-INT4），展示不同场景下内存占用与精度的权衡。

https://preview.redd.it/oe958ecy6twg1.png?width=1484&format=png&auto=webp&s=9649d1833be88ec140e2d4fb96b1a66b2bfe6522 后续还会补充，先放一张图给大家选型参考。记住，**用例**很关键： * 注意 THoTD NVFP 体积明显更大，因为它是 NVFP4A16，而非 NVFP4(A4)。 * NVFP4(A4) 全程保持 4bit，若你跑批处理，batch 起来性能可能更好。 * Cyan 从 INT4 换到 BF16-INT4 后体积暴涨，值得留意。 * 再提醒：混合精度真香，但占空间。为了 0.02 的精度牺牲 6 GB 上下文，值不值？自己权衡。 后续有新模型我会继续往图里加。了解越多，第一次就能选到最适合你的量化版本！！
查看原文

相似文章

# Qwen 3.6 27B - VLLM 性能基准测试结果（BF16、FP8、NVFP4）

Reddit r/LocalLLaMA

使用 VLLM 对 Qwen 3.6 27B 在 BF16、FP8 和 NVFP4 三种量化方式下的详细基准测试显示：NVFP4 在 token 生成方面最快，但 FP8 在提示处理方面表现最佳。本文还提供了针对编码任务选择合适量化的实用建议。

Qwen3.6-27B 量化基准测试

Reddit r/LocalLLaMA

本文使用 KLD 和 Same Top P 指标，对多种 Qwen3.6-27B 量化版本（Q8 至 Q2）进行基准测试，对比了 Unsloth 和 mradermacher 等提供者的量化结果，并给出了质量与大小权衡的建议。