为什么AutoRound被严重忽视？
摘要
一位用户质疑为什么AutoRound——这款在低位宽下精度保留出色且能直接导出GGUF的量化工具，尽管在复杂模型（如Qwen3.6 27B）上表现优于标准AWQ和RTN，却仍然被忽视。
说真的，为什么这里几乎没人讨论AutoRound？我最近在Qwen3.6 27B上（用的AMD平台）测试了一下，低位宽下的困惑度/精度保留直接碾压标准AWQ或RTN。尤其是在复杂推理或长上下文模型上，它简直像开了挂。然而，看看Hugging Face，几乎所有主流模型制作者还在发布标准AWQ或基础的GGUF脚本。是因为Intel的名字挂在仓库上，大家觉得它绑定了Gaudi或Arc吗？（实际上它只是PyTorch，任何地方都能跑）。还是说15分钟的校准时间对批量上传者来说太麻烦？现在AutoRound原生支持直接导出标准GGUF（绕过了llama.cpp里通常抛出NotImplementedError的convert_hf_to_gguf.py），简直没理由不用它。我是不是漏了什么？有没有我没注意到的隐藏缺点或推理速度回归？很想听听其他实际制作过这些量化模型的人的意见。
相似文章
Qwen 3.6 27B AutoRound GGUF，需要您的反馈
一位用户分享了他们使用AutoRound对Qwen 3.6 27B进行GGUF量化的版本，声称其性能优于其他量化版本，并邀请反馈。
我将 Qwen3.6 27B 的 GGUF 量化与 NVFP4、AWQ、AutoRound 和 FP8 进行了对比
一项详细基准测试，比较了 Qwen3.6 27B 在 GGUF、NVFP4、AWQ、AutoRound 和 FP8 格式下的 16 种量化，测量与未量化参考的 KL 散度。纯权重的 GGUF 量化通常在质量-大小权衡上表现最佳，而 vLLM 量化则差异显著。
unsloth/Qwen3.6-27B-NVFP4 vs. Intel/Qwen3.6-27B-int4-AutoRound vs. nvidia/Qwen3.6-27B-NVFP4 —— 该选哪一个？
本文比较了 Qwen3.6-27B 的三种量化变体（Unsloth 和 Nvidia 的 NVFP4，Intel 的 int4-AutoRound），并向社区请求基准测试和幻觉数据。
@populartourist: 在仓库上持续使用 Qwen3.6 27B NVFP4 后，很明显这个量化版本并不可靠，至少在编…
用户报告称 Qwen3.6 27B NVFP4 量化版本在编码方面不可靠，尽管吞吐量高但质量不稳定，并建议 Q4_K_M 可能更稳定。
Qwen3.6-27B 量化基准测试
本文使用 KLD 和 Same Top P 指标，对多种 Qwen3.6-27B 量化版本（Q8 至 Q2）进行基准测试，对比了 Unsloth 和 mradermacher 等提供者的量化结果，并给出了质量与大小权衡的建议。