@Tech2Wild：我看到许多关于NFP4和EXL3的讨论，需要一个定论。EXL3在量化方面是否正向前推进？

X AI KOLs Following 2026/08/30 07:33 新闻

ai-quantization nfp4 exl3 model-comparison social-media

摘要

用户询问EXL3量化技术相较于NFP4在AI模型中是否取得进展，需要一个结论。

我看到许多关于NFP4和EXL3的讨论，需要一个定论。EXL3在量化方面是否正向前推进？

查看原文

相似文章

Reddit r/LocalLLaMA

作者分享了在12GB显存GPU上运行使用EXL3量化的30B参数模型的经验，实现了编码和代理任务的高效性能和速度。

Reddit r/LocalLLaMA

有用户反馈，把高度压缩的 IQ4_XS 换成更大的 IQ4_NL_XL 后，Qwen 3.6 的 Agent 编程准确率大幅提升；虽然 tok/s 下降，但只要 VRAM 够，强烈建议优先选更大的量化。

X AI KOLs Following

NVIDIA 的 4 位量化版 Qwen3.6-27B (NVFP4) 相较于完整的 bf16 模型被发现近乎无损，行为差异微小且随机而非系统性，使其成为实用的即插即用替代品。

Reddit r/LocalLLaMA

一项详细基准测试，比较了 Qwen3.6 27B 在 GGUF、NVFP4、AWQ、AutoRound 和 FP8 格式下的 16 种量化，测量与未量化参考的 KL 散度。纯权重的 GGUF 量化通常在质量-大小权衡上表现最佳，而 vLLM 量化则差异显著。

Reddit r/LocalLLaMA

本文详细测试了Qwen3.8-Flash-Next-NVFP4与Qwen3.8-27B-FP8两款AI模型在各类任务中的性能表现，结果显示Flash-Next版本在速度与失败率方面更具优势，但在处理多步骤符号任务时表现较弱。