@Tech2Wild：我看到许多关于NFP4和EXL3的讨论，需要一个定论。EXL3在量化方面是否正向前推进？
摘要
用户询问EXL3量化技术相较于NFP4在AI模型中是否取得进展，需要一个结论。
我看到许多关于NFP4和EXL3的讨论，需要一个定论。EXL3在量化方面是否正向前推进？
相似文章
别错过EXL3量化技术
作者分享了在12GB显存GPU上运行使用EXL3量化的30B参数模型的经验，实现了编码和代理任务的高效性能和速度。
Qwen Flash Next 在 Q2 量化下是否比 27B 模型在 Q4 量化下更好？
一位用户在 AI 论坛上询问 Qwen Flash Next 在 Q2 量化下是否优于 27B 参数模型在 Q4 量化下的表现。
如果显存允许，尽量跑更大的量化模型
有用户反馈，把高度压缩的 IQ4_XS 换成更大的 IQ4_NL_XL 后，Qwen 3.6 的 Agent 编程准确率大幅提升；虽然 tok/s 下降，但只要 VRAM 够，强烈建议优先选更大的量化。
EXL3 现已支持 ninfer-ext
ninfer-ext 是 NInfer 的扩展分支，新增了对更大 Qwen 模型的支持、更快的推测式解码、Agent 服务功能，以及针对 Qwen3.8-27B 在 NVIDIA RTX 5090 上的 EXL3 量化支持。
exllamav3 在我的配置下轻松击败运行 CPU 卸载 Qwen-3.8-Flash-Next 的 llama.cpp！
一位用户对 exllamav3 和 llama.cpp 进行了 CPU 卸载推理的基准测试，显示 exllamav3 对于 Qwen 模型更快，但对于其他模型更慢，具体取决于硬件和模型架构。