2.5倍更快的Qwen3.6 NVFP4 Unsloth量化版本
摘要
Unsloth推出使用NVFP4格式的量化Qwen3.6模型，推理速度提升2.5倍。
暂无内容
相似文章
@MiaAI_lab: Nvidia又做到了！@NVIDIAAI的Qwen 3.6 27B NVFP4比Unsloth的Qwen 3.6 27B NVFP4在D…上快了约41%
Nvidia优化后的Qwen 3.6 27B NVFP4模型在DGX Spark上相比Unsloth版本，单次推理速度快41%，并发推理速度快23-25%。
@MiaAI_lab: 仅供参考，运行的最佳Qwen 3.6 35b nvfp4是@NVIDIAAI的nvfp4。不要使用unsloth nvfp4，其性能较差。https://hug…
推荐使用NVIDIA的nvfp4量化版Qwen 3.6 35B，而非Unsloth版本，其性能更优。该模型可在HuggingFace上获取，用于AI应用。
@TeksEdge: Unsloth 发布了目前我测试过的最快的 Qwen3.6-27B MTP GGUF。是时候升级了。与之前的 GGUF 相比，Q4/Q6 XL 版本的推理速度快了约 55%…
Unsloth 发布了优化后的 Qwen3.6-27B MTP 模型 GGUF 版本，与前序量化版本相比，推理速度显著提升（在 RTX 5090 上最高可达 114 tok/s）。
@witcheer：大家都说NVFP4让黑伟德显卡“更快”。我在我的5090上对Qwen3.6-27B进行了三种方式的基准测试：>NVFP4 >普通Q4_K…
在RTX 5090上对Qwen3.6-27B进行的NVFP4基准测试显示，与同等比特的Q4_K_M相比，预填速度提升32-42%，与Q6_K相比提升52-68%，但解码速度提升有限（相比Q4提升+9%），因为解码受内存带宽限制。与Q6相比，质量损失极小（平均-0.8），使得NVFP4成为本地推理的不错选择。
@mr_r0b0t: 叫上兄弟们，新的 @UnslothAI NVFP4 刚刚发布
Unsloth AI 发布了新的 NVFP4 量化 Qwen3.6 模型，在 GPU 上运行速度提升 2.5 倍，并提高了准确性和工具调用能力。