2.5倍更快的Qwen3.6 NVFP4 Unsloth量化版本

Reddit r/LocalLLaMA 2026/07/10 13:20 工具

unsloth qwen3.6 nvfp4 quantization speedup inference

摘要

Unsloth推出使用NVFP4格式的量化Qwen3.6模型，推理速度提升2.5倍。

暂无内容

查看原文

相似文章

Hugging Face Models Trending

Unsloth 发布了 Qwen3.6-27B 的 NVFP4 量化检查点，声称吞吐量提升 2.5 倍，精度与 FP8 和 BF16 相当，并提供了在 24GB GPU 上通过 vLLM 运行的说明。

X AI KOLs Timeline

Nvidia优化后的Qwen 3.6 27B NVFP4模型在DGX Spark上相比Unsloth版本，单次推理速度快41%，并发推理速度快23-25%。

Hugging Face Models Trending

Unsloth 发布了 Qwen3.8-27B AI 模型的 NVFP4 量化版本，该模型在编码、专业工作、智能体任务和原生视觉语言理解方面提供了增强的能力。

X AI KOLs Timeline

推荐使用NVIDIA的nvfp4量化版Qwen 3.6 35B，而非Unsloth版本，其性能更优。该模型可在HuggingFace上获取，用于AI应用。

Reddit r/LocalLLaMA

这是 Qwen3.8-27B AI 模型的完全量化 4-bit NVFP4 版本，采用 QUASAR 方法进行训练，以在保持高质量的同时减小模型大小。