@0xkeenz: 有意思，昨天刚好还在研究 Unsloth 和 NVIDIA 的 Qwen3.6 27B NVFP4 有什么区别，结果今天 Unsloth 就更新了！ 新版 Unsloth 的量化思路和 NVIDIA 官方方案很类似：不再从 BF16 和 …

X AI KOLs Timeline 工具
unsloth quantization nvfp4 fp8 qwen3.6 gpu-memory model-optimization

摘要

Unsloth 发布新版 Qwen3.6 27B NVFP4 量化方案，引入 FP8_E4M3 中间精度层并细化权重保护，在 24GB VRAM 上实现 2.5 倍速度提升，同时改进准确性和工具调用能力。

有意思，昨天刚好还在研究 Unsloth 和 NVIDIA 的 Qwen3.6 27B NVFP4 有什么区别，结果今天 Unsloth 就更新了！ 新版 Unsloth 的量化思路和 NVIDIA 官方方案很类似：不再从 BF16 和 NVFP4 之间二选一，而是引入 FP8_E4M3 作为中间精度层——敏感权重使用 FP8_E4M3 保护，低敏感权重继续使用 NVFP4。 不过 Unsloth 新版的权重保护似乎比 NVIDIA 官方版更细腻：除了 Attention 和 Linear-Attention 主投影使用 FP8，LM Head 和最后 8 层 MLP 也升级到了 FP8。 所以从权重分配来看，这可能是目前质量最高的 Qwen3.6 27B NVFP4 版本！
查看原文
查看缓存全文

缓存时间: 2026/07/11 00:19

有意思，昨天刚好还在研究 Unsloth 和 NVIDIA 的 Qwen3.6 27B NVFP4 有什么区别，结果今天 Unsloth 就更新了！

新版 Unsloth 的量化思路和 NVIDIA 官方方案很类似：不再从 BF16 和 NVFP4 之间二选一，而是引入 FP8_E4M3 作为中间精度层——敏感权重使用 FP8_E4M3 保护，低敏感权重继续使用 NVFP4。

不过 Unsloth 新版的权重保护似乎比 NVIDIA 官方版更细腻：除了 Attention 和 Linear-Attention 主投影使用 FP8，LM Head 和最后 8 层 MLP 也升级到了 FP8。

所以从权重分配来看，这可能是目前质量最高的 Qwen3.6 27B NVFP4 版本！

Unsloth AI (@UnslothAI): We’re releasing new Qwen3.6 quants that run 2.5× faster on your GPU.

Qwen3.6-27B NVFP4 runs on 24GB VRAM. 35B-A3B can hit 17,561 tok/s (B200).

We also improved accuracy, tool calling, agent use, and looping.

Guide: https://t.co/EEQIlFrR0c Qwen3.6 NVFP4:

相似文章