@populartourist: 在仓库上持续使用 Qwen3.6 27B NVFP4 后，很明显这个量化版本并不可靠，至少在编…

X AI KOLs Timeline 2026/06/15 05:21 模型

摘要

用户报告称 Qwen3.6 27B NVFP4 量化版本在编码方面不可靠，尽管吞吐量高但质量不稳定，并建议 Q4_K_M 可能更稳定。

在仓库上持续使用 Qwen3.6 27B NVFP4 后，很明显这个量化版本并不可靠，至少在编码方面。质量参差不齐——结果要么非常好，要么很差。吞吐量惊人，但在调试迭代中有所损失。 Ornestein Q6_K 到目前为止是黑马。我确信 Q4_K_M 可以比这个 NVFP4 变体更稳定。

查看原文

查看缓存全文

缓存时间: 2026/06/15 21:09

在与 Qwen3.6 27B NVFP4 量化模型长期打交道后——很明显，这个量化版本并不可靠，至少在编程任务上如此。

质量极不稳定——结果要么非常好，要么很差。

吞吐量惊人，但在调试迭代上消耗严重。

到目前为止，Ornestein Q6_K 才是真正的黑马。

我相信 Q4_K_M 能比这个 NVFP4 变体表现得更稳定。

wd 🔺（@populartourist）： 质量不错的 Qwen3.6 27B NVFP4 嫁接 MTP，附带图片。

适配 RTX 5090，配合 FP8 KV 最多支持 180k/190k 上下文窗口（max_num_seqs=1时），若不并行耗尽上下文还能容纳更多。

编码任务吞吐量达 2-8k tok/s，使用 MTP 时峰值可达 +11k。

初始质量看起来不错。