@superalesha: 别急着埋葬RTX 3090，先读完这个！@UnslothAI本周发布了qwen3.6-35b的两个新4位量化版本。我花了…

X AI KOLs Timeline 新闻
quantization 4-bit benchmarking rtx-3090 inference performance

摘要

对Qwen3.6-35B在RTX 3090上的nvfp4、nvfp4-fast和AWQ 4位量化进行了基准测试，结果显示性能相近，而MTP头技巧将吞吐量提升了41%。

别急着埋葬RTX 3090，先读完这个！ @UnslothAI本周发布了qwen3.6-35b的两个新4位量化版本。我花了一整晚让它们与awq在我4台3090上竞速，找出最快的那一个。 nvfp4、nvfp4-fast和awq在解码上差异在17%以内，预填充约3%，在gpqa、mmlu-pro和code上差距在3分以内。格式之争打成平手。3090没有fp4单元，因此vllm将所有量化以w4a16在marlin上运行。“fast”格式没什么可跑的。 然后我启用了检查点内自带的MTP头。从173 tok/s到246 tok/s，提升41%，接受率达到95% 依然强悍
查看原文
查看缓存全文

缓存时间: 2026/07/12 12:56

在读完这篇文章之前，千万别急着把 RTX 3090 埋了！

@UnslothAI 本周发布了 qwen3.6-35b 的两个新 4 位量化版本。我花了一整晚，在我的 4 块 RTX 3090 上让它们与 AWQ 赛跑，找出最快的。

nvfp4、nvfp4-fast 和 AWQ 在解码阶段差距在 17% 以内，预填充阶段约 3%，在 GPQA、MMLU-Pro 和代码基准上相差不到 3 个百分点。格式之战打成平手。3090 没有 FP4 单元，所以 vLLM 在 Marlin 上把所有模型都当作 w4a16 运行。“fast”根本无处发挥。

然后我打开了检查点里自带的 MTP 头部。从 173 tok/s 飙到 246 tok/s，提升了 41%，接受率达到 95%。

依然野兽般强劲。

相似文章

三元 Qwen3.6 27B 在 3090 上测试！

Reddit r/LocalLLaMA

用户在 RTX 3090 上测试了三元量化版本的 Qwen3.6 27B，使用两个槽位和 100k KV 缓存，占用 21GB 显存，达到了 60 tk/s 的速度，质量良好且工具调用稳定。