@MiaAI_lab: Nvidia又做到了！@NVIDIAAI的Qwen 3.6 27B NVFP4比Unsloth的Qwen 3.6 27B NVFP4在D…上快了约41%

X AI KOLs Timeline 2026/06/30 19:06 模型

nvidia qwen model-optimization performance inference-speed llm

摘要

Nvidia优化后的Qwen 3.6 27B NVFP4模型在DGX Spark上相比Unsloth版本，单次推理速度快41%，并发推理速度快23-25%。

Nvidia又做到了！🤯 @NVIDIAAI的Qwen 3.6 27B NVFP4比Unsloth的Qwen 3.6 27B NVFP4在DGX Spark上单次会话快了约41%，2-4个并发会话快了23-25%。 @NVIDIAAI 👏 https://t.co/QaImUfA06K

查看原文

查看缓存全文

缓存时间: 2026/07/01 12:08

Nvidia 又做到了！🤯

在 DGX Spark 上，@NVIDIAAI 的 Qwen 3.6 27B NVFP4 比 Unsloth 的 Qwen 3.6 27B NVFP4 在单会话中快约 41%，在 2-4 个并发会话中快 23-25%。

@NVIDIAAI 👏 https://t.co/QaImUfA06K

相似文章

X AI KOLs Timeline

推荐使用NVIDIA的nvfp4量化版Qwen 3.6 35B，而非Unsloth版本，其性能更优。该模型可在HuggingFace上获取，用于AI应用。

Reddit r/LocalLLaMA

Unsloth推出使用NVFP4格式的量化Qwen3.6模型，推理速度提升2.5倍。

X AI KOLs Timeline

一条推文详细介绍了在Nvidia DGX Spark上可以运行的最佳AI模型，包括Qwen 3.6和DeepSeek v4 Flash变体，以及单机和多机设置下的token速度和上下文长度。

X AI KOLs Timeline

Qwen 3.6 27B 在16 GB VRAM上运行快速，得益于'Pure Quant'技术，通过MTP达到40 tokens/s，并支持64k上下文，使得本地AI能在RTX 4060 Ti等消费级GPU上运行。

X AI KOLs Timeline

对Qwen3.6-35B在RTX 3090上的nvfp4、nvfp4-fast和AWQ 4位量化进行了基准测试，结果显示性能相近，而MTP头技巧将吞吐量提升了41%。