在4块RTX 5060 Ti上，使用P2P和PP=4，对新的unslooth/Qwen3.6-27B-NVFP4在并发数为1、4、8、12和16下的基准测试

Reddit r/LocalLLaMA 2026/07/11 01:51 模型

benchmark qwen3.6 nvfp4 unsloth gpu-inference multi-gpu performance

摘要

unslooth/Qwen3.6-27B-NVFP4模型在4块RTX 5060 Ti GPU上，使用点对点(P2P)和流水线并行(PP)在不同并发级别下的基准测试结果。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

详细基准测试：Unsloth的Qwen3.6-27B NVFP4模型在RTX 5090 GPU上的表现，显示MTP（多令牌预测）在短上下文的单次请求中能显著加速，但在批量并发或长上下文场景下则会带来不利影响。

Reddit r/LocalLLaMA

对 Qwen 3.6 27B MTP 在 4 张 RTX 3090 GPU 上的基准分析表明，基于 NVLink 的张量并行相较于 PCIe 配置可实现显著的吞吐量提升（最高达 +53%）。

Reddit r/LocalLLaMA

使用 VLLM 在双 RTX PRO 6000 GPU 上对 Qwen 3.6 27B 和 35B 模型进行基准测试，生成吞吐量高达每秒 3500 个令牌。

X AI KOLs Timeline

对Qwen3.6-35B在RTX 3090上的nvfp4、nvfp4-fast和AWQ 4位量化进行了基准测试，结果显示性能相近，而MTP头技巧将吞吐量提升了41%。

Hugging Face Models Trending

Unsloth 发布了 Qwen3.6-27B 的 NVFP4 量化检查点，声称吞吐量提升 2.5 倍，精度与 FP8 和 BF16 相当，并提供了在 24GB GPU 上通过 vLLM 运行的说明。