Qwen3-8B 2.4T 在 Nvidia GB300 NVL72 上达到 288k tokens/s
摘要
NVIDIA 展示了在 GB300 NVL72 硬件上运行 Qwen3-8B 2.4T 参数模型的高吞吐量性能，实现每 GPU 超过 4k tokens/s。
https://developer.nvidia.com/blog/serve-qwen3-8-2-4t-a95b-a-2-4t-parameter-model-with-configurable-reasoning-on-nvidia-gb300-nvl72/ 每 GPU 4k tokens/s，共有 72 个 GPU。每用户 350 tokens/s “无需额外模型调整，该模型在 NVIDIA GB300 NVL72 上使用 FP8 精度在发布时即实现每 GPU 超过 4K tokens/s 和每用户超过 350 tokens/s 的吞吐量。进一步优化，包括 NVFP4 精度，预计将随时间带来性能提升。”
相似文章
Qwen 3.6 在双 RTX PRO 6000 上的基准测试
使用 VLLM 在双 RTX PRO 6000 GPU 上对 Qwen 3.6 27B 和 35B 模型进行基准测试，生成吞吐量高达每秒 3500 个令牌。
Qwen3.8-27B在24GB RTX PRO 4000 SFF上以256K上下文运行（432 GB/s带宽）：通过MTP实现每秒50个token
本文详细描述了一项实验，该实验在24GB GPU上使用多token预测和自定义优化，实现了Qwen3.8-27B在256K上下文下每秒50个token的推理速度。
我将 Qwen3.8-27B 在 RTX 3090 上优化至单请求 99 tps 和批量请求 1150 tps
作者在 RTX 3090 GPU 上优化了 Qwen3.8-27B 模型的推理，通过各种量化和优化技术，实现了单请求高达 99 tps 和批量处理 1150 tps 的性能，并在 GitHub 上发布了更新的代码。
Qwen 3.8 27B 比预期更快
一位用户报告称，Qwen 3.8 27B 模型在双 5060 TI 显卡上达到了 50-60 个令牌每秒的速度，显示出比之前版本（如 Qwen 3.6）更令人意外的速度提升。
@cniongolo: 我不确定大家是否已经意识到，你实际上可以在双 GPU 上运行 Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF…
演示了在双路 Nvidia RTX PRO 6000 Blackwell GPU 上，使用 Hugging Face Inference 运行自定义 Qwen 模型（Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF），达到每秒约 195 个 token 的处理速度。