终于在我的V100 6GPU设置（TP2 PP3）上成功运行Qwen 3.8 Next

大家好，经过数日与硬件和引擎问题的斗争，我终于在我的多GPU设置上成功运行了Qwen 3.8 Next。我想分享一下设置过程、基准测试和热测试结果，给其他尝试类似项目的人参考。 看到Reddit上关于多GPU设置变成绝对的加热器甚至起火的持续梗图，我决定进行一些严格的热测试来亲自看看。 故障排除历程 PCIe链路速度问题：安装后，其中一个显卡降到了PCIe Gen 1 x16。花了大约8个小时，分两天诊断并修复了它。 寻找合适的引擎：从sglang-v100开始，但不断遇到连续的OOM崩溃。之前Reddit上有人建议过pxa引擎，但那也报错。最终尝试了1cat-vllm，花了一些时间调整，终于实现了稳定运行！ 配置：使用TP2 PP3运行。目前，推测解码限制为speculative=1。将其设置为2会因内存限制而抛出OOM错误（以后可能会研究优化，但现在能用就行）。 上下文与内存统计 纯文本 INFO：可用KV缓存内存：8.78 GiB INFO：GPU KV缓存大小：531,288 tokens INFO：每个请求最大并发数（262,144 tokens）：2.03x 性能基准测试 1. 提示处理（预填充） 输入长度（Token）速度（tok/s） 1,024 (1K) 1,389 2,048 (2K) 2,536 4,096 (4K) 3,210 8,192 (8K) 4,336 16,384 (16K) 4,679 32,768 (32K) 4,470 65,536 (64K) 3,820 131,072 (131K) 2,759 2. 文本生成（MTP比较） 输出长度（Token）基础速度（无MTP，tok/s）优化速度（启用MTP，tok/s） 128 22.23 41.34 256 22.32 42.48 512 22.70 43.04 1024 22.86 43.28 2048 22.83 43.38 平均 22.59 42.70 MTP几乎在所有情况下使生成吞吐量翻倍。 温度与声学 人们经常调侃多GPU设置变成加热器或喷气发动机，所以我进行了一次彻底的热/压力测试： 压力测试：连续运行gpu-burn 20分钟。 热平衡：温度峰值达到65°C并稳定在约64°C。 风扇曲线：根据我的风扇控制脚本，在64°C时风扇仅以约76%的速度运行。显卡温度保持在65°C以下，甚至不需要全速运转。 对这个系统最终的稳定、凉爽和安静程度感到非常满意。