nvlink

在双 RTX 3090 上测试 NVLink 用于 AI 推理和训练，发现张量并行提示处理（30%）和 FSDP 训练（3 倍）有显著加速，但对令牌生成或分层推理影响极小。

解释多GPU系统的通信模型，涵盖延迟与带宽之间的权衡，并比较MST和Ring算法在广播等集合操作中的应用。

更正说明：RTX Spark 没有 600GB/s 带宽；该数字实际上是 NvLink 速度，如 Computex 幻灯片所示。

用户详细介绍了对配备双RTX 3090 eGPU和NVLink的AMD Strix Halo系统进行改造和基准测试的过程，发现对密集模型的LLM推理速度有所提升，尤其是使用vLLM时，并讨论了能效权衡。

对 Qwen 3.6 27B MTP 在 4 张 RTX 3090 GPU 上的基准分析表明，基于 NVLink 的张量并行相较于 PCIe 配置可实现显著的吞吐量提升（最高达 +53%）。