关于在 4x5060 ti 分叉上排查 P2P 问题的发现

过去一周我深入研究了这个问题。我使用 Linux 已经 14 年，是一名云系统工程师，专注于为一家私有云提供商提供支持的 Linux 基础设施。基本上，如果你使用一块 4x4 分叉 PCIe x16 卡插入主板上的 x16 插槽，并连接了 4 块 GPU。无论 PCIe 代际如何，执行分叉的那块卡都是 P2P 通信的瓶颈。它充当连接 GPU 的 PCIe 桥接器，当 TP=4 时，连接该 PCIe 桥接器上 4 块卡的交换结构的带宽会饱和，导致性能比关闭 P2P 时更差。解决方法包括：不要运行 P2P。它只有 10% 到 15% 的性能提升，可能不值得为了那 10% 的性能而设置这样的环境。购买一个中国制造的 SlimSAS 分叉桥接器。据说使用这些不会遇到该问题。价格在 150 到 250 美元之间。从 Cpayne 购买一个 1200 美元的第四代 PCIe 桥接器。这些设备专门为此场景设计。但花 1200 美元换取 10% 的性能提升可能不值得。不要使用张量并行。改用流水线并行。但其缺点是，在我的基准测试中，流水线并行在低并发时性能比 TP=4 + 关闭 P2P 更差。只有并发足够高，所有 GPU 都有工作可做，且没有 GPU 等待其他 GPU 完成时，PP=4 才能带来更好的性能。eBay 上有二手的 PLX 交换机。但使用这些交换机有风险，由于固件限制，它们可能不支持多 GPU 的 P2P 设置，因为固件限制了非存储设备的使用。选择一块主板和 CPU 组合，为主 x16 插槽和副 x16 插槽提供专用 x16 通道。你可以在这两个插槽上都使用 8i 分叉，每个插槽连接 2 块 GPU。但如果这种设置需要重定时器来获得第四代或第五代速度，那么每个重定时器分叉卡的价格在 130 美元以上。如果有我未列出的解决方案，请告诉我，我会更新此帖。