pcie

测试表明，搭载Arrow Lake CPU的Intel消费级平台（如Z890）存在硬件/固件限制，阻碍了多GPU之间进行正常的PCIe点对点（P2P）通信。虽然通道数量充足，但这些平台仍不适合多GPU AI工作负载。

作者分享了在四张RTX 3090本地设备上六个月的测量数据，结果表明对于适配较少显卡的模型，数据并行通常优于张量并行，吞吐量差异可达3.4倍。

在双GPU下使用流水线和张量并行运行llama.cpp时的PCIe传输性能分析。

一位用户询问在PCIe 5.0 x8/x4与x8/x8模式下运行双GPU是否会对LLM推理速度产生显著影响。

用户发现，Threadripper 工作站主板上一处隐藏的 PCIe 2.0 x4 电气限制导致四块 RTX 3090 中的一块性能受限，从而影响了多 GPU 大语言模型推理性能。通过调整插槽布局并切换至张量分裂模式，Mistral 128B 的吞吐量从约 11 tok/s 翻倍至约 24.7 tok/s。

一名开发者记录了为在旧款戴尔PowerEdge R730服务器上运行NVIDIA RTX Pro 6000 Blackwell GPU所需进行的大量硬件和固件破解工作，从而实现了650K上下文长度的本地AI推理。

AMD即将发布基于PCIe的新型可插拔Instinct GPU，面向企业AI市场，为本地大语言模型部署提供潜在的新硬件选择。