打造预算型 32GB → 48GB 显存家用 AI 服务器：2-3 张 RX 9060 XT 16GB 对比 RTX 5060 Ti 16GB，AM5 还是二手 EPYC？

我正在规划一台专用的家用 AI 服务器，主要用于本地 LLM 推理、智能体/工具调用、Docker 服务，以及将来支持 CPU 卸载的更大规模 MoE 模型。 我的计划是先上 2 张 16GB GPU（共 32GB 显存），但我想从第一天起就把平台搭好，因为几乎可以肯定之后会再加第三张同型号 GPU，达到 48GB 总显存。 我在巴西，所以价格有点奇怪。粗略换算成美元后，目前我看到的价格大致如下： RX 9060 XT 16GB：二手市场全新/塑封约 $490 一张 2 张 = ~$980 3 张 = ~$1,475 RTX 5060 Ti 16GB：全新/塑封约 $710 一张 2 张 = ~$1,420 3 张 = ~$2,125 所以选 AMD 在最终 48GB 配置上能省大约 $650，这很可观。 NVIDIA 方案在软件层面显然更有吸引力，因为 CUDA、更广泛的框架支持、NVFP4 等。 AMD 方案让人心动的主要原因是用约 $1.5k 就能拿到 48GB 相对较新的 RDNA4 显存，这很难忽视。 我正在考虑的 AM5 平台其余配置大致如下： - Ryzen 9 9900X：全新约 $430，或二手 Ryzen 9 7900 约 $300 - ASUS ProArt X870E-Creator：全新约 $790，二手可能约 $600 - 128GB DDR5（2x64GB）：约 $1,020 - 96GB（2x48GB）替代方案：约 $785 - 质量不错的 1000-1200W 电源：约 $200-240 - 1TB NVMe Gen4：约 $150 - 大机箱 + 散热器 + 风扇：约 $150-200 真正贵的是主板/内存平台，而不是 GPU。 ProArt 吸引我的地方在于三张 GPU 时大致能获得： - GPU 1：PCIe 5.0 x8 - GPU 2：PCIe 5.0 x8 - GPU 3：通过芯片组的 PCIe 4.0 x4 对于 llama.cpp 的按层拆分，我觉得应该还够用，但我更担心的是如果要用张量并行或 vLLM，第三个 x4 链路会成问题。 我的另一个大目标是将来尝试非常大的 MoE 模型，包括 DeepSeek 级别的模型，这类模型可以让大量专家权重留在系统内存中，同时把 attention / 激活层卸载到 GPU。 这就是为什么我更倾向于 128GB 内存而不是 64/96GB。 但这让我开始怀疑 AM5 是不是选错了平台。 我也在考虑二手 EPYC 7002 / SP3 平台，比如 EPYC 7302P + Supermicro H12SSL 级别主板 + 128GB ECC DDR4。 这样我能获得： - 128 条 PCIe 通道 - 3 张 GPU，不需要尴尬的 x8/x8/x4 通道共享 - 8 通道内存 - 高得多的系统内存带宽 - 便宜的二手 ECC RDIMM 缺点显然是更老的 CPU 架构、更差的单线程性能、更高的待机功耗，以及更服务器化/不那么方便的平台。 所以我的主要问题是： 1. 在每张 16GB GPU 约 $490 vs 约 $710 的情况下，对于专用 Linux 推理服务器，你会选 3 张 RX 9060 XT 还是 3 张 RTX 5060 Ti？ 2. 目前 RDNA4 上的多 GPU ROCm 实际成熟度如何？特别是搭配 llama.cpp 和 vLLM 时？ 3. 第三张 GPU 使用 PCIe 4.0 x4 对 LLM 推理来说真的是个大问题吗，还是主要只影响张量并行工作负载？ 4. 对于需要 CPU 卸载的大型 MoE 模型，你更想要 AM5 上的 128GB 双通道 DDR5，还是 EPYC 上的 128GB 8 通道 DDR4？ 5. 在这里 128GB 系统内存值得吗？还是你只会买 96GB，然后把省下的钱花在别处？ 6. 对于 3 张相对便宜的 16GB GPU，我是不是在 CPU/主板方面用力过猛了？ 7. 有没有更适合 3 张 GPU + 高内存带宽的预算平台值得我考虑？ 我并不是在追求极限跑分。 目标是打造一台高性价比、常开的本地 AI 服务器，现在能流畅运行 27B/35B 级别的模型，同时为以后更大规模的量化/MoE 模型留出空间。 特别希望听到正在实际使用 2-3 张 9060 XT、5060 Ti 或二手 EPYC 多 GPU 配置的朋友的意见。