Epyc 推理主机

Reddit r/LocalLLaMA 新闻
hardware inference gpu amd-epyc local-llm diy-build

摘要

一位社区成员分享了自己搭建的基于 AMD Epyc 的本地 LLM 推理主机：256GB 内存和四块 GPU 共 72GB 显存，并询问其他人使用 RAM 和 VRAM 混合运行大型 MoE 模型的经验。

前阵子我在这里发帖请教升级到 Epyc 系统的建议，感谢所有回复的朋友。我最终还是下单了： - Epyc 7443 CPU（24 核，48 线程，128 条 PCIe 通道） - H12SSL-NT-B 主板（带两个 10Gb 以太网口的版本） - 256GB 2666MHz 2Rx4 内存 在此基础上，我还会加入四块 GPU 共 72GB 显存： - 3090（24GB） - 5070 Ti（16GB） - 2 X 5060 Ti（16GB） 遗憾的是主板还要等两周才能到货，所以自然而然我就在想这次升级能带来多大提升。这次升级应该能做到： - 四块 GPU 的 PCIe 带宽全部翻倍（两块 5060 从 x4 提升到 x8，另外两块从 x8 提升到 x16）。而且它们都将直连 CPU 通道，不再走芯片组和不靠谱的 M.2 转接卡。 - 内存带宽至少提升 50%（理论值从 96GB/s 提升到 170GB/s，实际大约 140GB/s） - 总内存从 64GB 增加到 256GB，多出 192GB 此外也为将来加装更多 GPU 留出了空间。显然这对稠密模型帮助不大，不过我期望链路带宽提升后 prompt 处理速度能有明显改善。但让我兴奋的是总内存池将达到 328GB，可以运行像 GLM5.3-flash 以及更大量化版本的 Qwen3.8-flash-next 这样的模型了。 有人搭建过类似的系统吗？你的系统在运行能完全放入 RAM 和 VRAM 的大型 MoE 模型时表现如何？
查看原文

相似文章

4 张 R9700 配 127 美元二手 EPYC 的装机方案：每台整机总成本 1.07 万美元。我组了三台（384GB 显存）

Reddit r/LocalLLaMA

一位搭建者分享了三台自托管推理服务器，每台配备 4 张 Radeon AI PRO R9700 显卡（每台约 1.07 万美元，总计 384GB 显存），通过 vLLM-Radiance/ROCm 运行 Qwen3.8-27B，并提供了详细的吞吐量、延迟和长上下文基准测试结果。搭建这些服务器的起因是托管模型开始拒绝执行枪械行业研究任务。