刚完成我的低调 MoE 专属工作站
摘要
一位用户分享了自己专为 MoE 模型打造的 AI 工作站配置，搭载 AMD EPYC 7452、256GB DDR4 内存以及 Radeon AI PRO R9700 32GB 显卡，造价约为 NVIDIA DGX Spark 的一半，已准备好开始折腾 Qwen4。
相似文章
8台 R9700 系统升级
一位用户展示了一台定制 AI 工作站，配备 8 块 Radeon R9700 GPU、一颗 Threadripper 9955WX 处理器和双海韵电源。该工作站从 4 块 GPU 升级至 8 块，以便在本地运行更大的模型。
4 张 R9700 配 127 美元二手 EPYC 的装机方案：每台整机总成本 1.07 万美元。我组了三台（384GB 显存）
一位搭建者分享了三台自托管推理服务器，每台配备 4 张 Radeon AI PRO R9700 显卡（每台约 1.07 万美元，总计 384GB 显存），通过 vLLM-Radiance/ROCm 运行 Qwen3.8-27B，并提供了详细的吞吐量、延迟和长上下文基准测试结果。搭建这些服务器的起因是托管模型开始拒绝执行枪械行业研究任务。
租用了一些服务器时间，想分享一下使用大内存、搭配不错 GPU 的服务器跑基准测试的一些心得：AMD EPYC 和 ROME 主板真的*很值得*：Qwen 3.8 Flash Next Unsloth Q8 在 c=1 时达到 94 tok/s，在 c=8 时达到 456 tok/s。
一位用户在租用的 vast.ai 服务器上对 LLM 推理进行了基准测试。这些服务器配备双路 AMD EPYC 7642（ROME）主板、大容量 DRAM 和 RTX 3090 显卡。测试发现，大内存服务器配置在并发流数量增至 8 路的过程中实现了近乎线性的性能扩展——运行 Qwen 3.8 Flash Next Unsloth Q8 时，c=1 时达到 94 tok/s，c=8 时达到 456 tok/s。
Epyc 推理主机
一位社区成员分享了自己搭建的基于 AMD Epyc 的本地 LLM 推理主机：256GB 内存和四块 GPU 共 72GB 显存，并询问其他人使用 RAM 和 VRAM 混合运行大型 MoE 模型的经验。
为 10 人初创公司搭建 4x R9700 工作站
一位用户分享了为 10 人初创公司搭建的 4x AMD Radeon R9700 AI Pro 工作站（总显存 128GB，Threadripper 9970x），用于部署 Qwen 3.8 Next Flash/27B 和 DSV4 Flash 模型，在 16 个并发会话下报告了强劲的聚合预填充/解码吞吐量。