标签
一篇详细记录将多 GPU LLM 推理平台从 Core Ultra 7 265KF 迁移至 EPYC 7443 平台的文章，涵盖 BMC 风扇问题修复、内存超频、BIOS/PCIe 调优以及 llama.cpp 优化——使 MoE 模型的解码速度最高提升至原来的 4.2 倍，并显著提升带宽和 IOPS。
AMD发布了其EPYC 9006 (Venice) 系列服务器CPU的完整定价和规格，最高配备256个Zen 6核心，16通道DDR5-12800内存，定价从700美元到14,904美元。
用户描述了一个硬件配置，包括双RTX 3090显卡和AMD EPYC CPU，用于运行Qwen3-Flash-Next模型（使用llama.cpp），单流推理速度达到38令牌/秒。用户寻求建议，是否应该添加第三块GPU或升级CPU以提高性能，特别是对于运行多个并行代理。
一位用户正在寻求构建预算型家用 AI 服务器（32-48GB 显存）的建议，正在 AMD RX 9060 XT 和 Nvidia RTX 5060 Ti GPU 之间犹豫，并纠结于使用 AM5 还是二手 EPYC 平台来进行本地 LLM 推理和大型 MoE 模型卸载。