4张R9700、2张Mi210 或 4张4080S 32G

Reddit r/LocalLLaMA 新闻
ai-hardware vram gpu-comparison model-deployment cuda rocm memory-bandwidth

摘要

用户正在比较GPU选项，如R9700、Mi210和4080S，以实现128GB VRAM用于并行运行多个AI模型，考虑因素包括成本、性能和兼容性。

我试图达到128GB的VRAM，具备合理的计算能力和带宽，以便并行运行多个模型。DS4 Flash 或 GLM 5.3 在混合模式下使用自定义检查点。但最近有点困惑，因为有很多分支，我只对NVidia的世界略知一二。所以一个选项是使用改装的4080S，大约1.7K货币单位，其优势在于支持CUDA。它具有736 GB/sec的内存带宽，但不支持NVFP4。RTX Pro 4500 太贵了，要2.7K。然后是R9700，内存带宽为640 GB/sec，价格也大约1.5K。但它是ROCm/Vulkan。它似乎发展很快？有没有地方可以阅读关于R9700与类似Intel和Nvidia产品的最新可靠比较？然后是Mi210。PCIe Gen4, HBM2x64G。成本3.5K，所以是线性翻倍。功耗减半，带宽为1600 GB/sec。看起来很棒！但似乎它对新模型格式的支持只是简单地上采样到BF16并用这些运行。我理解得对吗？这基本上就像是用16GB VRAM的卡运行新的NVFP4/MXFP4模型？而用32GB运行FP8模型？或者这才是我应该购买的宝贝？（不，我不会买更多Sparks）。
查看原文

相似文章

4 张 R9700 配 127 美元二手 EPYC 的装机方案：每台整机总成本 1.07 万美元。我组了三台（384GB 显存）

Reddit r/LocalLLaMA

一位搭建者分享了三台自托管推理服务器，每台配备 4 张 Radeon AI PRO R9700 显卡（每台约 1.07 万美元，总计 384GB 显存），通过 vLLM-Radiance/ROCm 运行 Qwen3.8-27B，并提供了详细的吞吐量、延迟和长上下文基准测试结果。搭建这些服务器的起因是托管模型开始拒绝执行枪械行业研究任务。

3060 12GB 对比 4060 Ti 16GB

Reddit r/LocalLLaMA

用户正在评估是否将4060 Ti 16GB GPU添加到现有的多GPU设置中，该设置使用3060系列GPU进行AI模型并行处理和游戏，权衡额外显存带来的好处与潜在的显存带宽限制。

为 10 人初创公司搭建 4x R9700 工作站

Reddit r/LocalLLaMA

一位用户分享了为 10 人初创公司搭建的 4x AMD Radeon R9700 AI Pro 工作站（总显存 128GB，Threadripper 9970x），用于部署 Qwen 3.8 Next Flash/27B 和 DSV4 Flash 模型，在 16 个并发会话下报告了强劲的聚合预填充/解码吞吐量。