双 AMD Radeon AI Pro R9700 或双 NVIDIA RTX 3090。

Reddit r/LocalLLaMA 新闻
ai-hardware gpu-computing nvidia-rtx amd-radeon model-inference build-log machine-learning

摘要

作者正在构建一个双 GPU 系统，用于运行大型语言模型，评估 AMD Radeon AI Pro R9700 与 NVIDIA RTX 3090 选项，同时旨在降低 AI 订阅成本。

我正在构建一个双 GPU 机箱。最初的目标是 FP8 精度下的 30b 或 Q4 精度下的 70b。我计划运行两个 R9700，但发现附近有一对全新的 RTX 3090，每个售价 1600 美元。如果我同时购买两个，有折扣。RTX 40/50 系列不在考虑范围内。我想要 RTX PRO 6000，但那也不在考虑范围内。我目前有一个 Studio M1 Max，配备 64GB 内存，和一个 AM4 平台的机箱，里面装有 7900 XT，用于驱动我的 Hermes 代理。我的目标是取消大部分前沿订阅，只保留一个用于编程。
查看原文

相似文章

4张R9700、2张Mi210 或 4张4080S 32G

Reddit r/LocalLLaMA

用户正在比较GPU选项，如R9700、Mi210和4080S，以实现128GB VRAM用于并行运行多个AI模型，考虑因素包括成本、性能和兼容性。