改装版RTX 4090 48GB vs Radeon AI Pro R9700 vs Arc Pro B70:本地编程LLM选哪个?

Reddit r/LocalLLaMA 新闻

摘要

用户寻求关于在改装版RTX 4090 48GB、双AMD Radeon AI Pro R9700或双Intel Arc Pro B70之间选择的建议,用于运行本地编程LLM,重点比较价格、显存、软件生态和推理速度的权衡。

正在搭建一台主要用于本地运行编程LLM(推理,可能还有轻量微调)的个人主机。主板和其他平台已经搞定——就差选显卡了。我反复纠结的是这三个选项:改装版RTX 4090 48GB(中国蛤壳式改装)——我在eBay上看到一个报价3500美元。48GB GDDR6X,完整AD102核心,约1TB/s带宽,自然还有CUDA。但问题在于:第三方固件,没有实际保修,涡轮散热器,而且总担心“这东西长期可靠吗”。2x AMD Radeon AI Pro R9700 32GB——RDNA4架构,640 GB/s,PCIe 5.0,官方卡带保修,约1300美元。ROCm正在成熟,但毕竟不是CUDA。2x Intel Arc Pro B70 32GB——Battlemage架构,608 GB/s,367 TOPS INT8,建议零售价949美元(市场价约1080美元)。最便宜,也最新,但oneAPI/OpenVINO和驱动成熟度是问号。不支持FP4。有谁在实际运行这些显卡做类似工作负载吗?真实体验如何?尤其是CUDA vs ROCm vs oneAPI在编码技术栈上的摩擦。我希望达到大约30-40 tps的速度。我已经有一台DGX Spark,运行得还行,但速度不满意,似乎始终无法超过20 tps。
查看原文

相似文章

4张R9700、2张Mi210 或 4张4080S 32G

Reddit r/LocalLLaMA

用户正在比较GPU选项,如R9700、Mi210和4080S,以实现128GB VRAM用于并行运行多个AI模型,考虑因素包括成本、性能和兼容性。