改装版RTX 4090 48GB vs Radeon AI Pro R9700 vs Arc Pro B70:本地编程LLM选哪个?
摘要
用户寻求关于在改装版RTX 4090 48GB、双AMD Radeon AI Pro R9700或双Intel Arc Pro B70之间选择的建议,用于运行本地编程LLM,重点比较价格、显存、软件生态和推理速度的权衡。
正在搭建一台主要用于本地运行编程LLM(推理,可能还有轻量微调)的个人主机。主板和其他平台已经搞定——就差选显卡了。我反复纠结的是这三个选项:改装版RTX 4090 48GB(中国蛤壳式改装)——我在eBay上看到一个报价3500美元。48GB GDDR6X,完整AD102核心,约1TB/s带宽,自然还有CUDA。但问题在于:第三方固件,没有实际保修,涡轮散热器,而且总担心“这东西长期可靠吗”。2x AMD Radeon AI Pro R9700 32GB——RDNA4架构,640 GB/s,PCIe 5.0,官方卡带保修,约1300美元。ROCm正在成熟,但毕竟不是CUDA。2x Intel Arc Pro B70 32GB——Battlemage架构,608 GB/s,367 TOPS INT8,建议零售价949美元(市场价约1080美元)。最便宜,也最新,但oneAPI/OpenVINO和驱动成熟度是问号。不支持FP4。有谁在实际运行这些显卡做类似工作负载吗?真实体验如何?尤其是CUDA vs ROCm vs oneAPI在编码技术栈上的摩擦。我希望达到大约30-40 tps的速度。我已经有一台DGX Spark,运行得还行,但速度不满意,似乎始终无法超过20 tps。
相似文章
打造预算型 32GB → 48GB 显存家用 AI 服务器:2-3 张 RX 9060 XT 16GB 对比 RTX 5060 Ti 16GB,AM5 还是二手 EPYC?
一位用户正在寻求构建预算型家用 AI 服务器(32-48GB 显存)的建议,正在 AMD RX 9060 XT 和 Nvidia RTX 5060 Ti GPU 之间犹豫,并纠结于使用 AM5 还是二手 EPYC 平台来进行本地 LLM 推理和大型 MoE 模型卸载。
4张R9700、2张Mi210 或 4张4080S 32G
用户正在比较GPU选项,如R9700、Mi210和4080S,以实现128GB VRAM用于并行运行多个AI模型,考虑因素包括成本、性能和兼容性。
Nvidia RTX 3090 与 Intel Arc Pro B70 llama.cpp 基准对比
社区实测显示,在 llama.cpp 下 Intel Arc Pro B70 的提示词处理平均慢约 71%,Token 生成平均慢约 54%;同一张卡 SYCL 后端有时比 Vulkan 更快。
ROCm vs Vulkan vs vLLM 在双R9700上的对比
对运行在双AMD Radeon 9700 GPU上的AI推理框架ROCm、Vulkan和vLLM进行比较,可能是在对大型语言模型的性能进行基准测试。
从双3090升级 - 应该添加什么?(双A6000/5090/48GB 4090?)
关于从双RTX 3090升级到替代方案(如双A6000、RTX 5090或48GB RTX 4090)的讨论,可能用于AI/ML工作负载。