改装版RTX 4090 48GB vs Radeon AI Pro R9700 vs Arc Pro B70：本地编程LLM选哪个？
摘要
用户寻求关于在改装版RTX 4090 48GB、双AMD Radeon AI Pro R9700或双Intel Arc Pro B70之间选择的建议，用于运行本地编程LLM，重点比较价格、显存、软件生态和推理速度的权衡。
正在搭建一台主要用于本地运行编程LLM（推理，可能还有轻量微调）的个人主机。主板和其他平台已经搞定——就差选显卡了。我反复纠结的是这三个选项：改装版RTX 4090 48GB（中国蛤壳式改装）——我在eBay上看到一个报价3500美元。48GB GDDR6X，完整AD102核心，约1TB/s带宽，自然还有CUDA。但问题在于：第三方固件，没有实际保修，涡轮散热器，而且总担心“这东西长期可靠吗”。2x AMD Radeon AI Pro R9700 32GB——RDNA4架构，640 GB/s，PCIe 5.0，官方卡带保修，约1300美元。ROCm正在成熟，但毕竟不是CUDA。2x Intel Arc Pro B70 32GB——Battlemage架构，608 GB/s，367 TOPS INT8，建议零售价949美元（市场价约1080美元）。最便宜，也最新，但oneAPI/OpenVINO和驱动成熟度是问号。不支持FP4。有谁在实际运行这些显卡做类似工作负载吗？真实体验如何？尤其是CUDA vs ROCm vs oneAPI在编码技术栈上的摩擦。我希望达到大约30-40 tps的速度。我已经有一台DGX Spark，运行得还行，但速度不满意，似乎始终无法超过20 tps。
相似文章
Nvidia RTX 3090 与 Intel Arc Pro B70 llama.cpp 基准对比
社区实测显示，在 llama.cpp 下 Intel Arc Pro B70 的提示词处理平均慢约 71%，Token 生成平均慢约 54%；同一张卡 SYCL 后端有时比 Vulkan 更快。
ROCm vs Vulkan vs vLLM 在双R9700上的对比
对运行在双AMD Radeon 9700 GPU上的AI推理框架ROCm、Vulkan和vLLM进行比较，可能是在对大型语言模型的性能进行基准测试。
@RayFernando1337: https://x.com/RayFernando1337/status/2070621713952579990
关于是在本地运行AI模型还是通过API运行的详细分析，涵盖了RTX 5090、RTX PRO 6000和DGX Spark等硬件选项，重点讨论了内存与带宽的权衡、成本考虑以及隐私需求。
双RTX 3090构建
一位用户分享其用于本地LLM推理的双RTX 3090构建，并寻求关于智能体工作及RAG流水线的工具栈建议。
RTX 5000 PRO (48GB) 到货了，比我想象的要好。
一位用户分享了购买和设置 RTX 5000 Pro (48GB) GPU 用于本地 LLM 推理的体验，在使用 Qwen3.6-27B-FP8 时获得了令人印象深刻的提示处理速度和 token 生成，并将其与 Mac Studio 和 RTX 5090 等替代方案进行了比较。