标签
用户寻求关于在改装版RTX 4090 48GB、双AMD Radeon AI Pro R9700或双Intel Arc Pro B70之间选择的建议，用于运行本地编程LLM，重点比较价格、显存、软件生态和推理速度的权衡。
针对AI计算任务，对单块RTX Pro 6000 GPU与两台DGX Spark系统进行比较。
一份关于本地AI硬件在内存容量、带宽和软件栈方面的详细比较，涵盖GPU、Apple Silicon、AMD、Intel、Tenstorrent等，重点关注AI推理中哪些瓶颈最关键。
比较在DGX Spark和MacBook Pro M5上运行Gemma 4的情况，作者对收到DGX Spark表示感谢。
一个全面的网络工具和公共数据集，帮助用户选择适合运行LLM的硬件，包含60+配置方案、50+模型、性能基准测试和评测视频，支持模型与硬件的双向匹配。
作者在Strix Halo、RTX 3090和RTX 5070上使用了多个后端，进行了55次推理基准测试。结果揭示，显存带宽主导解码速度，RTX 5070在小模型上击败RTX 3090，而推理模型因隐藏的推理内容看起来慢约5倍。
DGX Spark与Mac Studio M5 Max在本地运行LLM的对比，重点比较了解码速度、预填充性能、内存、功耗和成本。Mac在解码带宽上胜出，但DGX在预填充方面更快并支持批处理。
用户在搭建可通过局域网访问的本地 LLM 服务器时，寻求关于选择 AMD Strix Halo 还是 Nvidia DGX Spark 硬件的建议。
作者询问2026年中AMD的ROCm生态系统在AI训练领域的当前可行性，将其与NVIDIA的CUDA进行比较，并询问它是否已达到PyTorch的“开箱即用”阶段。