从 GTX-1080Ti 到双 GPU 搭配 Radeon MI50

Nvidia GTX-1080Ti 拥有 11GB VRAM，能够运行 8B 到 14B 的本地模型。我添加了 AMD Radeon MI50 16GB VRAM。现在拥有 27GB VRAM，我能够从 VRAM 运行大多数 30B 到 35B 的本地模型。我以低于 $140 的价格购买了 MI50 GPU，并且它的固件已刷写为 Radeon VII，因此 mini Display port 可以工作，但功率级别降低了。 使用 Llama.cpp Ubuntu Vulkan 预构建二进制版本进行基准测试：851cb34f2 (11055) 得益于 Kubuntu 和 Vulkan，没有驱动问题或冲突。https://preview.redd.it/efoht9forjqh1.png?width=641&format=png&auto=webp&s=0209eaca3208eedb1700259aae528e3a760c8ad9 我单独运行 GTX-1080Ti，这会导致 CPU/GPU 卸载 (GGML_VK_VISIBLE_DEVICES=1)。然后使用双 GPU 配置运行相同的 LLM 模型。我添加了命令 sleep 10，以便系统有时间准备下一次运行。以下是我使用的命令：GGML_VK_VISIBLE_DEVICES=1 time ~/llama-b11055/llama-bench -fa on -ngl 99 -m /gemma-4-26B-A4B-it-UD-Q6_K_XL.gguf && sleep 10 && time ~/llama-b11055/llama-bench -fa on -ngl 99 -m /gemma-4-26B-A4B-it-UD-Q6_K_XL.gguf https://preview.redd.it/9bs3qhffrjqh1.png?width=697&format=png&auto=webp&s=9ff7089433139f3531ff49d4eb61b4d406f9d47a GGUF 模型及大小 Qwen3.6-35B-A3B-MXFP4_MOE.gguf (20.65 GiB) NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q5_K_M.gguf (25.10 GiB) Qwen3.8-27B-Q6_K.gguf (21.30 GiB) medgemma-27b-it-UD-Q6_K_XL.gguf (22.09 GiB) gemma-4-26B-A4B-it-UD-Q6_K_XL.gguf (21.68 GiB) 单 GPU 结果（可见设备 = 1 GTX-1080Ti） model size params pp512 tg128 qwen35moe 35B.A3B MXFP4 MoE 20.65 GiB 35.51 B 248.10 12.60 nemotron_h_moe 31B.A3.5B Q5_K - Medium 25.10 GiB 32.91 B 230.64 10.78 qwen35 27B Q6_K 21.30 GiB 27.32 B 56.10 2.12 gemma3 27B Q6_K 22.09 GiB 27.01 B 62.73 1.51 gemma4 26B.A4B Q6_K 21.68 GiB 25.23 B 162.12 11.76 双 GPU 结果（更快的 GTX-1080Ti 和 Radeon MI50） model size params pp512 tg128 qwen35moe 35B.A3B MXFP4 MoE 20.65 GiB 35.51 B 333.79 31.78 nemotron_h_moe 31B.A3.5B Q5_K - Medium 25.10 GiB 32.91 B 298.69 65.02 qwen35 27B Q6_K 21.30 GiB 27.32 B 124.85 15.60 gemma3 27B Q6_K 22.09 GiB 27.01 B 127.58 14.96 gemma4 26B.A4B Q6_K 21.68 GiB 25.23 B 340.86 52.03 密集模型受益最大：Gemma3 27B 的生成速度惊人地提升了约 896%（从 1.5 t/s 到 14.96 t/s）。Qwen35 27B 提升了约 642%（从 2.1 t/s 到 15.6 t/s）。Nemotron 31B 提升了约 504%。考虑到添加 16GB VRAM GPU 的成本低于 $140，这些结果非常好。现在运行 30B 大小的密集模型确实是一个可行的选择。