真不敢相信我成功了！双GPU - 48GB显存 llama-cpp服务器 - R7900 + 7800XT

Reddit r/LocalLLaMA 新闻
dual-gpu amd vulkan llama-cpp vram docker ai-inference

摘要

一位用户成功在Kubuntu 24.04上通过Docker中的Vulkan设置了一个双GPU llama-cpp服务器，使用AMD Radeon PRO和7800 XT，拥有48GB显存。

配置：Kubuntu 24.04 - AMD显卡 - R9700 AI PRO 和 7800XT（32GB + 16GB）- llama-cpp服务器 - 在Docker中堆叠设置 - Vulkan镜像。我试过ROCM，但它与RDNA4 + RDNA3混合不兼容。Vulkan似乎可行。我快速测试了一个提示，希望它稳定，因为如果稳定，我就有48GB显存可以玩了。不得不买一个新电源，但花了300美元就能利用我旧的7800XT，我觉得非常值得。
查看原文

相似文章

48GB VRAM + Qwen 3.6 27B 的最佳设置

Reddit r/LocalLLaMA

一位用户分享了在双GPU配置（RTX 4090 + RTX 3090）上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置，在250k上下文下实现了75-100 t/s和1500 pp。