标签
llama.cpp 维护者与 NVIDIA 工程师合作，显著提升了 ggml 中的多GPU性能，实现了硬件无关的张量并行，并在 RTX 系统上获得了显著的性能提升。
用户在最新的llama.cpp和Qwen-3.6-27b模型下使用tensor split模式时，在配备双RTX 3090、Ubuntu Server 24.04和Docker的环境中报告了CUDA错误。
llama.cpp 版本 b9455 合并了一个针对多 GPU 设置中 `-sm tensor` KV 缓存量化的修复，解决了展平张量时形状信息丢失的问题。
Llama.cpp 预计将获得针对多 GPU 配置下拆分模式张量崩溃问题的修复，该问题目前每 90-120 分钟导致 VRAM 耗尽。据称，该修复还能带来约 35% 的吞吐量提升，优于分层模式。
一位学习者分享了对斯坦福大学CS336第7讲关于GPU并行性的热情，该讲座涵盖了基本操作，并将其连接到多GPU设置以及张量并行、数据并行和流水线并行等技术。
一位研究生分享了他们使用单个美国墙壁插座运行4块3090 Ti显卡搭建多GPU工作站的经验，详细介绍了限制、功耗挑战以及组件选择。
EnergyLens是一个端到端的框架，用于多GPU大语言模型推理的预测性能耗感知优化，在Llama3和Qwen3-MoE上验证，平均绝对百分比误差在9.25%至13.19%之间，并揭示了不同配置之间显著的能耗差异。
llama.cpp b9095 版本引入了针对双 Blackwell PCIe GPU 的免 NCCL 张量并行功能，使得在不依赖 NCCL 的情况下也能实现高效的多 GPU 推理。
用户基准测试 Qwen3.6-27B-Q8_0，在 3 块混合 GPU 上通过 llama.cpp 以约 13 tokens/sec 运行 128k 上下文，询问该性能是否典型。