双GPU下流水线与张量并行的llama.cpp中测量PCIe传输

Reddit r/LocalLLaMA 2026/07/11 23:35 工具

pcie dual-gpu pipeline tensor-parallelism llama-cpp benchmark

摘要

在双GPU下使用流水线和张量并行运行llama.cpp时的PCIe传输性能分析。

暂无内容

查看原文

相似文章

Reddit r/LocalLLaMA

一位用户使用llama.cpp（行/张量切分）和ik_llama（图切分）在两张RTX 3080 20GB上对双GPU推理速度进行了基准测试，使用Qwen3.6-27B GGUF模型，比较了token生成和提示处理速度。

Reddit r/LocalLLaMA

llama.cpp的一个分支修复了量化KV缓存中的--split-mode tensor问题，在双GPU配置上实现高达40%的速度提升，且无质量损失。

X AI KOLs Timeline

基准测试结果对比了 llama.cpp 中针对双 GPU 设置的层并行与张量并行：层模式在预填充（RAG 管道）中快 25%，而张量模式在解码（交互式聊天）中快 16%。

Reddit r/LocalLLaMA

测试表明，llama.cpp 默认的流水线并行浪费显存且无速度提升；通过编译时设置 GGML_SCHED_MAX_COPIES=1 可节省大量显存，同时保持相同推理速度。

Reddit r/LocalLLaMA

llama.cpp b9095 版本引入了针对双 Blackwell PCIe GPU 的免 NCCL 张量并行功能，使得在不依赖 NCCL 的情况下也能实现高效的多 GPU 推理。