双GPU下流水线与张量并行的llama.cpp中测量PCIe传输
摘要
在双GPU下使用流水线和张量并行运行llama.cpp时的PCIe传输性能分析。
暂无内容
相似文章
比较 llama.cpp 行/张量分割与 ik_llama 图分割的双GPU推理速度
一位用户使用llama.cpp（行/张量切分）和ik_llama（图切分）在两张RTX 3080 20GB上对双GPU推理速度进行了基准测试，使用Qwen3.6-27B GGUF模型，比较了token生成和提示处理速度。
双GPU llama.cpp加速
llama.cpp的一个分支修复了量化KV缓存中的--split-mode tensor问题，在双GPU配置上实现高达40%的速度提升，且无质量损失。
@analogalok：别再盲目信任本地 LLM 的默认多 GPU 设置了，你实际上正浪费 25% 的性能……
基准测试结果对比了 llama.cpp 中针对双 GPU 设置的层并行与张量并行：层模式在预填充（RAG 管道）中快 25%，而张量模式在解码（交互式聊天）中快 16%。
花了3天在搭载40GB显存笔记本+TB4外置显卡的独特组合上，对llama.cpp的各类标志参数进行基准测试。最终实现：生成速度提升70%、预填充速度提升40%、上下文容量增加6万token，并向llama项目提交了关于MTP的技术问题报告。以下是实践中的关键发现。
作者在配备RTX 4090笔记本显卡和AMD XTX 7900外置显卡的混合GPU环境中对llama.cpp运行参数进行了基准测试，实现了生成速度提升70%、预填充速度提升40%，并在多GPU配置中发现了一个与MTP相关的错误。
llama.cpp 中的流水线并行可能浪费你的显存
测试表明，llama.cpp 默认的流水线并行浪费显存且无速度提升；通过编译时设置 GGML_SCHED_MAX_COPIES=1 可节省大量显存，同时保持相同推理速度。