标签
关于如何使用Kaggle免费的双Tesla T4 GPU（32GB显存）来运行大语言模型并支持超大上下文窗口的指南，涵盖llama.cpp中的多GPU并行策略。
关于 PCIe 分叉和 4 路 GPU 配置中 P2P 性能问题的详细发现，包括张量并行和流水线并行的解决方法及替代方案。
此拉取请求使得在使用Vulkan后端时，llama.cpp中的张量并行（TP）变得可行，从而能够在多个GPU上进行分布式推理。
第19讲高效AI分布式训练总结，涵盖数据、流水线、张量和序列并行方法，并附有关内存和通信瓶颈的说明。
一位用户报告称，在使用Qwen模型进行推理时，添加第二张RTX 3090后实现了近乎线性的性能扩展，在没有NVLink的情况下，解码TPS提升了约1.8倍。
一条推文解释了一个在Anthropic机器学习性能面试题中的正确答案：在8块GPU上运行70B参数的Transformer模型时，按列分割张量并行线性层与按行分割的延迟权衡，并强调尽管每块GPU的权重相等，但性能并不相似。
llama.cpp 维护者与 NVIDIA 工程师合作，显著提升了 ggml 中的多GPU性能，实现了硬件无关的张量并行，并在 RTX 系统上获得了显著的性能提升。
本文提出PAT，一种自适应张量并行方法，在同步RLHF训练的生成长阶段动态重构TP配置，以缓解长尾生成瓶颈。在LLaMA3.1-8B和Qwen3-14B上的评估显示，生成延迟最多降低34.6%，端到端迭代延迟最多降低27.2%。
一位用户反思运行本地LLM的复杂性和魅力，涉及硬件选型、量化和张量并行。
一位学习者分享了对斯坦福大学CS336第7讲关于GPU并行性的热情，该讲座涵盖了基本操作，并将其连接到多GPU设置以及张量并行、数据并行和流水线并行等技术。
llama.cpp的一个分支修复了量化KV缓存中的--split-mode tensor问题，在双GPU配置上实现高达40%的速度提升，且无质量损失。
At PyTorchCon Europe 2026, Edward Yang explains PyTorch's new pre-compilation support for distributed training and SPMD type system to help developers write correct tensor parallelism code, addressing common pitfalls in gradient correctness.
llama.cpp b9095 版本引入了针对双 Blackwell PCIe GPU 的免 NCCL 张量并行功能，使得在不依赖 NCCL 的情况下也能实现高效的多 GPU 推理。