标签
Y Combinator 举办了一场 Paper Club，研究人员展示了多 GPU 内核优化的创新，包括 ParallelKittens，这是一个简化重叠多 GPU 内核开发并在多种工作负载下实现显著加速的 CUDA 框架。
测试表明，搭载Arrow Lake CPU的Intel消费级平台（如Z890）存在硬件/固件限制，阻碍了多GPU之间进行正常的PCIe点对点（P2P）通信。虽然通道数量充足，但这些平台仍不适合多GPU AI工作负载。
描述了在由16块AMD MI50 GPU组成的集群上，使用llama.cpp的RPC以4位量化运行GLM-5.2模型，达到12.2令牌每秒的速度，并在10.7k上下文中实现了连贯的长文本生成。
用户分享了使用 RPC 在两台机器上运行 550B Nemotron Ultra 模型的基准测试结果，在较旧的 AMD MI50 和 Nvidia P40 GPU 上实现了令人印象深刻的吞吐量。
一位用户在较老的 X99 主板上对 AMD MI50 GPU 在不同 PCIe 配置下进行基准测试，比较了直接 PCIe 连接与使用 PEX8749 交换机的情况。结果显示性能差异极小，令牌生成速度略有提升。
unslooth/Qwen3.6-27B-NVFP4模型在4块RTX 5060 Ti GPU上，使用点对点(P2P)和流水线并行(PP)在不同并发级别下的基准测试结果。
基准测试结果对比了 llama.cpp 中针对双 GPU 设置的层并行与张量并行：层模式在预填充（RAG 管道）中快 25%，而张量模式在解码（交互式聊天）中快 16%。
关于如何使用Kaggle免费的双Tesla T4 GPU（32GB显存）来运行大语言模型并支持超大上下文窗口的指南，涵盖llama.cpp中的多GPU并行策略。
Wan-Streamer v0.2 是一个保持延迟不变升级的端到端音视频交互模型，通过多GPU思考者-执行者架构将输出分辨率从192x336提高到640x368，同时维持约200毫秒的模型端延迟。
一篇关于在 5 块 AMD Radeon Pro 6000 GPU 和一块 NVIDIA RTX 5090 上运行 GLM5.2 语言模型的报告，详细介绍了高昂的成本和技术挑战。
Ahmad (@TheAhmadOsman) 宣布了一篇博客文章，涵盖 llama.cpp、vLLM 和 ExLlamaV2 等推理引擎，重点关注多 GPU 设置、张量并行以及批处理推理，以优化 AI 模型性能。
关于在使用ROCm的llama.cpp上，于双AMD Radeon R9700配置下运行Qwen 3.6 27B Q8模型的技术报告，包括性能基准测试和配置详情。
一位用户分享了在双GPU配置（RTX 4090 + RTX 3090）上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置，在250k上下文下实现了75-100 t/s和1500 pp。
关于以4位量化运行GLM 5.x及类似大小模型的最廉价本地硬件配置的讨论，包括仅CPU和多GPU选项。一位用户分享了其在5900X + 128GB DDR4 + 7900XT配置上运行Minimax 2.7和Qwen 3.6的经验。
作者发现同时使用CUDA和Vulkan后端编译llama.cpp是可行的，解码速度提升了约10% tokens/秒。他们计划运行进一步基准测试来评估其优势。
用户发现，Threadripper 工作站主板上一处隐藏的 PCIe 2.0 x4 电气限制导致四块 RTX 3090 中的一块性能受限，从而影响了多 GPU 大语言模型推理性能。通过调整插槽布局并切换至张量分裂模式，Mistral 128B 的吞吐量从约 11 tok/s 翻倍至约 24.7 tok/s。
llama.cpp 维护者与 NVIDIA 工程师合作，显著提升了 ggml 中的多GPU性能，实现了硬件无关的张量并行，并在 RTX 系统上获得了显著的性能提升。
用户在最新的llama.cpp和Qwen-3.6-27b模型下使用tensor split模式时，在配备双RTX 3090、Ubuntu Server 24.04和Docker的环境中报告了CUDA错误。
llama.cpp 版本 b9455 合并了一个针对多 GPU 设置中 `-sm tensor` KV 缓存量化的修复，解决了展平张量时形状信息丢失的问题。
Llama.cpp 预计将获得针对多 GPU 配置下拆分模式张量崩溃问题的修复，该问题目前每 90-120 分钟导致 VRAM 耗尽。据称，该修复还能带来约 35% 的吞吐量提升，优于分层模式。