标签
Wan-Streamer v0.2 是一个保持延迟不变升级的端到端音视频交互模型，通过多GPU思考者-执行者架构将输出分辨率从192x336提高到640x368，同时维持约200毫秒的模型端延迟。
一篇关于在 5 块 AMD Radeon Pro 6000 GPU 和一块 NVIDIA RTX 5090 上运行 GLM5.2 语言模型的报告，详细介绍了高昂的成本和技术挑战。
Ahmad (@TheAhmadOsman) 宣布了一篇博客文章，涵盖 llama.cpp、vLLM 和 ExLlamaV2 等推理引擎，重点关注多 GPU 设置、张量并行以及批处理推理，以优化 AI 模型性能。
关于在使用ROCm的llama.cpp上，于双AMD Radeon R9700配置下运行Qwen 3.6 27B Q8模型的技术报告，包括性能基准测试和配置详情。
一位用户分享了在双GPU配置（RTX 4090 + RTX 3090）上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置，在250k上下文下实现了75-100 t/s和1500 pp。
关于以4位量化运行GLM 5.x及类似大小模型的最廉价本地硬件配置的讨论，包括仅CPU和多GPU选项。一位用户分享了其在5900X + 128GB DDR4 + 7900XT配置上运行Minimax 2.7和Qwen 3.6的经验。
作者发现同时使用CUDA和Vulkan后端编译llama.cpp是可行的，解码速度提升了约10% tokens/秒。他们计划运行进一步基准测试来评估其优势。
用户发现，Threadripper 工作站主板上一处隐藏的 PCIe 2.0 x4 电气限制导致四块 RTX 3090 中的一块性能受限，从而影响了多 GPU 大语言模型推理性能。通过调整插槽布局并切换至张量分裂模式，Mistral 128B 的吞吐量从约 11 tok/s 翻倍至约 24.7 tok/s。
llama.cpp 维护者与 NVIDIA 工程师合作，显著提升了 ggml 中的多GPU性能，实现了硬件无关的张量并行，并在 RTX 系统上获得了显著的性能提升。
用户在最新的llama.cpp和Qwen-3.6-27b模型下使用tensor split模式时，在配备双RTX 3090、Ubuntu Server 24.04和Docker的环境中报告了CUDA错误。
llama.cpp 版本 b9455 合并了一个针对多 GPU 设置中 `-sm tensor` KV 缓存量化的修复，解决了展平张量时形状信息丢失的问题。
Llama.cpp 预计将获得针对多 GPU 配置下拆分模式张量崩溃问题的修复，该问题目前每 90-120 分钟导致 VRAM 耗尽。据称，该修复还能带来约 35% 的吞吐量提升，优于分层模式。
一位学习者分享了对斯坦福大学CS336第7讲关于GPU并行性的热情，该讲座涵盖了基本操作，并将其连接到多GPU设置以及张量并行、数据并行和流水线并行等技术。
一位研究生分享了他们使用单个美国墙壁插座运行4块3090 Ti显卡搭建多GPU工作站的经验，详细介绍了限制、功耗挑战以及组件选择。
EnergyLens是一个端到端的框架，用于多GPU大语言模型推理的预测性能耗感知优化，在Llama3和Qwen3-MoE上验证，平均绝对百分比误差在9.25%至13.19%之间，并揭示了不同配置之间显著的能耗差异。
llama.cpp b9095 版本引入了针对双 Blackwell PCIe GPU 的免 NCCL 张量并行功能，使得在不依赖 NCCL 的情况下也能实现高效的多 GPU 推理。
用户基准测试 Qwen3.6-27B-Q8_0，在 3 块混合 GPU 上通过 llama.cpp 以约 13 tokens/sec 运行 128k 上下文，询问该性能是否典型。