tp=6 在 vLLM 上也可行,只需填充补位
摘要
一位用户分享了一个变通方案:通过用零填充模型架构维度直到能被整除,让 vLLM 在六块 GPU 上实现张量并行(tp=6),从而在 Radeon 7900 XTX 显卡上运行 Qwen 27B 推理时获得更高的 KV cache 利用率。
vLLM 的张量并行要求模型架构中的若干数值必须能被所选张量并行 GPU 数量整除。通常这意味着你只能使用 2 的幂次方数量的 GPU(2、4、8 等)。我有六块 GPU,想在运行 27B 模型时最大化 KV cache,于是我尝试了 tp=6。结果报出了各种错误信息,说这个或那个数值需要能被 6 整除,但实际不能。于是我让这些数值都能被 6 整除。我让 AI 生成了一个转换器脚本,它接收原始模型,并用零填充直到所有数值都能被 6 整除。试了几次之后,成功了。现在我的 Qwen 3.8 27B(BF16、256k 上下文窗口)可以跨六块 7900 XTX 显卡运行。单用户 token 生成速度约为 50 t/s,并发 8 个提示词时总吞吐约为 200 t/s。GPU KV cache 容量:520,784 tokens,每个请求 262,144 tokens 的最大并发数:1.99x。
相似文章
7900XTX 24GB 显存,终于能够在 131k 上下文下容纳 Q6K+MTP 和 Qwen 3.6 27B
在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。
量化MTP KV缓存 = 免费午餐?
在llama.cpp中将Qwen模型的多令牌预测(MTP)KV缓存量化为q8_0,可以减少VRAM使用,同时不影响推理速度或接受率,实际上为内存受限的配置提供了'免费午餐'。
2倍 tok/s(在1块MI50上从19.4 tok/s提升到38.1 tok/s)尝试类似推测解码的假设……但不是用额外的侧模型,而是利用我可以同时运行多个计算,就好像内存里加载了两份Qwen3.6-27B一样——小量化不占用所有可用算力。
打包双推理(PTI)是一种通过单批解码中运行多个token序列来实现约2倍LLM吞吐量的技术,它利用了llama.cpp中的权重共享,无需草稿模型或额外VRAM。
双Tesla p100, q6_k量化, Qwen 3.8 27B 约60 tps V3.0
一位用户分享了针对Tesla P100 GPU的内核优化,以提升使用llama.cpp运行Qwen 3.8模型时的性能,实现了显著的推理加速。
我将一对非对称的Tesla V100 PCIe显卡(16 GB + 32 GB)改造成一个令人惊讶的强大本地LLM实验室——使用Qwen3.8 27B Q6和Q8模型,实现了1.38k提示token/s和40解码token/s的速度
一位用户使用llama.cpp配合张量分割和其他优化,将一对不匹配的Tesla V100 GPU(16GB和32GB)配置成一个强大的本地LLM实验室,使用Qwen3.8 27B模型实现了高提示和解码速度。