tp=6 在 vLLM 上也可行,只需填充补位

Reddit r/LocalLLaMA 新闻

摘要

一位用户分享了一个变通方案:通过用零填充模型架构维度直到能被整除,让 vLLM 在六块 GPU 上实现张量并行(tp=6),从而在 Radeon 7900 XTX 显卡上运行 Qwen 27B 推理时获得更高的 KV cache 利用率。

vLLM 的张量并行要求模型架构中的若干数值必须能被所选张量并行 GPU 数量整除。通常这意味着你只能使用 2 的幂次方数量的 GPU(2、4、8 等)。我有六块 GPU,想在运行 27B 模型时最大化 KV cache,于是我尝试了 tp=6。结果报出了各种错误信息,说这个或那个数值需要能被 6 整除,但实际不能。于是我让这些数值都能被 6 整除。我让 AI 生成了一个转换器脚本,它接收原始模型,并用零填充直到所有数值都能被 6 整除。试了几次之后,成功了。现在我的 Qwen 3.8 27B(BF16、256k 上下文窗口)可以跨六块 7900 XTX 显卡运行。单用户 token 生成速度约为 50 t/s,并发 8 个提示词时总吞吐约为 200 t/s。GPU KV cache 容量:520,784 tokens,每个请求 262,144 tokens 的最大并发数:1.99x。
查看原文

相似文章

量化MTP KV缓存 = 免费午餐?

Reddit r/LocalLLaMA

在llama.cpp中将Qwen模型的多令牌预测(MTP)KV缓存量化为q8_0,可以减少VRAM使用,同时不影响推理速度或接受率,实际上为内存受限的配置提供了'免费午餐'。