40+ token/秒 - 在单台 DGX Spark 上使用 vLLM 运行 Qwen 3.5 122B Int4 的优化方案
摘要
用户分享了一种在单台 DGX Spark 上使用 vLLM 运行 Qwen 3.5 122B Int4 的优化方案，实现了每秒超过 40 个 token 的速度。他们邀请其他人尝试并进一步优化。
大家好，两天前我在单台 DGX Spark 上对我为 Qwen 3.5 122B 设计的方案进行了 Spark Arena 测试，在所有上下文字段长度和并发数的 3.5 122B Int4 方案中，我获得了速度最高分。想与大家分享，如果有人想试试、玩玩并进一步优化，可以查看以下链接：[https://spark-arena.com/benchmark/sub1779146508448](https://spark-arena.com/benchmark/sub1779146508448) https://preview.redd.it/pz2dr3n4fb2h1.png?width=1099&format=png&auto=webp&s=40f078ae3df597545d08ed3df008f84873acca6a
相似文章
使用我的新INT8 vLLM分支，在4x MI100配置（成本$6.5k）上实现Qwen3.8 27B C8的972 TG / 5,680 PP性能
一个新的vLLM分支为较旧的AMD MI100 GPU上的Qwen3.8 27B引入全面的INT8优化，实现高达972 tokens/秒的吞吐量，并进行严格的精度验证。
Qwen3.6:35b UD Q4_K_M 在 Nvidia P40 上实现 80 tok/s
一位用户分享在单个 Nvidia P40 上使用 TheTom 的 TurboQuant 版 llama.cpp，以 Q4_K_M 量化方式和 100k 上下文运行 Qwen3.6 35B 模型，实现了 80 tok/s，并强调了多种优化。
Qwen3.6 27B 在 RTX 5090 上，调整 MTP/缓存设置后的 6.4k 采样 token/s 分布
在 RTX 5090 上运行 Qwen3.6 27B，调整 MTP 和缓存设置后达到每秒 6.4k 个 token，展示了推理优化技术。
Qwen 3.8 27B 比预期更快
一位用户报告称，Qwen 3.8 27B 模型在双 5060 TI 显卡上达到了 50-60 个令牌每秒的速度，显示出比之前版本（如 Qwen 3.6）更令人意外的速度提升。
在 12GB 显存下，使用 Qwen3.6 35B A3B 与 llama.cpp MTP 实现 80 tok/sec 的速度和 128K 上下文
一名用户分享了一份配置方案，该方案在使用 llama.cpp 和多令牌预测（MTP）的情况下，能在 12GB 显存的 GPU 上让 Qwen3.6 35B A3B 模型实现超过每秒 80 个令牌的生成速度。帖子中包含了基准测试结果以及用于优化性能的具体命令行参数。