在单张 AMD Radeon R9700 上运行 Qwen3.8 27b NVFP4 达 153 tok/s，8 并发请求下 470 tok/s，预填充速度 3,619 tok/s

Reddit r/LocalLLaMA 工具
amd-gpu vllm optimization benchmarking qwen3 nvfp4

摘要

优化了在单张 AMD Radeon R9700 GPU 上运行 Qwen3.8 27b NVFP4 模型的性能，解码速度高达每秒 153 个令牌，预填充速度达每秒 3,619 个令牌，并提升了并发性能。

在评论区和Discord中，人们不断评论并询问单张AMD R9700显卡的情况。终于，我抽出时间为1xR9700用户做了一些优化，性能全面提升翻倍。如果您喜欢视觉化展示，可以在上方的BetterBench中查看结果；如果更倾向于文字，下方也有详细说明。这些结果是通过运行Unsloth的Qwen3.8 27b NVFP4模型测得的。 解码性能 ┌───────────────┬───────────────┬──────────────────┐ │ 类别 │ 更新 p50 毫秒 │ 解码 tok/s (中位数)│ ├───────────────┼───────────────┼──────────────────┤ │ 聊天 │ 42.3 │ 67.1 │ ├───────────────┼───────────────┼──────────────────┤ │ 代码 │ 42.5 │ 120.5 │ ├───────────────┼───────────────┼──────────────────┤ │ 文件编辑 │ 42.5 │ 138.0 │ ├───────────────┼───────────────┼──────────────────┤ │ JSON │ 42.4 │ 153.1 │ ├───────────────┼───────────────┼──────────────────┤ │ 数学 │ 42.5 │ 140.0 │ ├───────────────┼───────────────┼──────────────────┤ │ 散文 │ 42.3 │ 69.2 │ ├───────────────┼───────────────┼──────────────────┤ │ 推理 │ 34.3 │ 123.9 │ ├───────────────┼───────────────┼──────────────────┤ │ 摘要 │ 34.2 │ 141.7 │ └───────────────┴───────────────┴──────────────────┘ 预填充性能 ┌───────────────┬───────────────┐ │ 预填充深度 │ 预填充 tok/s │ ├───────────────┼───────────────┤ │ 2000 │ 3552 │ ├───────────────┼───────────────┤ │ 8000 │ 3536 │ ├───────────────┼───────────────┤ │ 16000 │ 3619 │ ├───────────────┼───────────────┤ │ 32000 │ 3437 │ ├───────────────┼───────────────┤ │ 64000 │ 3192 │ └───────────────┴───────────────┘ 并发性能 ┌───────────────┬───────────────┐ │ 并发级别 │ tok/s │ ├───────────────┼───────────────┤ │ 1 │ 120 │ ├───────────────┼───────────────┤ │ 2 │ 215 │ ├───────────────┼───────────────┤ │ 4 │ 322 │ ├───────────────┼───────────────┤ │ 8 │ 471 │ └───────────────┴───────────────┘ 链接（两个仓库已更新，因为有些用户需要Github） https://codeberg.org/ggz14/radiance-vllm-mxfp4 https://github.com/GGZ14/vllm-mxfp4 https://x.com/bkuyper 希望您作为单张R9700显卡的用户喜欢这个版本！
查看原文

相似文章

@Oluwaphilemon1：在单张 24GB 显存的 RTX 3090 上，Qwen3.8-27B 从 82 tokens/sec 提升到 381 tokens/sec。同一张显卡，同一个模型，推理速度提升近 4.6 倍

X AI KOLs Timeline

一位开发者通过 MTP、DFlash2 投机解码、上下文查找和前缀缓存，在单张 RTX 3090 上将 Qwen3.8-27B 的吞吐量从 82 提升到 381 tokens/sec，无需升级硬件。日常聊天场景的性能约为 133 tokens/sec，说明峰值数据主要来自高度可复用的工作负载。