最新eBay特价品基准测试:W6800(改装版V620)
摘要
一位用户对一款刷入W6800固件并配备定制吹风风扇的改装版AMD V620 GPU进行了基准测试,通过Vulkan和ROCm后端运行大型语言模型,比较了Qwen2.5-27B在不同量化级别下的性能表现。
最近有人在eBay上出售改装版V620,价格略有上浮,主要有两项改动:* 刷入W6800固件,启用了一个迷你DisplayPort输出。不幸的是,这会禁用部分计算核心,不过W6800拥有更高的加速频率。* 配备定制3D打印ABS材质的吹风风扇。显卡本身没有风扇控制功能,但你可以将风扇连接到主板风扇接口或外部风扇控制器。我决定入手一块,因为我有一台闲置的micro ATX机箱电脑。这台电脑没有集显,且只能容纳一张显卡,因此运行无头数据中心显卡会比较困难。如果你能运行V620,它可能是更划算的选择,因为它拥有更多计算核心;而如果你想留在CUDA生态中,Tesla V100仍然是最佳选择。话不多说,以下是基准测试结果。
Qwen 3.6 27B @ Q6_K Vulkan(官方llama.cpp构建)
ggml_vulkan: Found 1 Vulkan devices:
ggml_vulkan: 0 = AMD Radeon Pro W6800 (RADV NAVI21) (radv) | uma: 0 | fp16: 1 | bf16: 0 | warp size: 32 | shared memory: 65536 | int dot: 1 | matrix cores: none
| model | size | params | backend | ngl | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | pp1024 | 297.94 ± 0.30 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | tg256 | 20.35 ± 0.00 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d8192 | 232.40 ± 0.32 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | tg256 @ d8192 | 19.70 ± 0.00 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d16384 | 185.07 ± 0.12 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | tg256 @ d16384 | 19.18 ± 0.00 |
ROCm(lemonade ROCm nightly构建)
ggml_cuda_init: found 1 ROCm devices (Total VRAM: 32095 MiB):
Device 0: AMD Radeon Pro W6800, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 32095 MiB
| model | size | params | backend | ngl | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | pp1024 | 265.71 ± 0.02 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | tg256 | 18.69 ± 0.01 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | pp1024 @ d8192 | 246.81 ± 0.03 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | tg256 @ d8192 | 18.15 ± 0.02 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | pp1024 @ d16384 | 230.19 ± 0.06 |
| qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | tg256 @ d16384 | 17.64 ± 0.02 |
这可能对任何使用AMD的人来说都不意外,但Vulkan在TG上更快,而ROCm在PP上更快,尤其是在长上下文深度下。
现在来看一些Q4基准测试,以便与24GB显存级别进行更多对比。
Qwen 3.6 27B @ Q4_K_XL Vulkan(官方llama.cpp构建)
ggml_vulkan: Found 1 Vulkan devices:
ggml_vulkan: 0 = AMD Radeon Pro W6800 (RADV NAVI21) (radv) | uma: 0 | fp16: 1 | bf16: 0 | warp size: 32 | shared memory: 65536 | int dot: 1 | matrix cores: none
| model | size | params | backend | ngl | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | pp1024 | 353.85 ± 0.04 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | tg256 | 24.73 ± 0.00 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d8192 | 265.14 ± 0.34 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | tg256 @ d8192 | 23.77 ± 0.00 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d16384 | 205.36 ± 0.67 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | tg256 @ d16384 | 23.03 ± 0.00 |
ROCm(lemonade ROCm nightly构建)
ggml_cuda_init: found 1 ROCm devices (Total VRAM: 32095 MiB):
Device 0: AMD Radeon Pro W6800, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 32095 MiB
| model | size | params | backend | ngl | test | t/s |
| ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | pp1024 | 328.96 ± 0.09 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | tg256 | 21.40 ± 0.01 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | pp1024 @ d8192 | 298.96 ± 0.01 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | tg256 @ d8192 | 20.68 ± 0.03 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | pp1024 @ d16384 | 275.02 ± 0.03 |
| qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | tg256 @ d16384 | 20.02 ± 0.03 |
遗憾的是,llama-bench在功能上远远落后于llama-server,因此我无法用它来测试MTP,但它确实带来了巨大的提升!TG提升了大约75-100%。这使得这张卡非常实用。现在V620更划算,我很想知道它和单张MI50相比如何。不过我找到的所有基准测试都是针对至少2张MI50的。
相似文章
双Radeon R9700——在llama.cpp上运行Qwen 3.6 27B Q8 MTP
关于在使用ROCm的llama.cpp上,于双AMD Radeon R9700配置下运行Qwen 3.6 27B Q8模型的技术报告,包括性能基准测试和配置详情。
7900XTX 24GB 显存,终于能够在 131k 上下文下容纳 Q6K+MTP 和 Qwen 3.6 27B
在 AMD 7900XTX 上优化显存使用的指南,通过编译带有 OpenBLAS 和 CUDA_FA_ALL_QUANTS 的 llama.cpp,并使用 q5_0/q4_0 的 KVCache 量化,以运行使用 Q6K 量化和 131k 上下文的 27B Qwen 模型。
@outsource_: 全新 GLM+ Qwen 18B 可在消费级 GPU 上运行,仅用一半显存就打败 35B MoE
全新的 18B 融合量化模型 Qwopus-GLM-18B-GGUF,仅用一半显存即可在消费级 GPU 上运行,性能超越 35B MoE 模型。
@Snixtp: https://x.com/Snixtp/status/2055734339346768225
某用户使用llama.cpp在单张RTX 3090上对Qwen3.6 27B的MTP变体与普通版本进行了基准测试,发现MTP在长上下文(32k-64k)下生成速度最高可提升2.37倍,但预填充较慢且暂不支持并发。
基准测试新b9200更新:在单张RTX 3090上为Hermes Agent优化Qwen 3.6 27B mtp
对llama.cpp的b9200更新进行基准测试,使用优化标志在单张RTX 3090上运行Qwen 3.6 27B MTP,结果显示在代理工作流的提示处理速度方面有显著性能提升。