最新eBay特价品基准测试:W6800(改装版V620)

Reddit r/LocalLLaMA 工具

摘要

一位用户对一款刷入W6800固件并配备定制吹风风扇的改装版AMD V620 GPU进行了基准测试,通过Vulkan和ROCm后端运行大型语言模型,比较了Qwen2.5-27B在不同量化级别下的性能表现。

最近有人在eBay上出售改装版V620,价格略有上浮,主要有两项改动:* 刷入W6800固件,启用了一个迷你DisplayPort输出。不幸的是,这会禁用部分计算核心,不过W6800拥有更高的加速频率。* 配备定制3D打印ABS材质的吹风风扇。显卡本身没有风扇控制功能,但你可以将风扇连接到主板风扇接口或外部风扇控制器。我决定入手一块,因为我有一台闲置的micro ATX机箱电脑。这台电脑没有集显,且只能容纳一张显卡,因此运行无头数据中心显卡会比较困难。如果你能运行V620,它可能是更划算的选择,因为它拥有更多计算核心;而如果你想留在CUDA生态中,Tesla V100仍然是最佳选择。话不多说,以下是基准测试结果。 Qwen 3.6 27B @ Q6_K Vulkan(官方llama.cpp构建) ggml_vulkan: Found 1 Vulkan devices: ggml_vulkan: 0 = AMD Radeon Pro W6800 (RADV NAVI21) (radv) | uma: 0 | fp16: 1 | bf16: 0 | warp size: 32 | shared memory: 65536 | int dot: 1 | matrix cores: none | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | pp1024 | 297.94 ± 0.30 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | tg256 | 20.35 ± 0.00 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d8192 | 232.40 ± 0.32 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | tg256 @ d8192 | 19.70 ± 0.00 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d16384 | 185.07 ± 0.12 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | Vulkan | -1 | tg256 @ d16384 | 19.18 ± 0.00 | ROCm(lemonade ROCm nightly构建) ggml_cuda_init: found 1 ROCm devices (Total VRAM: 32095 MiB): Device 0: AMD Radeon Pro W6800, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 32095 MiB | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | pp1024 | 265.71 ± 0.02 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | tg256 | 18.69 ± 0.01 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | pp1024 @ d8192 | 246.81 ± 0.03 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | tg256 @ d8192 | 18.15 ± 0.02 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | pp1024 @ d16384 | 230.19 ± 0.06 | | qwen35 27B Q6_K | 21.30 GiB | 27.32 B | ROCm | -1 | tg256 @ d16384 | 17.64 ± 0.02 | 这可能对任何使用AMD的人来说都不意外,但Vulkan在TG上更快,而ROCm在PP上更快,尤其是在长上下文深度下。 现在来看一些Q4基准测试,以便与24GB显存级别进行更多对比。 Qwen 3.6 27B @ Q4_K_XL Vulkan(官方llama.cpp构建) ggml_vulkan: Found 1 Vulkan devices: ggml_vulkan: 0 = AMD Radeon Pro W6800 (RADV NAVI21) (radv) | uma: 0 | fp16: 1 | bf16: 0 | warp size: 32 | shared memory: 65536 | int dot: 1 | matrix cores: none | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | pp1024 | 353.85 ± 0.04 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | tg256 | 24.73 ± 0.00 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d8192 | 265.14 ± 0.34 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | tg256 @ d8192 | 23.77 ± 0.00 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | pp1024 @ d16384 | 205.36 ± 0.67 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | Vulkan | -1 | tg256 @ d16384 | 23.03 ± 0.00 | ROCm(lemonade ROCm nightly构建) ggml_cuda_init: found 1 ROCm devices (Total VRAM: 32095 MiB): Device 0: AMD Radeon Pro W6800, gfx1030 (0x1030), VMM: no, Wave Size: 32, VRAM: 32095 MiB | model | size | params | backend | ngl | test | t/s | | ------------------------------ | ---------: | ---------: | ---------- | --: | --------------: | -------------------: | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | pp1024 | 328.96 ± 0.09 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | tg256 | 21.40 ± 0.01 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | pp1024 @ d8192 | 298.96 ± 0.01 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | tg256 @ d8192 | 20.68 ± 0.03 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | pp1024 @ d16384 | 275.02 ± 0.03 | | qwen35 27B Q4_K - Medium | 16.67 GiB | 27.32 B | ROCm | -1 | tg256 @ d16384 | 20.02 ± 0.03 | 遗憾的是,llama-bench在功能上远远落后于llama-server,因此我无法用它来测试MTP,但它确实带来了巨大的提升!TG提升了大约75-100%。这使得这张卡非常实用。现在V620更划算,我很想知道它和单张MI50相比如何。不过我找到的所有基准测试都是针对至少2张MI50的。
查看原文

相似文章

@Snixtp: https://x.com/Snixtp/status/2055734339346768225

X AI KOLs Timeline

某用户使用llama.cpp在单张RTX 3090上对Qwen3.6 27B的MTP变体与普通版本进行了基准测试,发现MTP在长上下文(32k-64k)下生成速度最高可提升2.37倍,但预填充较慢且暂不支持并发。