在AMD 6800H（iGPU/UMA）上测试Gemma 4和Qwen 3.6 MoE——性能解析
摘要
在AMD 6800H iGPU上使用llama.cpp Vulkan后端对Gemma 4和Qwen 3.6 MoE模型进行的基准测试表明，MoE模型和低位量化（Q4_0）提供了最佳性能，而Q8_0对于大型模型来说速度太慢。
我一直在迷你PC（AMD Ryzen 7 6800H）上进行一些基准测试，看看它如何使用llama.cpp Kubuntu和Vulkan后端处理新的Gemma 4和Qwen 3.6 MoE模型。由于这是APU，我完全依赖共享系统内存（UMA）和Radeon 680M iGPU。这里没有专用VRAM——只有iGPU从系统RAM中拉取内存。我将内存分配从1GB调整到16GB，但对推理没有影响。我测试了几种量化类型（NVFP4、Q4_K、Q8_0），以找出性能与智能之间的“最佳点”。以下是结果：
## 基准测试结果（t/s），按模型大小排序
| 模型 | 大小 | 参数量 | pp512 (t/s) | tg128 (t/s) |
|---|---|---|---|---|
| gpt-oss 20B Q6_K | 11.20 GiB | 20.91 B | 353.87 | 16.85 |
| gemma4 26B.A4B Q4_0 | 13.26 GiB | 25.23 B | 312.67 | 18.35 |
| gemma4 26B.A4B MXFP4 MoE | 15.40 GiB | 25.23 B | 261.32 | 11.93 |
| gemma4 26B.A4B Q4_K - Medium | 15.77 GiB | 25.23 B | 258.16 | 11.92 |
| gemma4 26B.A4B NVFP4 | 16.45 GiB | 25.23 B | 152.35 | 7.53 |
| gemma4 31B Q8_0 | 16.74 GiB | 30.70 B | 30.26 | 2.30 |
| qwen35moe 35B.A3B NVFP4 | 19.07 GiB | 35.51 B | 153.75 | 15.05 |
## 主要观察：
1. **MoE优势（Qwen 3.6 35B）**：尽管Qwen 3.6 35B MoE模型在总参数（35.51B）上是最大的，但它在解码速度上明显优于31B Q8_0模型（15.05 t/s vs 2.30 t/s）。这证明对于iGPU/APU用户来说，混合专家（MoE）是最佳选择。你既能获得大型模型的“知识”，又能享受小得多的推理速度。
2. **量化与内存带宽**：从Q4_0到Q8_0的性能下降非常显著。Q4_0提供了非常可用的约18 t/s，而31B模型上的Q8_0则降到了蜗牛速度（2.3 t/s）。由于我们受限于系统内存带宽（DDR5/LPDDR5），保持模型占用空间更小至关重要。
3. **NVFP4/MXFP4性能**：较新的FP4格式很有趣。在我的测试中，gemma4 26B NVFP4实际上比标准Q4_0慢。看来在Vulkan/AMD驱动栈上，这些特定格式还需要一些优化工作才能真正实现效率提升。
4. **APU用户总结**：如果你在6800H或类似平台运行：
- 对于超过20B参数的模型，避免使用Q8量化。
- 瞄准MoE模型，以获取高参数智能和可用速度。
- 坚持使用4位（Q4_K或Q4_0），以保持解码速度高于“阅读速度”阈值。
## 系统规格：
- **CPU/iGPU**：AMD Ryzen 7 6800H（Radeon 680M）
- **后端**：llama.cpp（Vulkan）
- **操作系统**：Linux/Kubuntu 26.04
https://preview.redd.it/j0mbrwo5ptfh1.png?width=720&format=png&auto=webp&s=ef6e600ba8d84604a91c08df639f98dd63066c81
相似文章
Reddit r/LocalLLaMA
一位开发者展示了如何使用llama.cpp，通过MoE卸载和TurboQuant KV缓存量化技术，在老款GTX 1080（8GB显存）上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型，达到24+ tok/s的推理速度，并揭示了针对Gemma MTP投机解码的优化技巧。
TLDR AI
本文在24GB GPU上对Qwen3.8-27B、Qwen3.6-27B和Gemma 4 31B的性能进行了基准测试和比较，推荐Qwen3.8-27B作为大多数用户的最佳默认选择，因其具备更优的编码和推理能力。
Reddit r/LocalLLaMA
Gemma 4-26b-a4b-it 基本是个基础扎实、能稳妥完成任务的 B 等生。Qwen3.6-35b-a3b 则是考出 A+ 的优等生，做完任务后还有余力搞点锦上添花的发挥。在我的 16GB 显存显卡上，两款模型运行速度相当。测试环境为 Windows 下的 LM Studio，采用推荐推理设置。使用的模型：unsloth/gemma-4-26B-A4B-it-UD-Q4_K_S 与 AesSedai/Qwen3.6-35B-A3B IQ4_XS。大家有不同意见吗？**更新：** 看来我之前用 Gemma 4 的方式不太对。[Sadman782 的评论](https://www.redd
Reddit r/LocalLLaMA
在 RTX 5090 上，让四款本地大模型——Qwen3.6-27B、Qwen3.6-35B、Qwen3.5-27B 与 Gemma 4——完成 2 万 token 架构写作任务，结果显示 Qwen3.6-27B 在清晰度、完整性与实用性上取得最佳综合平衡。
Reddit r/LocalLLaMA
个人基准测试显示，Qwen3.5-27B Dense 与 Gemma4-31B Dense 在 37 个失败用例中修复率 100%，即使 8-bit 量化的 Gemma4-26B MoE 也望尘莫及，同时消耗更少 token 与更短挂钟时间。