club-rdna16:实用的16GB AMD/Radeon本地LLM测试仓库
摘要
该仓库提供了在16GB AMD Radeon GPU上使用基于ROCm/HIP的llama.cpp运行本地大语言模型(LLM)的实用测试配置和基准测试,重点关注上下文长度、KV缓存设置等真实性能指标。
继club-5060ti之后,我一直在用桌面级AMD GPU进行一些测试,并希望为16GB Radeon显卡建立一个类似的仓库。仓库地址:https://github.com/5p00kyy/club-rdna16 页面/结果:https://5p00kyy.github.io/club-rdna16/ 首台测试机器是RX 6900 XT 16GB,运行基于ROCm/HIP的llama.cpp。我主要测试了Qwen3.6 27B和Qwen3.6 35B-A3B,使用Unsloth MTP GGUFs,当前采用UD-IQ3_XXS模型量化与q8 KV缓存。该仓库旨在提供实用性而非合成排行榜。我试图捕捉用户本地运行模型时真正重要的要素:
- 精确的llama.cpp启动配置
- 实际可用的上下文长度
- KV缓存设置
- 短提示词吞吐量
- 长上下文检索检查
- AMD功耗配置文件说明
- ROCm/HIP设置细节
- 其他Radeon用户的结果模板
RX 6900 XT的早期发现:
- Qwen3.6 35B-A3B是该显卡目前最实用的结果。
- 使用q8 KV的131k上下文作为稳定非MTP配置表现良好。
- 使用q8 KV和MTP的100k上下文也可行,但需要仔细调整设置。
- 某些能正常回答短提示词的配置在长提示词下会失败或变得不实用。
- AMD计算功耗配置对长上下文预填充有显著影响。
- Qwen3.6 27B可以运行,但根据我的测试,35B-A3B配置更为实用。
我希望这能对RX 6900 XT、RX 6800 XT、RX 7800 XT、RX 7900 GRE、RX 9070 XT及类似16GB AMD显卡的用户有所帮助。如果有人拥有16GB Radeon显卡并希望运行相同脚本,提交结果将非常有用。最有价值的报告应包括GPU型号、ROCm/驱动程序版本、后端、功耗配置、模型、模型量化、KV缓存类型、上下文长度以及长上下文检索测试是否通过。
目前仍处于早期阶段,但我认为值得公开推出,以便AMD用户能有一个地方对比可重现的llama.cpp/ROCm结果,而不是从零散评论中拼凑信息。
相似文章
club-5060ti: 实用的RTX 5060 Ti本地LLM笔记与配置
一个GitHub仓库,提供在双RTX 5060 Ti 16GB显卡上使用vLLM和llama.cpp运行本地LLM(如Qwen3.6 27B)的实用配置和基准测试。
AMD 用户:您试过 llama.cpp 的 AMD-Ecosystem 分支吗?最高 2 倍提示处理速度
本文讨论了 llama.cpp 的一个 AMD 特定分支,该分支显著提升了 AMD 用户的提示处理速度,使用 ROCm/Hip 时,在密集模型上性能最高提升 2 倍,尽管在其他指标上有些权衡。
GLM 和我创建了一个针对 AMD GFX906(Mi50、Mi60、Radeon VII、GCN HIP)优化的 llama.cpp 分支 - 机器学习、大语言模型和 AI
已创建一个 llama.cpp 的分支,并针对 AMD GFX906 GPU 进行了优化,提升了 Mi50、Mi60、Radeon VII 和 GCN HIP 上的性能,适用于机器学习和大语言模型应用。
vLLM ROCm 已作为实验性后端添加到 Lemonade 中。
Lemonade 为 vLLM 添加了一个实验性的 ROCm 后端,使用户能够通过简单的命令在 AMD GPU 上轻松运行 safetensors 格式的大语言模型。
TurboQuant+MTP在ROCm(Llama CPP)上的实现
一位开发者成功在llama.cpp中让TurboQuant TBQ4 KV缓存和多Token预测在AMD ROCm上针对RDNA3 GPU运行,实现在24GB显存上支持64k上下文,并具有有竞争力的token速率。