club-rdna16:实用的16GB AMD/Radeon本地LLM测试仓库

Reddit r/LocalLLaMA 工具

摘要

该仓库提供了在16GB AMD Radeon GPU上使用基于ROCm/HIP的llama.cpp运行本地大语言模型(LLM)的实用测试配置和基准测试,重点关注上下文长度、KV缓存设置等真实性能指标。

继club-5060ti之后,我一直在用桌面级AMD GPU进行一些测试,并希望为16GB Radeon显卡建立一个类似的仓库。仓库地址:https://github.com/5p00kyy/club-rdna16 页面/结果:https://5p00kyy.github.io/club-rdna16/ 首台测试机器是RX 6900 XT 16GB,运行基于ROCm/HIP的llama.cpp。我主要测试了Qwen3.6 27B和Qwen3.6 35B-A3B,使用Unsloth MTP GGUFs,当前采用UD-IQ3_XXS模型量化与q8 KV缓存。该仓库旨在提供实用性而非合成排行榜。我试图捕捉用户本地运行模型时真正重要的要素: - 精确的llama.cpp启动配置 - 实际可用的上下文长度 - KV缓存设置 - 短提示词吞吐量 - 长上下文检索检查 - AMD功耗配置文件说明 - ROCm/HIP设置细节 - 其他Radeon用户的结果模板 RX 6900 XT的早期发现: - Qwen3.6 35B-A3B是该显卡目前最实用的结果。 - 使用q8 KV的131k上下文作为稳定非MTP配置表现良好。 - 使用q8 KV和MTP的100k上下文也可行,但需要仔细调整设置。 - 某些能正常回答短提示词的配置在长提示词下会失败或变得不实用。 - AMD计算功耗配置对长上下文预填充有显著影响。 - Qwen3.6 27B可以运行,但根据我的测试,35B-A3B配置更为实用。 我希望这能对RX 6900 XT、RX 6800 XT、RX 7800 XT、RX 7900 GRE、RX 9070 XT及类似16GB AMD显卡的用户有所帮助。如果有人拥有16GB Radeon显卡并希望运行相同脚本,提交结果将非常有用。最有价值的报告应包括GPU型号、ROCm/驱动程序版本、后端、功耗配置、模型、模型量化、KV缓存类型、上下文长度以及长上下文检索测试是否通过。 目前仍处于早期阶段,但我认为值得公开推出,以便AMD用户能有一个地方对比可重现的llama.cpp/ROCm结果,而不是从零散评论中拼凑信息。
查看原文

相似文章

TurboQuant+MTP在ROCm(Llama CPP)上的实现

Reddit r/LocalLLaMA

一位开发者成功在llama.cpp中让TurboQuant TBQ4 KV缓存和多Token预测在AMD ROCm上针对RDNA3 GPU运行,实现在24GB显存上支持64k上下文,并具有有竞争力的token速率。