标签
用户分享的一个 GitHub 仓库展示了在 AMD Radeon RX 7900 XTX GPU 上本地运行 Qwen3.8 27B 时,推理速度得到显著提升。
一位开发者打造了 Red Curtain,让 Fish Audio 的 Drama 3 文本转语音模型(35B MoE,约 3B 激活参数)在 16 GB 的 Radeon RX 9070 上运行,尽管官方要求 48 GB 的 NVIDIA 显卡。其方法是将 FP8 专家层卸载到系统内存,并将激活的专家层缓存在 GPU 上。该工具自带支持声音克隆和多说话人剧本的 Web UI,作者还分享了调优技巧以及一个已知的首行静音问题。
一位用户使用 BetterBench 吞吐量测试工具,在配备 2 块 R9700 GPU 和 64GB DDR5 内存的定制 PC 上,对运行于 Deadcode 的 Radiance 推理引擎上的 Q4 量化版 Qwen-3.8 Flash-Next 进行基准测试,实现了 176 token/秒的解码速度和 6,450 token/秒的预填充速度。
ROCmFPX 的 gated delta net prefill 内核已优化为通过 RDNA3 WMMA 处理 16 个 token 的分块,而非逐个 token 处理,将每次 512-token 调用的延迟从 772µs 降至 610µs,各配置下 prompt 处理吞吐量提升约 2-4%,Strix Halo 的测试仍在进行中。
ROCmFPX 更新了融合 HC norm 的匹配器,使其能识别 qwen4exp 将 REPEAT/MUL/ADD 合并为单一 op 的组合,从而将 HC 内核每 2048 token 的耗时从 416 ms 降至 175 ms。相关修复还解决了导致 llama-perplexity 崩溃的 xn 别名问题,并在 BF16 拷贝路径上移除了变慢的 Q8_0 MMB down proj。
ROCmFPX 解决了预填充阶段 MMQ 阻塞问题,通过寄存器路径将 Q4_0_ROCMI4 权重反量化为 BF16 WMMA GEMM,在 Qwen3.8 Flash Next HC-Q8 上实现 ub 512 约 13%、ub 1024 约 23% 的吞吐提升,稀疏专家处理时间从约 2.3 秒降至 1.8 秒。
ROCmFPX 修复了在 AMD Strix Halo (gfx1151, ROCm 7.2.1) 上统一内存与 HIP 图捕获导致 top_k 中 hipMemcpy2DAsync 未执行、使 Qwen3.8 Flash Next logits 静默变为垃圾的问题,修复后 KLD 从约 8 降至 0.005,top-1 准确率恢复到 97% 以上且基准速度不受影响。
GNU Guix 正式将 AMD 的 HIP 与 ROCm 生态作为一等公民支持,使在 Guix 中进行 AMD GPU 计算栈的功能化打包与部署更加顺畅。
LemonSeed Studio 0.5.8 通过 eGPU(Thunderbolt 外壳中的 AMD R9700)在 iPadOS 上实现了端侧 LLM 推理,使用统一的 LemonSeed Engine 在 iPadOS、macOS 和 Linux 上运行 Qwen3.8-27B Q4,配合 DFlash2 投机解码达到约 159 tok/s。
作者指出已有开发者脱离vLLM和llama.cpp,从零编写针对AMD显卡的专用推理引擎,原因是通用引擎仅利用了约200GB/600GB的显存带宽。随着AI辅助编程的普及,类似项目将大量涌现,软件开发进入更平等的时代。
一位用户分享并征求反馈:在单张 Radeon RX 9700(gfx12)上以 EXL3 5.05bpw 运行 Qwen3.8-Flash-Next,采用 GPU/CPU 混合专家卸载,报告在 230k 上下文下 prefill 约 863 t/s、decode 约 35 t/s。
感谢 tcclaviger 为 vLLM 添加专家 RAM 卸载支持,使得在本地多 GPU 设置上运行 DeepSeek-V4-Flash-Vision-Exp 等大型 AI 模型成为可能。
BeeLlama v0.4.7 发布,通过为 MTP 和 DFlash 提供独立的 drafter ubatch 大小调整,实现数 GB 的 VRAM 节省,并大幅提升 ROCm 和 CUDA 在 AI 推理方面的性能。
本文介绍了一种配置,通过 Thunderbolt 5 在 MacBook Pro 上使用 AMD Radeon AI Pro R9700 GPU,结合自定义驱动和 LemonSeed-Engine 运行大语言模型如 Qwen3.6-3.8。
优化了在单张 AMD Radeon R9700 GPU 上运行 Qwen3.8 27b NVFP4 模型的性能,解码速度高达每秒 153 个令牌,预填充速度达每秒 3,619 个令牌,并提升了并发性能。
本文介绍AMDKernelVault,这是一个用于AMD GPU内核优化的开放数据集和训练框架,包含大规模HIP和Triton内核,以及用于生成和验证内核的代理驱动流水线。
此工具提供可复现的 Windows 环境,用于在 AMD GPU 上运行针对 CUDA 的应用程序,使用 ZLUDA 和 AMD HIP/ROCm,并通过 RX 9060 XT 和 LibTorch 工作负载进行了验证。
此拉取请求为 ggml-cuda 的 HIP 添加缺失的 AMD GCN MMQ 配置,增强了 llama.cpp 推理库中 RDNA2 GPU(如 MI50 和 MI60)的预填充性能。
VoxGen是专为VoxCPM2模型设计的新轻量级原生推理引擎,使用Rust和Vulkan计算针对AMD显卡优化,以提升性能并消除Python/PyTorch依赖。
本文介绍了为在AMD MI350X GPU上运行Qwen3.6-35B-A3B大语言模型所做的优化,实现了高输出令牌吞吐量,并开源了内核以提升性能。