标签
用户报告在使用Vulkan后端时，Gemma 4 12B QAT模型开启MTP后的推理速度变慢，但发现切换到ROCm后性能显著提升，MTP下达到60t/s。
本文评估了双 AMD Radeon AI PRO R9700 GPU 的 AI 推理性能，并将其与 Intel Arc Pro B70 和 NVIDIA RTX 5090 进行比较，突出了成本效益和软件挑战。
AMD发布了其开源GPU计算平台的重大更新ROCm 10.0，标志着十年发展历程，并通过ROCm.AI引入了原生智能体AI开发体验。
用户正在比较GPU选项，如R9700、Mi210和4080S，以实现128GB VRAM用于并行运行多个AI模型，考虑因素包括成本、性能和兼容性。
本文讨论了 llama.cpp 的一个 AMD 特定分支，该分支显著提升了 AMD 用户的提示处理速度，使用 ROCm/Hip 时，在密集模型上性能最高提升 2 倍，尽管在其他指标上有些权衡。
一位用户分享了测试结果，表明在Qwen 3.8 27B模型中，KV缓存类型f16和q8_0并不等价，f16在细节和一致性上表现更好，并提供了AMD ROCm硬件的配置详情。
用户报告在 Radeon 7600 上使用 llama.cpp 和 ROCm 运行 Qwen 3.6 35B A3B-Q8_0 gguf，在显存超频后达到每秒 21 tokens，并提到一个与显示相关的性能 bug。
推文报告称，AMD Strix Halo 上的 Ling 3.0 Flash 在使用 ROCm 优化格式时明显快于 Qwen-122b，但指出在某些测试框架中工具调用功能异常。
This repository provides configuration, patches, and tuning to run the DeepSeek V4 Flash 304B checkpoint on a single AMD MI300X in production, achieving 168 tok/s decode without quantization. It includes correctness overlays for vLLM ROCm, AITER tuning tables, and a hybrid KV cache strategy.
Documentation reference for MSLK 1.3.0, a library of fused GPU kernels for transformer workloads including attention, quantization, GEMM, and MoE routing, supporting CUDA and ROCm with PyTorch integration.
AMD AI DevMaster黑客马拉松于2026年7月10日至8月6日举行，设有三个赛道（多模态AI、智能体AI、物理AI）和30,000美元奖金池，PyTorch作为ROCm支持的AMD GPU上的官方框架。
llama.cpp的一个新PR将ROCm上的提示处理速度提升了约15%，并修复了一个bug，使Q2_K量化速度提升了28倍。
AMD 发布了 ROCm 7.14 'TheRock' 技术预览，带来了AI训练增强、针对Comfy UI等特定AI工作负载的性能提升高达16%，以及对开源GPU计算堆栈的持续Windows支持。
Qwen 3.5 122B 模型的一种紧凑型、重要性校准的 ROCmFP4 量化版本，适用于高内存 AMD 系统，实现了更优的质量（KLD 降低 14%）和性能（28.45 tok/s）。需要 ROCmFPX 运行时，不兼容标准 llama.cpp。
用户寻求关于在改装版RTX 4090 48GB、双AMD Radeon AI Pro R9700或双Intel Arc Pro B70之间选择的建议，用于运行本地编程LLM，重点比较价格、显存、软件生态和推理速度的权衡。
AMD 和 Meta 贡献者将 PyTorch Monarch 移植到 AMD Instinct GPU 并配合 ROCm，实现了大规模容错分布式训练。该博客详细介绍了工程工作以及在大型集群上的验证情况。
本文描述了将分布式训练运行时 PyTorch Monarch 移植到基于 ROCm 的 AMD GPU 的过程，实现了大规模单控制器容错训练，并解决了大规模 LLM 训练中的可靠性挑战。
QuixiAI 发布了 QuixiCore，这是一系列面向现代加速器的原生高性能 AI 内核库，为 CUDA、Metal、ROCm、XPU 和 Gaudi 后端提供了独立的实现，所有实现共享一个通用契约但没有共享代码。
一份精心整理的资源列表，用于掌握AI系统的GPU工程，涵盖CUDA、ROCm、优化工具、多GPU编排和分布式训练。
一个精心整理的 GitHub 资源列表，用于学习 GPU 工程学，涵盖架构、内核编程、优化、分布式系统及 AI 加速，包括书籍、框架、分析工具和面试准备内容。