rocm

vLLM v0.22.0 发布，包含 459 次提交，主要特点包括 DeepSeek V4 加固、实验性 Rust 前端、以及批次不变的 Cutlass FP8，端到端延迟降低 28.9%。

llama.cpp 版本 b9387 引入了对 AMD CDNA 架构（MI100、MI200、MI300 系列）的 MFMA 支持，提升了数据中心 AMD GPU 上的处理流程性能。

一个针对 llama.cpp 的被拒绝的 PR 可在 AMD Strix Halo 硬件上为 MOE 模型提供高达 30% 的提示处理速度提升，但增益会随上下文长度增加而递减。

将 Qwen 3.6 35b a3b 模型转换为 ROCmfp4 格式，利用 MTP 优势提升 AMD 硬件上的性能。

这是一个 llama.cpp 的分支，集成了 TurboQuant+，用于先进的 KV 缓存和权重量化，支持跨后端内核（Apple Silicon、NVIDIA CUDA、AMD ROCm、Vulkan），并被 LocalAI、Chronara 和 AtomicChat 用于生产环境。

该仓库提供了在16GB AMD Radeon GPU上使用基于ROCm/HIP的llama.cpp运行本地大语言模型（LLM）的实用测试配置和基准测试，重点关注上下文长度、KV缓存设置等真实性能指标。

自定义二进制解决方案为 llama.cpp 在 AMD RDNA2 GPU 上启用了闪存注意力，推理速度翻倍（70-80 tok/s，而官方版本崩溃）。仅确认与 Qwen3.6 35B/27B 配合使用。

Lemonade v10.5.1 新增 MTP 支持，为 Strix Halo 提供 ROCm 7.13 快速启动，并修复了 Fedora 43 问题。

AMD 的 ROCm 7.13 技术预览版为 Strix Halo（Ryzen AI Max 300）新增优化，并将 ROCprof Trace Decoder 开源。

技术基准测试，比较 ROCm 和 Vulkan 后端在 Strix Halo 硬件上运行 LLM 推理的性能，MTP 合并到 llama.cpp 之后，结果显示 ROCm 在全上下文时性能严重下降，而 Vulkan 保持稳定。

vLLM 发布版本 0.21.1rc0，重点关注 ROCm CI 门控改进。

一位用户报告称，在使用相同模型和设置的情况下，llama.cpp 的 ROCm 后端比 Vulkan 后端消耗的 KV 缓存显存显著更多，这引发了对其潜在原因的探究。

一位开发者成功在llama.cpp中让TurboQuant TBQ4 KV缓存和多Token预测在AMD ROCm上针对RDNA3 GPU运行，实现在24GB显存上支持64k上下文，并具有有竞争力的token速率。

本文提供了在 AMD Strix Halo 硬件上使用监督微调 (SFT) 和 LoRA 方法微调大语言模型 (LLMs) 的教程，涵盖 Linux 及原生 Windows 环境。

Lemonade 为 vLLM 添加了一个实验性的 ROCm 后端，使用户能够通过简单的命令在 AMD GPU 上轻松运行 safetensors 格式的大语言模型。

作者询问2026年中AMD的ROCm生态系统在AI训练领域的当前可行性，将其与NVIDIA的CUDA进行比较，并询问它是否已达到PyTorch的“开箱即用”阶段。

CuPy是一个GPU加速的库，可作为NumPy/SciPy的直接替代品，支持在NVIDIA CUDA和AMD ROCm平台上进行高效的数组运算。