vulkan

PS5LM 是一个开源项目，可在已越狱的 PS5 的 RDNA 2 GPU 上运行 llama.cpp，将这台游戏主机变成私有模型服务器，通过兼容 OpenAI 和 Anthropic 的 API，为局域网内的任何设备提供 GGUF 模型服务。

Drama3 模型现已支持在 audio.cpp 中运行，在 RTX 5090 上全速运行时最快可达实时速度的 5 倍，或在低于 8 GB 显存下以约 2 倍实时速度运行，仍需进一步优化与修正。

社区汇编的 76 款 GPU 排名，使用 llama.cpp 的 Vulkan 后端进行本地 LLM 推理基准测试，按二手市场性价比排序。像 P102-100、MI50 和 Radeon VII 这类早期宽显存总线和 HBM2 显卡在性价比上占据优势，而现代中端显卡则受限于狭窄的显存总线，成为瓶颈。

Infermeld 是一个实验性的开源 Linux 辅助工具包（v0.1.0），基于 llama.cpp 在混合 AMD 与 NVIDIA GPU 上运行同一个 GGUF 模型，内置设备选择、构建说明、预检和热保护机制。已在 RX 6900 XT + RTX 3080 上使用 Qwen3.6-35B-A3B 进行测试，维护者正在寻找其他硬件组合进行复现。

# 通过 Vulkan 后端在 Linux 上运行 LLM 推理的显卡社区清单 一份由社区维护整理的显卡清单，涵盖预算级与旧款 GPU（NVIDIA GTX/Maxwell/Pascal、AMD Radeon 以及 Instinct MI 系列），可在 Linux 上借助 **Vulkan 后端**运行 LLM 推理，无需依赖最新的 CUDA/ROCm 支持要求。 其中特别推荐 **AMD Instinct MI50 16GB**，售价约 **$150**，是目前性价比最高的选择。

Apex Compute 正在为自家 AI 硬件开发开源的 Mesa Vulkan 驱动，使其加速器平台能够原生支持开源图形软件。

Janus 是一个单文件 Go 二进制工具，通过 Vulkan 在 AMD/Intel/NVIDIA GPU 或 CPU 上运行 GGUF 模型，并提供 OpenAI 兼容 API，无需 Python、Docker 或 Ollama。

关于原生 Rust + Vulkan Transformer 训练后端的后续更新：目前有 14 个架构通过了基于固定版本 Hugging Face Transformers 参考实现的严格对等性验证全训练门槛，同时完整的 PEFT 工作流（LoRA、saved modules、适配器切换、精确恢复）已在 32 个架构层面得到验证。

OpenDLSS-NR 是 NVIDIA DLSS 5 生成式神经渲染网络（71 层 Swin/ViT U-net）的开源、逐比特一致的 Vulkan 重新实现，另有一个独立的 WebGPU 移植版本，可在没有张量核心和 FP8 的情况下于浏览器中运行。

此 PR 在 Vulkan 后端中融合了 qwen4exp 模型的操作链，以优化 llama.cpp 的推理性能。

此更新为llama.cpp引入了基于Vulkan的int8协作矩阵乘法实现，针对AMD RDNA3和RDNA4 GPU，提升这些硬件平台上的推理性能。

用户分享了他们的本地AI配置，利用两个BC-250前挖矿APU和llama.cpp运行Qwen3.6-35B-A3B模型，实现60 tok/s和64k上下文，成本低于300美元。

作者展示了如何强制AMD MI50 GPU与ROCm 6.4.3配合工作，并构建了一个基于Vulkan的神经网络训练栈，挑战了关于旧硬件支持的共识。

VoxGen是专为VoxCPM2模型设计的新轻量级原生推理引擎，使用Rust和Vulkan计算针对AMD显卡优化，以提升性能并消除Python/PyTorch依赖。

Android Studio 现在原生支持使用 llama.cpp 运行 Gemma 4 AI 模型，具有多 GPU 支持和 128k 上下文长度等功能。

用户报告在使用Vulkan后端时，Gemma 4 12B QAT模型开启MTP后的推理速度变慢，但发现切换到ROCm后性能显著提升，MTP下达到60t/s。

在 Strix Halo 硬件上使用 llama.cpp 的 Vulkan 后端运行 Qwen3.8-Flash-Next 和 MTP 的基准测试结果，包括性能指标和对输出质量的观察。

用户通过禁用运行时电源管理，解决了在无头 Linux 系统上使用 AMD GPU 运行大型 AI 模型时崩溃的问题，防止模型权重被转储到有限内存中导致 OOM 错误。

这篇博客文章详细介绍了为meshoptimizer工具所做的优化，用于处理数十亿三角形，灵感来源于NVIDIA的RTX Mega Geometry和hierarchical clustered level-of-detail技术。

Solo 是一个 .so 加载器，使得完全静态的 Linux 二进制文件能够在运行时动态加载主机的 GPU 驱动程序，通过使用基于 musl 的 glibc ABI 桥接来避免使用容器或 AppImages。