标签
一位用户对一款刷入W6800固件并配备定制吹风风扇的改装版AMD V620 GPU进行了基准测试，通过Vulkan和ROCm后端运行大型语言模型，比较了Qwen2.5-27B在不同量化级别下的性能表现。
作者发现同时使用CUDA和Vulkan后端编译llama.cpp是可行的，解码速度提升了约10% tokens/秒。他们计划运行进一步基准测试来评估其优势。
react-native-executorch 库现已集成 Google 的 Gemma 4 模型，可实现完全离线的 GPU 加速推理，在 Android 上使用 Vulkan 委托，在 Apple Silicon 上使用 MLX 委托。
使用Strix Halo硬件对四个大型语言模型（≤120B参数）在深度上下文性能上的比较。与GPT-OSS和Qwen模型相比，Nemotron Super在深度上下文中的提示处理速度表现出色。
一部安卓手机被重新用作便携式GGUF推理服务器，支持Vulkan加速，并通过LiteLLM暴露兼容OpenAI的端点，借助Tailscale网格集成到自托管的AI集群中。
这是一个 llama.cpp 的分支，集成了 TurboQuant+，用于先进的 KV 缓存和权重量化，支持跨后端内核（Apple Silicon、NVIDIA CUDA、AMD ROCm、Vulkan），并被 LocalAI、Chronara 和 AtomicChat 用于生产环境。
用户对 Gemma4 26B A4B 模型的 APEX 量化版本在 AMD RX 9060 XT 上进行了基准测试，在 90k 上下文下实现了 38 tps，没有质量下降，发现它优于之前的量化版本。
一位用户成功在Kubuntu 24.04上通过Docker中的Vulkan设置了一个双GPU llama-cpp服务器，使用AMD Radeon PRO和7800 XT，拥有48GB显存。
技术基准测试，比较 ROCm 和 Vulkan 后端在 Strix Halo 硬件上运行 LLM 推理的性能，MTP 合并到 llama.cpp 之后，结果显示 ROCm 在全上下文时性能严重下降，而 Vulkan 保持稳定。
一位用户报告称，在使用相同模型和设置的情况下，llama.cpp 的 ROCm 后端比 Vulkan 后端消耗的 KV 缓存显存显著更多，这引发了对其潜在原因的探究。
用户 @binsquares 报告称，smolvm 上的 GPU 加速通过 Vulkan 后端运行 llama.cpp 时，可获得接近 90% 的主机性能。
社区实测显示，在 llama.cpp 下 Intel Arc Pro B70 的提示词处理平均慢约 71%，Token 生成平均慢约 54%；同一张卡 SYCL 后端有时比 Vulkan 更快。
Spirula Studio 是一款开源工具，用于从原始照片或视频训练3D高斯溅射模型，支持通过Vulkan在多个GPU上运行，具有VRAM效率高、原生支持360°相机以及内置SfM和AI遮罩等功能。