vulkan: 融合 qwen4exp 的 SCALE -> SIGMOID -> SCALE -> hc_post 链由 fxgsell · PR #29520 · ggml-org/llama.cpp
摘要
此 PR 在 Vulkan 后端中融合了 qwen4exp 模型的操作链,以优化 llama.cpp 的推理性能。
查看缓存全文
缓存时间: 2026/09/28 13:58
ggml-org/llama.cpp
来源:https://github.com/ggml-org/llama.cpp
llama.cpp
使用 C/C++ 实现的 llama 大语言模型推理库
许可证:MIT (https://opensource.org/licenses/MIT)
正式发布版 (https://github.com/ggml-org/llama.cpp/releases?q=tag:v0)
每夜构建版 (https://github.com/ggml-org/llama.cpp/releases?q=b)
服务器 (https://github.com/ggml-org/llama.cpp/actions/workflows/server.yml)
Docker (https://github.com/ggml-org/llama.cpp/actions/workflows/docker.yml)
Winget (https://github.com/ggml-org/llama.cpp/actions/workflows/winget.yml)
ggml (https://github.com/ggml-org/ggml) / 运算符文档 (https://github.com/ggml-org/llama.cpp/blob/master/docs/ops.md) / 维护者 PR (https://github.com/ggml-org/llama.cpp/issues?q=is%3Apr%20is%3Aopen%20draft%3AFalse%20(author%3Argerganov%20OR%20author%3AKitaitiMakoto%20OR%20author%3Adanbev%20OR%20author%3Aaldehir%20OR%20author%3Amax-krasnyansky%20OR%20author%3ACISC%20OR%20author%3Aggerganov%20OR%20author%3Aam17an%20OR%20author%3Ajhen0409%20OR%20author%3Abartowski1182%20OR%20author%3Anikwen%20OR%20author%3Ahipudding%20OR%20author%3Aravi9%20OR%20author%3AServeurpersoCom%20OR%20author%3Apwilkin%20OR%20author%3Areeselevine%20OR%20author%3Angxson%20OR%20author%3Ajeffbolznv%20OR%20author%3Amarty1885%20OR%20author%3A0cc4m%20OR%20author%3ATitaniumtown%20OR%20author%3Aangt%20OR%20author%3AIMbackK%20OR%20author%3Aarthw%20OR%20author%3AJohannesGaessler%20OR%20author%3AORippler%20OR%20author%3Aruixiang63%20OR%20author%3Axctan%20OR%20author%3Aallozaur%20OR%20author%3Ayomaytk%20OR%20author%3Aaendk%20OR%20author%3Awine99%20OR%20author%3Agaugarg-nv%20OR%20author%3Ataronaeo%20OR%20author%3Aforforever73%20OR%20author%3Alhez%20OR%20author%3Anetrunnereve%20OR%20author%3Afairydreaming)%20sort%3Aupdated-desc) / 开发统计 (https://github.com/ggml-org/llama.cpp-dev) / lib llama API (https://github.com/ggml-org/llama.cpp/issues/9289) / llama-server REST API (https://github.com/ggml-org/llama.cpp/issues/9291)
快速开始
以下几种方法可将 llama.cpp 安装到您的机器上:
- 访问 https://llama.app 并按照说明操作
- 使用 Docker 运行 - 请参阅我们的 Docker 文档
- 从发布页面 (https://github.com/ggml-org/llama.cpp/releases) 下载预编译二进制文件
- 通过克隆本仓库从源代码构建 - 请参考 我们的构建指南
安装完成后:
# 直接从 Hugging Face 下载并运行模型
llama-cli -hf ggml-org/Qwen3.5-0.8B-GGUF
# 启动兼容 OpenAI 的 API 服务器
llama-server -hf ggml-org/Qwen3.5-0.8B-GGUF
使用 llama-cli 进行视觉语言模型会话
llama-server 内置的 Web UI
项目介绍
llama.cpp 的主要目标是在各种硬件上(包括本地和云端)以最小的设置和顶尖的性能实现大语言模型(及视觉语言模型)的推理。
- 纯 C/C++ 实现,无任何外部依赖
- Apple Silicon 是一等公民 - 通过 ARM NEON、Accelerate 和 Metal 框架进行优化
- 支持 x86 架构的 AVX、AVX2、AVX512 和 AMX 指令集
- 支持 RISC-V 架构的 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE 指令集
- 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化,以实现更快的推理速度和更少的内存占用
- 为在 NVIDIA GPU 上运行大语言模型提供定制 CUDA 内核(通过 HIP 支持 AMD GPU,通过 MUSA 支持 Moore Threads GPU)
- 支持 Vulkan 和 SYCL 后端
- 支持 CPU+GPU 混合推理,可部分加速模型,即使其总容量超过显存限制
llama.cpp 项目构建于 ggml (https://github.com/ggml-org/ggml) 库之上。
支持的后端
| 后端 | 目标设备 |
|---|---|
| BLAS | 所有 |
| BLIS | 所有 |
| CANN | 华为昇腾 NPU |
| CUDA | NVIDIA GPU |
| HIP | AMD GPU |
| Hexagon | 高通骁龙 |
| IBM zDNN | IBM Z & LinuxONE |
| MUSA | Moore Threads GPU |
| Metal | Apple Silicon |
| OpenCL | Adreno GPU |
| OpenVINO [开发中] | Intel CPU、GPU 和 NPU |
| RPC (https://github.com/ggml-org/llama.cpp/tree/master/tools/rpc) | 所有 |
| SYCL | Intel GPU |
| VirtGPU | VirtGPU API |
| Vulkan | GPU |
| WebGPU | 所有 |
| ZenDNN | AMD CPU |
文档
工具
开发
- 如何构建
- 在 Docker 上运行
- 在 Android 上构建
- 多 GPU 使用
- 性能问题排查
- GGML 技巧与窍门 (https://github.com/ggml-org/llama.cpp/wiki/GGML-Tips-&-Tricks)
- XCFramework
- 补全功能
- 模型
- 发布流程
贡献指南
- 贡献者可以提交 PR
- 根据贡献情况,协作者将被邀请加入
- 维护者可以将代码推送到
llama.cpp仓库的分支,并将 PR 合并到master分支 - 任何对管理问题、PR 和项目有帮助的工作都备受感激!
- 请阅读 CONTRIBUTING.md 了解更多信息
致谢
- yhirose/cpp-httplib (https://github.com/yhirose/cpp-httplib)
- 单头文件 HTTP 服务器,被
llama-server使用 - MIT 许可证
- 单头文件 HTTP 服务器,被
- nothings/stb (https://github.com/nothings/stb)
- 单头文件图像格式解码器,被多模态子系统使用
- 公共领域
- nlohmann/json (https://github.com/nlohmann/json)
- 单头文件 JSON 库,被各种工具/示例使用
- MIT 许可证
- mackron/miniaudio (https://github.com/mackron/miniaudio)
- 单头文件音频格式解码器,被多模态子系统使用
- 公共领域
- sheredom/subprocess.h (https://github.com/sheredom/subprocess.h)
- 用于 C 和 C++ 的单头文件进程启动解决方案
- 公共领域
相似文章
CUDA:将共享专家融合进 MMVQ —— am17an · Pull Request #29184 · ggml-org/llama.cpp
am17an 提交的 llama.cpp 拉取请求(#29184)将共享专家(shared experts)融合进 MMVQ(矩阵矩阵向量量化)CUDA 核心中,优化了 GPU 上混合专家(mixture-of-experts)模型的推理性能。
vulkan: 使TP可行 · Pull Request #25051 · ggml-org/llama.cpp
此拉取请求使得在使用Vulkan后端时,llama.cpp中的张量并行(TP)变得可行,从而能够在多个GPU上进行分布式推理。
SYCL: 从 CUDA 后端移植多列 MMVQ(在 Intel Arc 上获得约 45% 的推测解码加速)by masonmilby · Pull Request #21845 · ggml-org/llama.cpp
一个针对 llama.cpp 的拉取请求,将多列 MMVQ 从 CUDA 移植到 SYCL,在 Intel Arc GPU 上实现了约 45% 的推测解码加速。
vulkan: 针对AMD RDNA3和RDNA4的int8 coopmat1矩阵乘法实现 (… · ggml-org/llama.cpp@70c4e15)
此更新为llama.cpp引入了基于Vulkan的int8协作矩阵乘法实现,针对AMD RDNA3和RDNA4 GPU,提升这些硬件平台上的推理性能。
[llama.cpp] 非对称 KV q8/q4 缓存:当前注意事项及 GGML 仓库中的讨论
讨论了在 llama.cpp 中使用非对称 KV 缓存量化时的注意事项,其中不匹配的 q8/q4 类型会导致提示处理在 CPU 而非 GPU 上进行,并提出了通过编译标志进行修复的方案。