ggml-org/llama.cpp

来源： https://github.com/ggml-org/llama.cpp

llama.cpp

在 C/C++ 中实现 llama LLM 推理
许可证： MIT (https://opensource.org/licenses/MIT)
发布版本 | 每夜构建 | 服务器版 | Docker | Winget | ggml | 运算库 | 维护者 PR | 开发统计 | lib llama API | llama-server REST API

快速入门

以下是将 llama.cpp 安装到您机器上的几种选项：

• 访问 https://llama.app 并按照说明操作
• 使用 Docker 运行 – 请参阅我们的 Docker 文档
• 从发布页面下载预构建二进制文件 (https://github.com/ggml-org/llama.cpp/releases)
• 克隆此仓库并从源码构建 – 请查看我们的构建指南

安装完成后：

# 直接从 Hugging Face 下载并运行模型  
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF  

# 启动与 OpenAI 兼容的 API 服务器  
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF  

使用 llama cli 进行视觉语言模型会话
针对 llama serve 的内置 Web 界面

描述

llama.cpp 的主要目标是在广泛类型的硬件（本地和云端）上，以最少的配置和最先进的性能实现 LLM（以及 VLM）推理。

• 纯 C/C++ 实现，无任何依赖
• Apple 芯片是一等公民 – 通过 ARM NEON、Accelerate 和 Metal 框架优化
• 支持 x86 架构的 AVX、AVX2、AVX512 和 AMX
• 支持 RISC-V 架构的 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE
• 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，以实现更快的推理和减少内存使用
• 用于在 NVIDIA GPU 上运行 LLM 的自定义 CUDA 内核（通过 HIP 支持 AMD GPU，通过 MUSA 支持 Moore Threads GPU）
• 支持 Vulkan 和 SYCL 后端
• CPU+GPU 混合推理，可部分加速超过显存总容量的模型

llama.cpp 项目构建于 ggml (https://github.com/ggml-org/ggml) 库之上。

支持的后端

文档

工具

• cli
• 补全
• server
• GBNF 语法

开发

• 如何构建
• 在 Docker 上运行
• 在 Android 上构建
• 多 GPU 使用
• 性能故障排除
• GGML 提示与技巧 (https://github.com/ggml-org/llama.cpp/wiki/GGML-Tips-&-Tricks)
• XCFramework
• 补全
• 模型
• 发布流程

贡献

• 贡献者可以提交 PR
• 将根据贡献情况邀请协作者
• 维护者可以将代码推送到 llama.cpp 仓库的分支，并将 PR 合并到 master 分支
• 任何帮助管理问题、PR 和项目的工作都非常感谢！
• 请阅读 CONTRIBUTING.md 了解更多信息

致谢

• yhirose/cpp-httplib (https://github.com/yhirose/cpp-httplib) – 单文件头 HTTP 服务器，被 llama-server 使用 – MIT 许可证
• nothings/stb (https://github.com/nothings/stb) – 单文件头图像格式解码器，被多模态子系统使用 – 公共领域
• nlohmann/json (https://github.com/nlohmann/json) – 单文件头 JSON 库，被各种工具/示例使用 – MIT 许可证
• mackron/miniaudio (https://github.com/mackron/miniaudio) – 单文件头音频格式解码器，被多模态子系统使用 – 公共领域
• sheredom/subprocess.h (https://github.com/sheredom/subprocess.h) – 面向 C 和 C++ 的单文件头进程启动解决方案 – 公共领域