[模型] 支持 MiniCPM-V 4.7，由 tc-mb 提交 · 拉取请求 #29416 · ggml-org/llama.cpp

Reddit r/LocalLLaMA 工具
llama.cpp minicpm-v vision-language-model inference open-source pull-request

摘要

一个针对 llama.cpp 的拉取请求新增了对 MiniCPM-V 4.7 多模态视觉语言模型的推理支持，扩展了这一 C/C++ 大语言模型推理框架所支持的模型范围。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/10/10 22:40

ggml-org/llama.cpp 源代码：https://github.com/ggml-org/llama.cpp # llama.cpp 使用 C/C++ 进行 llama LLM 推理 许可证：MIT (https://opensource.org/licenses/MIT) 发布版本 (https://github.com/ggml-org/llama.cpp/releases?q=tag:v0) 每夜构建 (https://github.com/ggml-org/llama.cpp/releases?q=b) 服务器 (https://github.com/ggml-org/llama.cpp/actions/workflows/server.yml) Docker (https://github.com/ggml-org/llama.cpp/actions/workflows/docker.yml) Winget (https://github.com/ggml-org/llama.cpp/actions/workflows/winget.yml) ggml (https://github.com/ggml-org/ggml) / 运算 (https://github.com/ggml-org/llama.cpp/blob/master/docs/ops.md) / 维护者的 PR (https://github.com/ggml-org/llama.cpp/issues?q=is%3Apr%20is%3Aopen%20draft%3AFalse%20(author%3Argerganov%20OR%20author%3AKitaitiMakoto%20OR%20author%3Adanbev%20OR%20author%3Aaldehir%20OR%20author%3Amax-krasnyansky%20OR%20author%3ACISC%20OR%20author%3Aggerganov%20OR%20author%3Aam17an%20OR%20author%3Ajhen0409%20OR%20author%3Abartowski1182%20OR%20author%3Anikwen%20OR%20author%3Ahipudding%20OR%20author%3Aravi9%20OR%20author%3AServeurpersoCom%20OR%20author%3Apwilkin%20OR%20author%3Areeselevine%20OR%20author%3Angxson%20OR%20author%3Ajeffbolznv%20OR%20author%3Amarty1885%20OR%20author%3A0cc4m%20OR%20author%3ATitaniumtown%20OR%20author%3Aangt%20OR%20author%3AIMbackK%20OR%20author%3Aarthw%20OR%20author%3AJohannesGaessler%20OR%20author%3AORippler%20OR%20author%3Aruixiang63%20OR%20author%3Axctan%20OR%20author%3Aallozaur%20OR%20author%3Ayomaytk%20OR%20author%3Aaendk%20OR%20author%3Awine99%20OR%20author%3Agaugarg-nv%20OR%20author%3Ataronaeo%20OR%20author%3Aforforever73%20OR%20author%3Alhez%20OR%20author%3Anetrunnereve%20OR%20author%3Afairydreaming)%20sort%3Aupdated-desc) / 开发统计 (https://github.com/ggml-org/llama.cpp-dev) / llama 库 API (https://github.com/ggml-org/llama.cpp/issues/9289) / llama-server REST API (https://github.com/ggml-org/llama.cpp/issues/9291) ## 快速开始 在你的机器上安装 llama.cpp 的几种方式： bash # curl curl -LsSf https://llama.app/install.sh | sh # powershell irm https://llama.app/install.ps1 | iex - 访问 https://llama.app 并按照说明操作 - 使用 Docker 运行——参阅我们的 Docker 文档 - 从发布页面下载预编译的二进制文件 (https://github.com/ggml-org/llama.cpp/releases) - 克隆此仓库并从源码构建——参阅我们的构建指南 安装完成后： sh # 直接从 Hugging Face 下载并运行模型 llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF # 启动兼容 OpenAI 的 API 服务器 llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF 使用 llama cli 进行 VLM 会话 连接 llama serve 的内置 Web 界面 ## 简介 llama.cpp 的主要目标是以最少的配置，在本地和云端的各种硬件上实现具有最先进性能的 LLM（和 VLM）推理。 - 纯 C/C++ 实现，无任何依赖 - 对 Apple 芯片提供一流支持——通过 ARM NEON、Accelerate 和 Metal 框架进行优化 - 支持 x86 架构上的 AVX、AVX2、AVX512 和 AMX - 支持 RISC-V 架构上的 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE - 支持 1.5 位、2 位、3 位、4 位、5 位、6 位和 8 位整数量化，以加快推理并减少内存使用 - 使用自定义 CUDA 内核在 NVIDIA GPU 上运行 LLM（通过 HIP 支持 AMD GPU，通过 MUSA 支持摩尔线程 GPU） - 支持 Vulkan 和 SYCL 后端 - CPU+GPU 混合推理，可对大于显存总容量的模型进行部分加速 llama.cpp 项目基于 ggml (https://github.com/ggml-org/ggml) 库构建。 ## 支持的后端 | 后端 | 目标设备 | | — | — | | BLAS | 所有设备 | | BLIS | 所有设备 | | CANN | 昇腾 NPU | | CUDA | Nvidia GPU | | HIP | AMD GPU | | Hexagon | 骁龙 | | IBM zDNN | IBM Z 和 LinuxONE | | MUSA | 摩尔线程 GPU | | Metal | Apple 芯片 | | OpenCL | Adreno GPU | | OpenVINO [开发中] | Intel CPU、GPU 和 NPU | | RPC (https://github.com/ggml-org/llama.cpp/tree/master/tools/rpc) | 所有设备 | | SYCL | Intel GPU | | VirtGPU | VirtGPU APIR | | Vulkan | GPU | | WebGPU | 所有设备 | | ZenDNN | AMD CPU | ## 文档 #### 工具 - cli - completion - server - GBNF 语法 #### 开发 - 如何构建 - 在 Docker 中运行 - 在 Android 上构建 - 多 GPU 使用 - 性能问题排查 - GGML 提示与技巧 (https://github.com/ggml-org/llama.cpp/wiki/GGML-Tips-&-Tricks) - XCFramework - 补全 - 模型 - 发布流程 ## 参与贡献 - 贡献者可以提交 PR - 将根据贡献情况邀请协作者 - 维护者可以向 llama.cpp 仓库中的分支推送代码，并将 PR 合并到 master 分支 - 非常感谢任何协助管理问题、PR 和项目的帮助！ - 阅读 CONTRIBUTING.md 了解更多信息 ## 致谢 - yhirose/cpp-httplib (https://github.com/yhirose/cpp-httplib) - 单头文件 HTTP 服务器，由 llama-server 使用 - MIT 许可证 - nothings/stb (https://github.com/nothings/stb) - 单头文件图像格式解码器，由多模态子系统使用 - 公有领域 - nlohmann/json (https://github.com/nlohmann/json) - 单头文件 JSON 库，由各种工具/示例使用 - MIT 许可证 - mackron/miniaudio (https://github.com/mackron/miniaudio) - 单头文件音频格式解码器，由多模态子系统使用 - 公有领域 - sheredom/subprocess.h (https://github.com/sheredom/subprocess.h) - 用于 C 和 C++ 的单头文件进程启动方案 - 公有领域

相似文章