GGML 和 llama.cpp 加入 Hugging Face,保障本地 AI 长期发展
摘要
GGML 和 llama.cpp 已加入 Hugging Face,以确保本地 AI 开发的长期可持续性。Georgi Gerganov 的团队将保持对项目的完全自主权,同时获得资源来扩大社区支持并改进 llama.cpp 推理与 transformers 模型定义之间的集成。
查看缓存全文
缓存时间: 2026/04/20 17:27
GGML 和 llama.cpp 加入 HF,推动本地 AI 的长期发展
来源:https://huggingface.co/blog/ggml-joins-hf 返回文章 (https://huggingface.co/blog)
- llama.cpp、开源项目和社区会有什么变化? (https://huggingface.co/blog/ggml-joins-hf#what-will-change-for-llamacpp-the-open-source-project-and-the-community)
- 技术重点 (https://huggingface.co/blog/ggml-joins-hf#technical-focus)
- 我们的长期愿景 (https://huggingface.co/blog/ggml-joins-hf#our-long-term-vision)
我们非常高兴地宣布,GGML 的创建者 llama.cpp 正在加入 HF,以保持未来 AI 的开放性。🔥
Georgi Gerganov (https://huggingface.co/ggerganov) 及其团队正在加入 HF,目标是在本地 AI 在未来几年继续指数级发展的同时,扩大和支持 ggml 和 llama.cpp 背后的社区。
我们与 Georgi 和团队合作已有相当长的时间(我们的团队中甚至已经有 llama.cpp 的出色核心贡献者,如 Son (https://huggingface.co/ngxson) 和 Alek (https://huggingface.co/allozaur)),所以这一过程非常自然。
llama.cpp 是本地推理的基础构件,transformers 是模型定义的基础构件,所以这基本上是天作之合。❤️
GGML 加入 Hugging Face
llama.cpp、开源项目和社区会有什么变化?
变化不大 – Georgi 和团队仍然将 100% 的时间投入到 llama.cpp 的维护中,对技术方向和社区拥有完全的自主权和领导权。HF 为该项目提供长期可持续的资源支持,提高了项目增长和繁荣的机会。该项目将像现在一样继续保持 100% 开源和社区驱动。
技术重点
llama.cpp 是本地推理的基础构件,transformers 是模型和架构定义的基础构件,因此我们将致力于确保未来的集成尽可能无缝(几乎“一键式“),以便从 transformers 库的模型定义“真实来源“将新模型部署到 llama.cpp。
此外,我们将改进基于 ggml 的软件的封装和用户体验。随着本地推理成为云推理的有意义且具有竞争力的替代方案阶段的到来,改进和简化普通用户部署和访问本地模型的方式至关重要。我们将致力于让 llama.cpp 无处不在,随处可得。
我们的长期愿景
我们的共同目标是为社区提供构建块,以便在未来几年内使开源超级智能能够被世界各地的人们访问。
我们将与不断增长的本地 AI 社区一起实现这一目标,同时继续构建在我们的设备上尽可能高效运行的终极推理堆栈。
相似文章
@0xSero:关于 LLM 推理与部署,看这一篇就够了。你听说过:- vLLM - SGLang - llama.cpp - …
vLLM、SGLang、llama.cpp 与 ExLlamaV3 等主流开源推理引擎概览,助你轻松托管并运行大模型。
特性:AesSedai 为 llama.cpp 添加 Mimo v2.5 模型支持 · 拉取请求 #22493 · ggml-org/llama.cpp
一个拉取请求已合并到 llama.cpp 中,用于添加对 Mimo v2.5 模型的支持,增强了该框架对此特定 AI 架构的兼容性。
@ClementDelangue: 本地 AI 正在迎来它的时刻!以下是过去 8 个月每月新增的 GGUF 模型数量及相关见解……
本文强调了 Hugging Face 上本地 AI GGUF 模型创建量的显著激增,近几个月的每月新增量几乎翻倍,超过 9,000 个,这得益于工具的改进以及新的开源权重模型的发布。
server, webui: 支持在推理模型上继续生成,由 ServeurpersoCom · 拉取请求 #22727 · ggml-org/llama.cpp
此拉取请求在 llama.cpp 服务器和 WebUI 中添加了对推理模型继续生成的支持。
llama.cpp 就是 LLM 界的 Linux
文章把 llama.cpp 比作 Linux,认为这款开源库已成为运行大语言模型的基础底座。