Llama.cpp现已全面支持MCP!
摘要
llama.cpp现已全面支持适用于所有协议的模型上下文协议(MCP),可在其WebUI中直接实现智能对话和工具集成,无需外部依赖。
经过ngxson牵头的不懈努力,llama.cpp现已全面支持所有协议的MCP。基于HTTP的Web服务器已在客户端中得到支持(因为它们无需任何管道配置),但stdio服务器需要真正的集成。在我们修改了`llama-cli`终端客户端以使用服务器而非单独模型服务路由后,我们得以将MCP支持添加到已有的原生工具服务器中。随着https://github.com/ggml-org/llama.cpp/pull/26062的合并,您现在可以使用llama.cpp的WebUI进行完整的智能对话。MCP服务器的配置可以通过标准JSON格式的配置文件提供,也可以完全内联在命令行中,实现按需MCP配置。接入像Serena这样的专用编码MCP服务器,您就可以拥有一个由本地模型驱动的智能编码助手,无需使用任何其他外部依赖。
相似文章
llama.cpp 现在通过API支持模型管理(下载等)
llama.cpp 现在通过API支持模型管理,包括下载和生命周期管理,无需外部工具即可完全部署。
llama : 网站 + 统一的 `llama` 二进制文件 · ggml-org/llama.cpp · 讨论 #23875
Llama.cpp 宣布推出新网站和统一的 'llama' 二进制文件,以简化 LLM 推理,同时还包括 Hugging Face 缓存迁移和多模态支持等更新。
LlamaStation v0.9——面向Windows的llama.cpp图形界面,支持多后端、TurboQuant、MTP等
LlamaStation v0.9 是 llama.cpp 的 Windows 图形界面,提供简洁的界面和完整的参数控制,支持多个后端(官方、TurboQuant、AtomicChat、BeeLlama),实时显存监控、模型专属配置文件、语音模式和无头模式,所有这些都不需要像 Ollama 这样的中间层。
@julien_c: Llama.cpp 已无缝集成到 @zeddotdev 1.10 版本中,完全无缝,支持模型自动发现等功能!为何…
Zed 1.10 集成了 Llama.cpp 及模型自动发现功能,实现无需远程 API 的无缝本地 AI。
llama.cpp的Web UI现在支持通过Web Workers在浏览器中执行模型生成的JavaScript(可选加入)
llama.cpp的Web UI现在支持通过Web Workers在沙箱iframe中执行模型生成的JavaScript,作为可选功能实现轻量级的代理代码执行。