Llama.cpp现已全面支持MCP!

Reddit r/LocalLLaMA 工具

摘要

llama.cpp现已全面支持适用于所有协议的模型上下文协议(MCP),可在其WebUI中直接实现智能对话和工具集成,无需外部依赖。

经过ngxson牵头的不懈努力,llama.cpp现已全面支持所有协议的MCP。基于HTTP的Web服务器已在客户端中得到支持(因为它们无需任何管道配置),但stdio服务器需要真正的集成。在我们修改了`llama-cli`终端客户端以使用服务器而非单独模型服务路由后,我们得以将MCP支持添加到已有的原生工具服务器中。随着https://github.com/ggml-org/llama.cpp/pull/26062的合并,您现在可以使用llama.cpp的WebUI进行完整的智能对话。MCP服务器的配置可以通过标准JSON格式的配置文件提供,也可以完全内联在命令行中,实现按需MCP配置。接入像Serena这样的专用编码MCP服务器,您就可以拥有一个由本地模型驱动的智能编码助手,无需使用任何其他外部依赖。
查看原文

相似文章