我用 node-llama-cpp 和自定义 Agent 循环创建了一个本地优先的 MCP 教程仓库

Reddit r/LocalLLaMA 工具
mcp tutorial nodejs local-inference gguf agent-loop open-source

摘要

一个通过逐步在 Node.js 中构建来讲解模型上下文协议 (MCP) 的教程仓库，采用 node-llama-cpp、GGUF 模型和自定义 Agent 循环的本地优先设置。

我刚刚发布了一个名为“MCP from Scratch”的仓库，通过使用纯 Node.js 逐步构建来教授模型上下文协议。仓库的大部分内容用于理解 MCP 本身，但后面的模块可能与此相关：我添加了一个本地优先的设置，使用了 `node-llama-cpp`、GGUF 模型、MCP 采样以及一个自定义的“计划 -> 行动 -> 观察”Agent 循环。因此，该仓库从： * 原始的 JSON-RPC 和 stdio 传输 * 到带有工具/资源/提示的可用 MCP 服务器 * 再到本地模型集成 * 最后到使用本地 GGUF 模型和 MCP 工具的 Agent 循环 此外还有一个可选的 LangChain 示例，但主要路径刻意保持简洁，并试图让底层机制变得显而易见。 关键点： * 纯 Node.js，最小化抽象 * 设计为学习仓库，不是生产 SDK * 后续模块使用共享的本地 GGUF 模型 * 为那些想了解 MCP 工具实际底层运作的人而构建 仓库：[https://github.com/pguso/mcp-from-scratch](https://github.com/pguso/mcp-from-scratch) 特别希望得到这里各位关于本地推理方面的反馈： * 模型选择 * Agent 循环示例是否有用还是过于简单
查看原文

相似文章

我们在家也有子代理

Reddit r/LocalLLaMA

一位开发者分享了一个针对 pi coding agent 的子代理仓库的分支，该仓库可在单个本地 LLM 插槽和有限显存下运行，使用 llama.cpp 服务器和量化模型。该帖子还讨论了使用带有 MTP 的 Apex Qwen 变体时的性能。