从零搭建本地AI编程代理

Reddit r/ArtificialInteligence 工具
local-ai coding-agent llama-cpp gguf tutorial harness open-source

摘要

一份逐步指南，介绍如何构建一个完全本地运行的最小化AI编码代理，使用llama.cpp、GGUF模型和自定义工具框架，演示如何设置工具并调用模型执行实际任务，例如创建着陆页。

我们撰写了一份实用教程，从头开始构建一个小型本地AI编码代理。文章首先介绍了`llama-server`、GGUF、量化以及本地运行的Gemma 4 E4B。然后进入实际工具框架：系统提示、工具定义、代理循环，以及模型如何通过工具调用编写真实文件。后半部分是关于常被忽略的安全问题：一旦代理能够运行像`bash`这样的工具或写入文件，“本地”并不意味着“安全”。因此，文章还展示了如何通过NVIDIA OpenShell、文件系统限制、无环境网络访问以及一条通向模型的单一路由路径来约束代理。想了解大家对本地编码代理的工具框架/沙箱分离的看法。
查看原文
查看缓存全文

缓存时间: 2026/06/15 17:01

Tiny Harness Coffee 为您的一天注入活力，一杯完美咖啡，一次足矣。 经典浓缩咖啡 一份浓郁醇厚的纯咖啡精华。$3.50 经典浓缩咖啡 一份浓郁醇厚的纯咖啡精华。 $3.50

相似文章

使用 llama.cpp 在本地运行的自动化 AI 研究员

Reddit r/LocalLLaMA

ml-intern 是一个面向 AI 代理的工具，它与 Hugging Face 的库集成，现在支持通过 llama.cpp 或 ollama 运行本地模型，使得自动化 AI 研究员可以在笔记本电脑上全天候运行。

使用本地编码代理

Hacker News Top

Sebastian Raschka 撰写的教程，讲解如何使用开源工具和开源权重的大语言模型搭建完全本地的编码代理，涵盖动机、搭建过程以及相较于专有服务的优势。