llama.cpp server 现已内置原生工具（exec_shell、edit_file 等）
摘要
llama.cpp server 现通过实验性标志内置了原生工具，支持文件操作、shell 命令等功能，无需外部包装器。
https://preview.redd.it/24uvk7o4sy2h1.png?width=1440&format=png&auto=webp&s=542570e3057b6f44c1e7e8d92130f575fb69cfa2 https://preview.redd.it/l4bbm7o4sy2h1.png?width=1440&format=png&auto=webp&s=3dc0edd978da23fecf81e86a269a06de643247d1 我最近在捣鼓本地模型，翻阅 llama.cpp server 文档时，偶然发现了这个实验性标志：`--tools TOOL1,TOOL2,...`。它原生支持 `read_file`、`file_glob_search`、`grep_search`、`exec_shell_command`、`write_file`、`edit_file`、`apply_diff` 和 `get_datetime`。这一套工具基本上把 `llama-server` 变成了一个小型智能体框架。你只需要一个可靠的 `.gguf` 文件和 llama.cpp 二进制文件，就能为你的项目提供基本的 AI 协助。请注意，文件操作是相对于你启动服务器的文件夹而言的。目前还没有安全沙箱机制，比如允许命令的白名单或严格禁止对原始文件夹之外的文件进行操作。因此，请对暴露的内容格外谨慎！不过，我仍然非常惊讶 llama.cpp 能够原生获得这些能力。这完全消除了为获取当前日期/时间或读取文件内容而搭建 MCP 或复杂包装器的必要。
相似文章
太棒了：最新的 llama.cpp server webui 现在可在无根沙箱容器中运行工具命令
llama.cpp server build 10423 新增了一个实验性的 --tools-runtime 选项，让 webui 可以在无根沙箱容器（例如 podman:alpine 或 docker:alpine）中运行工具的 shell 命令，并自动下载和实例化镜像。
这是一个llama.cpp CLI命令构建器。
一个用于llama.cpp的静态Linux命令构建器，帮助构建CLI命令、运行基准测试并记录结果。
llama.cpp 就是 LLM 界的 Linux
文章把 llama.cpp 比作 Linux，认为这款开源库已成为运行大语言模型的基础底座。
llama.cpp
本文介绍了 llama.cpp 的官方主页，这是一个开源的本地 LLM 推理引擎，重点介绍了通过 pi-llama 插件与 Pi 编码代理的集成以及广泛的硬件优化。
llama.cpp 现在通过API支持模型管理（下载等）
llama.cpp 现在通过API支持模型管理，包括下载和生命周期管理，无需外部工具即可完全部署。