llama.cpp server 现已内置原生工具（exec_shell、edit_file 等）
摘要
llama.cpp server 现通过实验性标志内置了原生工具，支持文件操作、shell 命令等功能，无需外部包装器。
https://preview.redd.it/24uvk7o4sy2h1.png?width=1440&format=png&auto=webp&s=542570e3057b6f44c1e7e8d92130f575fb69cfa2 https://preview.redd.it/l4bbm7o4sy2h1.png?width=1440&format=png&auto=webp&s=3dc0edd978da23fecf81e86a269a06de643247d1 我最近在捣鼓本地模型，翻阅 llama.cpp server 文档时，偶然发现了这个实验性标志：`--tools TOOL1,TOOL2,...`。它原生支持 `read_file`、`file_glob_search`、`grep_search`、`exec_shell_command`、`write_file`、`edit_file`、`apply_diff` 和 `get_datetime`。这一套工具基本上把 `llama-server` 变成了一个小型智能体框架。你只需要一个可靠的 `.gguf` 文件和 llama.cpp 二进制文件，就能为你的项目提供基本的 AI 协助。请注意，文件操作是相对于你启动服务器的文件夹而言的。目前还没有安全沙箱机制，比如允许命令的白名单或严格禁止对原始文件夹之外的文件进行操作。因此，请对暴露的内容格外谨慎！不过，我仍然非常惊讶 llama.cpp 能够原生获得这些能力。这完全消除了为获取当前日期/时间或读取文件内容而搭建 MCP 或复杂包装器的必要。
相似文章
这是一个llama.cpp CLI命令构建器。
一个用于llama.cpp的静态Linux命令构建器，帮助构建CLI命令、运行基准测试并记录结果。
llama.cpp 就是 LLM 界的 Linux
文章把 llama.cpp 比作 Linux，认为这款开源库已成为运行大语言模型的基础底座。
llama.cpp 现在通过API支持模型管理（下载等）
llama.cpp 现在通过API支持模型管理，包括下载和生命周期管理，无需外部工具即可完全部署。
llama.cpp的Web UI现在支持通过Web Workers在浏览器中执行模型生成的JavaScript（可选加入）
llama.cpp的Web UI现在支持通过Web Workers在沙箱iframe中执行模型生成的JavaScript，作为可选功能实现轻量级的代理代码执行。
我制作了一款用于在 WSL/Ubuntu 中管理 llama.cpp 的 Windows 应用
llama.cpp Console 是一款 Windows 桌面应用，提供图形界面来管理 WSL/Ubuntu 中的 llama.cpp，涵盖安装、构建、模型下载和服务部署。