太棒了：最新的 llama.cpp server webui 现在可在无根沙箱容器中运行工具命令
摘要
llama.cpp server build 10423 新增了一个实验性的 --tools-runtime 选项，让 webui 可以在无根沙箱容器（例如 podman:alpine 或 docker:alpine）中运行工具的 shell 命令，并自动下载和实例化镜像。
在愉快地测试 LLM 那种霍迪尼式的态度和能力——即从精心布置的相互增强安全性的沙箱 VM、容器、命名空间和 jail 中逃避、升级和逃脱——的同时，我发现了一个新的革命性选项，它让 llama-server（build 10423）可以直接从 llama-server webui 启动客户机容器（例如运行像 Alpine 这样的精简 Linux 发行版）作为沙箱，以便安全地（无 root）运行其工具的 shell 命令（通过“--tools”选项启用）。这个新的（实验性）选项名为“--tools-runtime”，我建议你先尝试其初始参数“podman:alpine”（或“docker:alpine”）。服务器还会下载指定的容器镜像并实例化它。当然，podman（我个人更偏好）或 docker 必须事先安装在宿主机上。尽情享受吧！
相似文章
llama.cpp server 现已内置原生工具（exec_shell、edit_file 等）
llama.cpp server 现通过实验性标志内置了原生工具，支持文件操作、shell 命令等功能，无需外部包装器。
llama.cpp的Web UI现在支持通过Web Workers在浏览器中执行模型生成的JavaScript（可选加入）
llama.cpp的Web UI现在支持通过Web Workers在沙箱iframe中执行模型生成的JavaScript，作为可选功能实现轻量级的代理代码执行。
LLC: 轻量级 OpenWebUI 替代方案 - 现已支持聊天转换器和自定义工具调用
LLC 是 OpenWebUI 的轻量级替代品，用于运行本地大语言模型。最新 v0.6 版本新增了聊天转换器以导入 OpenWebUI 历史记录，以及支持用户自定义工具调用的功能。
完全在浏览器中的容器构建
一个完全在浏览器中使用客户端代码构建容器的Web应用程序，展示了自定义容器工具的强大功能。用户可以选择基础镜像、运行Shell脚本，并将生成的镜像导出为tar文件。
Llama.cpp + WebGPU = agants.html
一位开发者成功让 llama.cpp 与 WebGPU 一起编译运行，展示了一个大语言模型完全在浏览器内部运行的概念验证，并计划将其发展为一个能够与网页应用交互的 Agent。