Pi + Docker 沙箱 + llama-server 设置指南
摘要
在 Docker 沙箱内安全运行 Pi AI 智能体，同时在主机上运行 llama-server 以进行本地 GPU 推理的指南。
大家好，我整理了一份指南，介绍如何在 Docker 沙箱内安全运行 Pi，同时在主机上直接运行 llama-server。目标是保持智能体隔离，同时仍能在本地 GPU 上全速运行模型。希望有人觉得这有用！\-> 链接在下面的评论中。
相似文章
在树莓派上使用 llama.cpp
关于使用 llama.cpp 在树莓派设备上运行大型语言模型进行本地推理的指南。
一个“还算安全”的 Pi 设置：权限、沙箱与自动审查
一份加固主机上 Pi AI 代理的技术指南，通过三个扩展实现确定性权限规则、Shell 命令的 OS 级沙箱，以及跨边界请求的自动审查。
pi 0.81.0 增加了对 llama.cpp 的支持
Pi 0.81.0 增加了对 llama.cpp 的支持，从而能够在 Pi 编码代理环境中进行本地 LLM 推理。
@DataScienceDojo: 您的 LLM 智能体可以自行调用工具、写入文件并访问 API —— 这意味着它需要一个安全的环境来执行这些操作。
DataScienceDojo 主办了一场由 Docker 赞助的网络研讨会，主题是使用 Docker 沙箱安全运行 LLM 智能体，由 Docker 开发者成功倡导者 Dan Ndombe 主持实践环节。
你们都在用什么沙箱来运行AI代理？
作者在询问关于在个人电脑上安全运行AI代理的沙箱推荐，提到了Bubblewrap和Docker作为选项，但指出了易用性问题。