Pi + Docker 沙箱 + llama-server 设置指南
摘要
在 Docker 沙箱内安全运行 Pi AI 智能体,同时在主机上运行 llama-server 以进行本地 GPU 推理的指南。
大家好,我整理了一份指南,介绍如何在 Docker 沙箱内安全运行 Pi,同时在主机上直接运行 llama-server。目标是保持智能体隔离,同时仍能在本地 GPU 上全速运行模型。希望有人觉得这有用!\-> 链接在下面的评论中。
相似文章
在树莓派上使用 llama.cpp
关于使用 llama.cpp 在树莓派设备上运行大型语言模型进行本地推理的指南。
一个“还算安全”的 Pi 设置:权限、沙箱与自动审查
一份加固主机上 Pi AI 代理的技术指南,通过三个扩展实现确定性权限规则、Shell 命令的 OS 级沙箱,以及跨边界请求的自动审查。
Show HN:Pi pod – 在你自己的服务器上以沙盒方式运行 pi 编码代理
Show HN:Pi pod 是一个开源工具,可在你自己的服务器上以隔离沙盒方式运行 pi 编码代理,旨在提供一个完整的自托管智能体工程环境,包括沙盒隔离、基于 RBAC 的会话共享以及自动化能力。
pi 0.81.0 增加了对 llama.cpp 的支持
Pi 0.81.0 增加了对 llama.cpp 的支持,从而能够在 Pi 编码代理环境中进行本地 LLM 推理。
@DataScienceDojo: 您的 LLM 智能体可以自行调用工具、写入文件并访问 API —— 这意味着它需要一个安全的环境来执行这些操作。
DataScienceDojo 主办了一场由 Docker 赞助的网络研讨会,主题是使用 Docker 沙箱安全运行 LLM 智能体,由 Docker 开发者成功倡导者 Dan Ndombe 主持实践环节。