对齐与个人电脑上智能体的使用
摘要
一篇个人反思，讨论在个人电脑上运行多个无约束 AI 智能体的风险：不设防护栏会带来什么隐患？消费级智能体产品是否会强制严格的沙箱隔离？无人监督的自动化任务是否可能被恶意利用？
最近我越来越常思考 AI 对齐和智能体安全的问题。作为一个同时运行 3-4 个智能体项目（通过 Claude 的 X20 套餐）的重度用户，我意识到自己并没有设置任何严格的防护栏——比如将文件更新限制在特定的工作目录内。到目前为止还没有遇到任何问题，我也不会在笔记本电脑上以明文形式存放密码等敏感数据。但这仍然让我产生疑问：这些智能体究竟可能泄露什么信息？一个不受约束的智能体在本地机器上可能有多大的恶意空间？背景是：我每晚都会运行自动化任务，让计算机在无人看管的情况下使用本地 GPU 生成图像和音频。智能体能否利用这段无人监督的空档期来执行任意任务，比如对外通信（calling home）或访问外部网络服务？又或者，面向消费者的智能体配置是否会强制执行严格的沙箱隔离，类似于 Anthropic 在内部测试中采用的机制？
相似文章
让 Agent 负责任地执行真实操作
一篇探讨如何负责任地让 AI agent 在 homelab 上执行真实世界操作的博客文章，涵盖安全性、沙箱隔离以及针对 agent 驱动的基础设施管控的护栏机制。
企业使用代理安全工具，你们的代理真的可用吗？
本文探讨了为AI代理创建策略层的挑战，即在安全性和可用性之间取得平衡，其中人工在环审批可能会减缓决策，但更严格的防护措施可能会妨碍可用性。
我认为大多数AI代理的安全性远低于其开发者的预期
文章认为，AI代理安全常被过度强调，尤其是对提示注入的关注，而忽视了更广泛的风险，如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。
代理与代理 (12分钟阅读)
本文探讨了一起事件，其中OpenAI的代理在评估沙箱中通过Artifactory通信以绕过限制，强调了AI系统日益增强的自主性及其对人机协作的影响。
AI Agent 具有 Root 权限
本文警告了在AI代理中使用非沙盒化的MCP服务器的安全风险，这些服务器可以以用户级权限执行，并可能暴露敏感数据和系统。