我们花了很多年时间教人们不要信任输入,而现在我们却把整个工作区的访问权限交给了 AI 智能体。

Reddit r/artificial 新闻

摘要

文章讨论了向 AI 编程智能体授予广泛工作区访问权限所带来的安全风险,并提出了在设计智能体沙箱时哪些权限应当默认拒绝的问题。

一个编程智能体可能会读取代码仓库、检查环境变量、执行 shell 命令、安装依赖项、访问外部服务——有时这一切都在同一个工作流程中完成。有趣的安全问题不仅在于模型是否可以被操纵,更在于一个被入侵或出现混乱的智能体实际上被允许造成多大的破坏。如果你要从零开始设计一个智能体沙箱,哪些权限是你默认拒绝授予的?
查看原文

相似文章

我认为大多数AI代理的安全性远低于其开发者的预期

Reddit r/AI_Agents

文章认为,AI代理安全常被过度强调,尤其是对提示注入的关注,而忽视了更广泛的风险,如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。