如果你的AI自动化读取邮件、网站或数据库,别人可以在你不知情的情况下操纵它

Reddit r/artificial 工具

摘要

本文警告称,读取外部数据的AI自动化工具容易受到提示注入攻击,隐藏指令可劫持系统,并介绍了Bendex Arc作为轻量级安全层,无需更改代码即可防止此类攻击。

大多数AI自动化工具都会读取外部数据并据此行动。这正是其意义所在。但你的自动化工具读取的任何内容都可能包含隐藏指令。邮件、网页、CRM中的潜在客户记录、支持工单。如果有人在这些数据中放入特定文本,你的自动化工具就会按照这些文本而非你最初的指令执行。这看起来不像攻击,而像正常行为。你可能数天或数周都不会察觉。这并非理论上的风险。这是目前对AI系统增长最快的攻击方式。我构建了Bendex Arc来阻止它。它位于你的自动化工具和AI模型之间,确保外部数据可以告知你的智能体,但绝不能指令它。无需更改代码。只需一行配置。免费试用:https://bendexgeometry.com 亲自尝试破解:https://web-production-6e47f.up.railway.app/demo 技术详情:https://github.com/9hannahnine-jpg/arc-gate 欢迎提问你的特定设置是否存在风险。
查看原文

相似文章

我认为大多数AI代理的安全性远低于其开发者的预期

Reddit r/AI_Agents

文章认为,AI代理安全常被过度强调,尤其是对提示注入的关注,而忽视了更广泛的风险,如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。