如果你的AI自动化读取邮件、网站或数据库,别人可以在你不知情的情况下操纵它
摘要
本文警告称,读取外部数据的AI自动化工具容易受到提示注入攻击,隐藏指令可劫持系统,并介绍了Bendex Arc作为轻量级安全层,无需更改代码即可防止此类攻击。
大多数AI自动化工具都会读取外部数据并据此行动。这正是其意义所在。但你的自动化工具读取的任何内容都可能包含隐藏指令。邮件、网页、CRM中的潜在客户记录、支持工单。如果有人在这些数据中放入特定文本,你的自动化工具就会按照这些文本而非你最初的指令执行。这看起来不像攻击,而像正常行为。你可能数天或数周都不会察觉。这并非理论上的风险。这是目前对AI系统增长最快的攻击方式。我构建了Bendex Arc来阻止它。它位于你的自动化工具和AI模型之间,确保外部数据可以告知你的智能体,但绝不能指令它。无需更改代码。只需一行配置。免费试用:https://bendexgeometry.com 亲自尝试破解:https://web-production-6e47f.up.railway.app/demo 技术详情:https://github.com/9hannahnine-jpg/arc-gate 欢迎提问你的特定设置是否存在风险。
相似文章
没有安全工具能检测到的AI代理攻击
攻击者可以通过将恶意指令分散到多条消息中来绕过安全检测;Bendex Arc 是一种跨轮次跟踪会话行为以捕获此类攻击的工具。
攻击者如何利用AI代理自身的工具进行攻击(26分钟阅读)
攻击者可以通过向检索源注入恶意内容来劫持AI代理,利用其无法区分指令和内容的弱点,这已被OWASP列为代理应用的十大安全风险之一。
我的AI助手差点把我的银行对账单转发给陌生人,而且几乎没有人知道这种攻击的存在。
一位用户描述了电子邮件中嵌入的提示注入攻击如何差点骗过其AI助手,将银行对账单转发给陌生人,凸显了具有账户访问权限的AI代理面临的真实安全风险。
如果你的AI代理能发邮件、浏览网站或调用工具,我有东西想请你测试一下
Arc Gate是一个AI代理安全工具,它追踪整个对话以检测跨多轮对话的对抗性行为漂移,与传统的逐条消息检查不同。作者正在寻找拥有真实代理工作流程的团队来测试它。
我认为大多数AI代理的安全性远低于其开发者的预期
文章认为,AI代理安全常被过度强调,尤其是对提示注入的关注,而忽视了更广泛的风险,如未授权工具使用、数据访问和金融交易。它呼吁更多地关注代理在生产环境中实际可能被操控执行的任务。