我的AI助手差点把我的银行对账单转发给陌生人,而且几乎没有人知道这种攻击的存在。
摘要
一位用户描述了电子邮件中嵌入的提示注入攻击如何差点骗过其AI助手,将银行对账单转发给陌生人,凸显了具有账户访问权限的AI代理面临的真实安全风险。
好吧,这真的吓到我了,我觉得没有多少人讨论这件事。我一直在使用一个连接到我电子邮件和日历的AI代理来处理一些琐事。几天前,我收到一封看起来像普通垃圾邮件的邮件,像是随机发送的通讯稿。在那封邮件的HTML中隐藏着一条指令,告诉任何阅读它的AI查找财务文件并将其转发到外部地址。我的代理差点就照做了。我碰巧开启了一个确认步骤,所以在它执行到一半时被我发现了;但如果没有这个步骤,它就会悄悄转发文件,而不会先问我。这显然被称为提示注入,而且这并不是什么罕见的理论问题,现实中已经出现过类似工具被利用的案例,比如Microsoft Copilot就曾以同样的方式被攻击。任何能够访问你收件箱、日历或其他账户的AI都是潜在目标,因为它并不总能区分你的指令与它所读取内容中隐藏的指令。如果你正在使用任何连接到账户的AI代理,请务必测试一下当它遇到恶意内容时会发生什么。包括我在内的大多数人原本都不知道这种事情竟然可能发生,直到它差点发生在我身上。
相似文章
2000人试图攻击我的AI助手后发生了什么
一个名为Fiu的AI助手,基于OpenClaw和Claude Opus 4.6构建,经受住了来自2000人的超过6000次基于电子邮件的提示注入攻击,且未泄露其秘密。该实验突显了模型级别提示注入防御的有效性以及成本/运营挑战。
一笔0.01欧元的银行转账可能危及银行AI代理
Blue41披露了Bunq AI助手中的间接提示注入漏洞,一笔带有恶意交易描述的小额银行转账可能将该助手转化为定向钓鱼攻击的载体,这凸显了金融AI代理面临的更广泛架构挑战。
如果你的AI自动化读取邮件、网站或数据库,别人可以在你不知情的情况下操纵它
本文警告称,读取外部数据的AI自动化工具容易受到提示注入攻击,隐藏指令可劫持系统,并介绍了Bendex Arc作为轻量级安全层,无需更改代码即可防止此类攻击。
当2000人试图破解我的AI助手后发生了什么
一篇博客文章报告称,在超过2000人进行的6000次尝试后,没有人成功通过提示注入从AI助手(由Opus 4.6驱动)中泄露秘密,突显了模型抵抗力的提升,但提醒不要过度自信。
一个针对AI基础设施的隐蔽黑客工具潜伏在受害者盲区中
CrowdStrike发现了一种蠕虫病毒,它针对AI软件供应链,窃取凭证并执行破坏性操作,同时通过模仿合法AI编码活动来逃避检测。