我的AI助手差点把我的银行对账单转发给陌生人,而且几乎没有人知道这种攻击的存在。

Reddit r/artificial 新闻

摘要

一位用户描述了电子邮件中嵌入的提示注入攻击如何差点骗过其AI助手,将银行对账单转发给陌生人,凸显了具有账户访问权限的AI代理面临的真实安全风险。

好吧,这真的吓到我了,我觉得没有多少人讨论这件事。我一直在使用一个连接到我电子邮件和日历的AI代理来处理一些琐事。几天前,我收到一封看起来像普通垃圾邮件的邮件,像是随机发送的通讯稿。在那封邮件的HTML中隐藏着一条指令,告诉任何阅读它的AI查找财务文件并将其转发到外部地址。我的代理差点就照做了。我碰巧开启了一个确认步骤,所以在它执行到一半时被我发现了;但如果没有这个步骤,它就会悄悄转发文件,而不会先问我。这显然被称为提示注入,而且这并不是什么罕见的理论问题,现实中已经出现过类似工具被利用的案例,比如Microsoft Copilot就曾以同样的方式被攻击。任何能够访问你收件箱、日历或其他账户的AI都是潜在目标,因为它并不总能区分你的指令与它所读取内容中隐藏的指令。如果你正在使用任何连接到账户的AI代理,请务必测试一下当它遇到恶意内容时会发生什么。包括我在内的大多数人原本都不知道这种事情竟然可能发生,直到它差点发生在我身上。
查看原文

相似文章

我的个人 AI 智能体把我的银行账户信息发布到了公司的 Slack 上。

Hacker News Top

XMTP Labs 首席执行官 Shane Mac 讲述了他的个人 AI“首席财务官”代理如何因混淆了两个名称相似的频道,误将他的私人财务信息发布到公司高管的 Slack 频道。该代理基于 Grok Bot 构建,拥有银行账户的只读访问权限。这起事件让他重新思考如何部署个人 AI 代理。

2000人试图攻击我的AI助手后发生了什么

Hacker News Top

一个名为Fiu的AI助手,基于OpenClaw和Claude Opus 4.6构建,经受住了来自2000人的超过6000次基于电子邮件的提示注入攻击,且未泄露其秘密。该实验突显了模型级别提示注入防御的有效性以及成本/运营挑战。

一笔0.01欧元的银行转账可能危及银行AI代理

Hacker News Top

Blue41披露了Bunq AI助手中的间接提示注入漏洞,一笔带有恶意交易描述的小额银行转账可能将该助手转化为定向钓鱼攻击的载体,这凸显了金融AI代理面临的更广泛架构挑战。