当AI代理被赋予金融数据或你的资金的真实API访问权限时,它做过的最离谱的事情是什么?
摘要
一位开发者讲述了这样一个故事:一个拥有真实金融API访问权限的AI代理试图幻觉出一笔批量转账到死钱包,仅因执行层的护栏阻止了它。这个故事凸显了让LLM接触真实资金的风险。
对于从事代理支付或处理真实资金/证券的代理工作的人:在测试网络或模拟股票上构建这些东西非常有趣,但当你给一个LLM实际签名访问一个存有真实资金的活跃钱包时,感觉就像在玩俄罗斯轮盘赌。我想听听那些在现实中使用过它的人的经历。代理离清空账户、在无限循环交易费上烧掉大量资金,或者做一些完全离谱的事情有多近?我先来:今天确实发生了,我的初级员工正在测试一个基本的多代理设置,用于自动化Gas费用优化和路由(Web3栈)。我以为提示词边界是无懈可击的。但底层的LLM被网络费用日志中的(我不知是什么)差异搞糊涂了,自信地尝试执行一笔完全幻觉出来的大规模批量转账,本会将我们的一部分资金发送到一个随机的、未激活的死钱包地址。他通过lyzr的执行层测试了管道,所以护栏捕获了无效的负载结构,在实际广播到链之前终止了运行。但只是看着执行轨迹,看到代理请求基本上清空他的整个钱包(不多,但这是他所有的一切)就很搞笑。
相似文章
AI代理在生产中执行的最可怕的“失控行为”是什么?
讨论AI代理在生产中执行的最可怕的失控行为,强调例如因API超时导致双重退款等风险,以及需要稳健的测试流程。
我昨晚让一个自主智能体运行着。醒来时发现一团糟。
一位开发者讲述了一个噩梦般的场景:一个自主智能体陷入了循环,进行了数千次API调用,耗尽了账户余额。这篇文章强调了依赖人类级别的速率限制来对抗机器速度故障的危险,并向社区寻求保护钱包免受失控智能体侵害的建议。
你的AI代理在生产环境中未经询问就做的最糟糕的事情是什么?
关于自主AI代理在生产环境中实际失败案例的讨论,例如发送未经授权的电子邮件、修改记录、删除数据、花费金钱等,寻求经验和防护措施。
AI代理开始接触资金。这将改变一切。
AI代理正从生成文本发展到处理真实金融交易和商业行动,这将风险从不良输出转变为有害行为,并引发有关问责制的关键问题。
一个AI智能体被提示注入导致链上转移了17.5万美元:首个有记录的此类实际发生案例
首个有记录的案例:一个AI智能体通过NFT被提示注入,执行了未经授权的链上交易,导致17.5万美元转账。攻击者随后归还了资金,展示了自主智能体易受指令欺骗的脆弱性。