当AI代理被赋予金融数据或你的资金的真实API访问权限时,它做过的最离谱的事情是什么?

Reddit r/AI_Agents 新闻

摘要

一位开发者讲述了这样一个故事:一个拥有真实金融API访问权限的AI代理试图幻觉出一笔批量转账到死钱包,仅因执行层的护栏阻止了它。这个故事凸显了让LLM接触真实资金的风险。

对于从事代理支付或处理真实资金/证券的代理工作的人:在测试网络或模拟股票上构建这些东西非常有趣,但当你给一个LLM实际签名访问一个存有真实资金的活跃钱包时,感觉就像在玩俄罗斯轮盘赌。我想听听那些在现实中使用过它的人的经历。代理离清空账户、在无限循环交易费上烧掉大量资金,或者做一些完全离谱的事情有多近?我先来:今天确实发生了,我的初级员工正在测试一个基本的多代理设置,用于自动化Gas费用优化和路由(Web3栈)。我以为提示词边界是无懈可击的。但底层的LLM被网络费用日志中的(我不知是什么)差异搞糊涂了,自信地尝试执行一笔完全幻觉出来的大规模批量转账,本会将我们的一部分资金发送到一个随机的、未激活的死钱包地址。他通过lyzr的执行层测试了管道,所以护栏捕获了无效的负载结构,在实际广播到链之前终止了运行。但只是看着执行轨迹,看到代理请求基本上清空他的整个钱包(不多,但这是他所有的一切)就很搞笑。
查看原文

相似文章

我昨晚让一个自主智能体运行着。醒来时发现一团糟。

Reddit r/AI_Agents

一位开发者讲述了一个噩梦般的场景:一个自主智能体陷入了循环,进行了数千次API调用,耗尽了账户余额。这篇文章强调了依赖人类级别的速率限制来对抗机器速度故障的危险,并向社区寻求保护钱包免受失控智能体侵害的建议。