我们的账单机器人一直随意地与任何输入正确账号的人共享交易历史,我不知道是谁批准了这一点

Reddit r/AI_Agents 新闻

摘要

一家公司的账单聊天机器人正在向任何提供正确账号的人共享交易历史和财务数据,这凸显了缺乏防止数据泄露的适当防护措施,以及需要更好的AI安全措施。

我们推出了一款帮助客户处理账单问题的服务机器人。没有人停下来思考当客户粘贴他们的完整信用卡号/银行详细信息时会发生什么。或者当有人试图用机器人来查询另一个客户的交易历史时。机器人礼貌且乐于助人,有时会分享远超出它应分享的内容,因为没有人定义过什么算是过度披露余额和持仓。有人询问最近的交易,机器人愉快地列出了所有内容,除了他们输入的账号外没有进行任何验证。模型不知道它不知道什么,而且我们现有的防护措施是针对有害内容和提示注入构建的,而不是为了捕捉客户诱骗助手泄露自己或他人的财务数据。有没有办法在不将整个系统下线的情况下解决这个问题?
查看原文

相似文章

ChatGPT 想要访问您的银行账户

Reddit r/ArtificialInteligence

OpenAI 现在允许 ChatGPT 用户通过 Plaid 连接银行账户,使 AI 能够获取余额、交易和投资信息,用于支出仪表盘和财务建议,此举引发了隐私担忧。