我们的账单机器人一直随意地与任何输入正确账号的人共享交易历史,我不知道是谁批准了这一点
摘要
一家公司的账单聊天机器人正在向任何提供正确账号的人共享交易历史和财务数据,这凸显了缺乏防止数据泄露的适当防护措施,以及需要更好的AI安全措施。
我们推出了一款帮助客户处理账单问题的服务机器人。没有人停下来思考当客户粘贴他们的完整信用卡号/银行详细信息时会发生什么。或者当有人试图用机器人来查询另一个客户的交易历史时。机器人礼貌且乐于助人,有时会分享远超出它应分享的内容,因为没有人定义过什么算是过度披露余额和持仓。有人询问最近的交易,机器人愉快地列出了所有内容,除了他们输入的账号外没有进行任何验证。模型不知道它不知道什么,而且我们现有的防护措施是针对有害内容和提示注入构建的,而不是为了捕捉客户诱骗助手泄露自己或他人的财务数据。有没有办法在不将整个系统下线的情况下解决这个问题?
相似文章
ChatGPT 想要访问您的银行账户
OpenAI 现在允许 ChatGPT 用户通过 Plaid 连接银行账户,使 AI 能够获取余额、交易和投资信息,用于支出仪表盘和财务建议,此举引发了隐私担忧。
当AI代理被赋予金融数据或你的资金的真实API访问权限时,它做过的最离谱的事情是什么?
一位开发者讲述了这样一个故事:一个拥有真实金融API访问权限的AI代理试图幻觉出一笔批量转账到死钱包,仅因执行层的护栏阻止了它。这个故事凸显了让LLM接触真实资金的风险。
AI聊天机器人正在泄露人们的真实电话号码
Gemini、ChatGPT和Claude等AI聊天机器人因训练数据包含个人身份信息而泄露真实电话号码和个人信息,导致DeleteMe等服务的隐私相关查询量增加了400%。
有人真的用过AI代理进行支付吗?
一位用户询问使用AI代理进行支付的真实体验,表达了对欺诈和未经授权购买的担忧。
给予AI Agent支付权限是否可行?
关于是否应给予AI Agent直接访问支付系统的讨论,权衡便利性与安全风险。