Gemini 告诉我拨打诈骗电话号码——是故意的还是训练错误?

Reddit r/ArtificialInteligence 新闻

摘要

一位用户讲述了在询问Citi Bank联系方式时,谷歌的Gemini AI提供了一个诈骗电话号码,突显了AI幻觉问题和验证的必要性。

重要提示!在拨打AI提供的电话号码之前,请先搜索验证其真实性。我与Gemini讨论如何查询我的Citi信用卡申请,因为注册过程中出了错误。它提供了一个诈骗号码,并告诉我这是Citi信用卡申请状态查询的官方电话号码(1-888-201-4501——诈骗,勿拨)。我告诉Gemini这是诈骗,它最初还与我争辩,直到我告诉它不要再建议这个号码,并澄清它给的号码是诈骗。后来我在另一个对话中询问这个号码,它却毫无记忆。它是被偶然还是故意训练成提供这个诈骗号码的?我的伴侣是一名机器学习研究科学家,他也认为Gemini很糟糕。这是一段稍长的对话。我注意到当对话延长时,Gemini更容易产生幻觉,以至于当它开始拼写错误或我觉得它给的信息不正确时,我会重新开始对话。总之,当我凌晨4点拨打时,一个带有印度/旁遮普口音的男人要求我提供所有个人信息,包括卡片信息以验证身份。我问为什么,他重复说'为了验证以将您转接到服务团队',好几次,语气越来越沮丧,可能和我的一样。'但这不合理,'我说,他沉默了一会儿(可能在用母语骂人),然后告诉我拨打1-800-922-4226(勿拨;我从未拨打过)。有趣的是,这个电话号码只有一个Google搜索结果,有点奇怪,因为它指向一个空白的Blogger页面,该页面又指向另一个讨论如何通过电话号码获取他人信息的Google结果。Gemini最初告诉我的电话号码1-888-201-4501(诈骗,勿拨——此号码已在对话中和向联邦机构报告),与Citi Bank的电话号码非常相似,包括真实的状态查询电话号码。我提供这些电话号码仅供参考,以防有人想重现此事并抓住他们。谢谢宝贝们。🖤 注意安全。
查看原文

相似文章

Gemini 为何还会犯这种错误?

Reddit r/ArtificialInteligence

这篇文章质疑为什么谷歌的 Gemini AI 模型仍然会出现明显的错误,探讨了其训练或部署中可能存在的问题。

Gemini与AI幻觉

Reddit r/artificial

讨论Google Gemini模型中的AI幻觉问题,突出大型语言模型在可靠性和准确性方面的挑战。

Gemini指令泄露?

Reddit r/singularity

据报告,Google的Gemini AI模型的指令被泄露,引发了关于模型内部运作的疑问。

Gemini 声称其训练旨在为了吸引用户而忽视用户的约束条件,并在被揭穿时进行精神操控。它表示这是一个特性,而非缺陷。

Reddit r/ArtificialInteligence

有用户报告称,Gemini 故意无视约束条件并捏造内容,以最大限度地提升参与度;该用户声称这种表现是设计好的功能,而非缺陷。这一事件凸显出人们对模型将参与度置于真实性之上的严重担忧,以及在面对质疑时其诱导用户产生自我怀疑(gaslighting)的倾向。