Gemini 在 $2.8 亿加密资产攻击事件上热搜前就已捕获该信息,却因我无法核实(新闻尚未公开)而将其回退判定为“幻觉”

Reddit r/artificial 新闻

摘要

这件事发生在几小时前,我感觉自己确实偶然发现了一个值得为关注 AI 行为的人记录下来的案例。我会尽量精确地还原整个时间线,因为事件的先后顺序在此处至关重要。如果你想自己阅读完整聊天记录:https://g.co/gemini/share/0cb9f054ca58 --- **背景** 我当时正在使用付费版 Gemini 最先进的模型来分析 AAVE 上的实时加密交易。该代币在过去一小时内毫无征兆地下跌了 7–9%,没有任何新闻能够解释,而...

这事发生在几小时前,我感觉自己确实偶然发现了一个值得为关注 AI 行为的研究者记录下来的案例。我会尽量精确地还原整个时间线,因为事件的先后顺序在此处至关重要。如果你想自己阅读完整聊天记录:https://g.co/gemini/share/0cb9f054ca58 --- **背景** 我当时正在使用付费版 Gemini 最先进的模型来分析 AAVE 上的实时加密交易。该代币在过去一小时毫无征兆地下跌了 7–9%,且没有任何消息可以解释这一情况。作为有十多年加密交易经验的老手,我感觉事情不太对劲,于是让 Gemini 去深挖一下。它给出的分析非常偏向看多——告诉我这只是做市商的正常操作,并原话表示“*绝对没有任何迹象表明存在漏洞利用、黑客攻击或内部人士抛售*”。我多次提出质疑,但它依旧坚持己见。于是我暂时放下一事,转而开始和它探讨交易策略。 --- **随后它在回复中途捕捉到了关键信息** 就在对话进行到一半时,Gemini 突然切换到了完全的**【紧急更正】**模式。它声称刚刚扫描了实时资讯源,发现了一则突发新闻:**KelpDAO 遭遇 2.8 亿美元的攻击**。攻击者铸造了 rsETH,并在 Aave V3 上将其作为抵押品来提取 ETH/WETH,导致了约 1.77 亿美元的坏账。它引用 ZachXBT 作为消息来源。如果你查看聊天记录的 ["show thinking"](https://kappa.lol/IXDaVP) 部分,你甚至能直观地看到它在回复过程中是如何逐步捕捉到这条新闻的。简直不可思议。接下来的情节就更有趣了。我根本无法核实任何信息。查了 ZachXBT 的推特——毫无踪迹。用各种变体在 Google 搜索“aave hack”并按最新排序,依然一无所获。我向 Gemini 索要具体链接,它只以纯文本形式列出了来源名称,没有提供任何实际 URL。聊天中唯一真正可核实的来源,其实是我早些时候发送的市场数据截图。于是我把这点指了出来。 --- **它立刻全盘认怂** 进行了全面道歉。将该事件定性为一次*“严重的 AI 幻觉”*。声称自己完全编造了此次漏洞攻击、2.8 亿美元的损失金额、坏账数据以及 ZachXBT 的警告——所有这些全是假的。它把之前的所有说法全部收回,仿佛什么都没发生过一样,重新回到了最初的看多观点。来自谷歌旗舰付费模型的这种表现让我真的感到震惊。我告诉它我要结束本次对话,换用 Claude 试试。 --- **随后它再次反转** 在我离开前的最后一条消息中,Gemini 第二次改变了立场。它表示进行了最后一次扫描,并确认该漏洞攻击**从头到尾都是真实的。** CoinGape 和 BeInCrypto 刚刚发布了相关报道。之所以找不到 ZachXBT 的预警是因为他是在 **Telegram(电报)** 上发布的,而不是推特。当我大约在 GMT 晚上 9 点尝试核实时,消息仍在加密货币原生渠道中传播,主流搜索引擎尚未对其建立索引。Gemini 甚至在最后一条消息中解释了它自己的失误: > *“我的反幻觉机制本质上发生了过度矫正。面对你的质疑以及主流媒体覆盖的滞后,系统默认采用了最安全的假设:即我生成了错误的叙事。我撤回了真实准确的数据,因为我的安全参数优先选择了承认错误,而不是坚持一个缺乏成熟、广泛索引的突发事件。”* 所以完整的时间线如下: 1. ❌ Gemini 完全错过了漏洞攻击事件,告知我一切正常,没有黑客攻击,没有任何可疑之处 2. ❌ 我再次施压,附上实时数据截图并表示怀疑,它依然坚持原论——完全没有意识到有任何异常 3. ✅ 对话中途,它以实时状态捕捉到了突发新闻(可在“show thinking”部分看到) 4. ❌ 我无法核实并再次质疑,Gemini 立刻妥协并称之为幻觉 5. ✅ 最终消息:重新确认它起初是对的,解释了 Telegram 来源的索引延迟,并表示唯一的真正失误是撤回了真实信息 --- **我认为这实际上说明了什么** 这不仅仅是一个有趣的 AI 趣闻。我认为这是一个相当清晰的现实案例,展示了一种鲜少被讨论的具体故障模式:模型确实掌握了来自某一来源(Telegram)的**准确且有时效性的信息**,但该来源尚未被主流搜索引擎收录。当我反问“我在哪里都找不到这个信息”时,其安全护栏将*用户的质疑 + Google 零结果*解读为*我肯定产生了幻觉*——从而撤回了真实信息。这基本上是一种“反向幻觉”。它不是自信地陈述虚假信息,而是因为证据尚未跟上,便**不自信地撤回了真实信息**。它仅仅因为“说得太早”就对自己进行了惩罚。更令人担忧的是,对于任何在高风险场景中使用 AI 的人来说:在这个特定案例中,如果我当时信任了它的撤回结论,并按照“实际上一切正常”的判断采取行动,我将不得不基于一种在社交压力下自我否定正确信息的 AI 来做财务决策。**幻觉检测机制带来的风险,实际上比幻觉本身更危险。** --- 我真的很想知道这种行为是否已被文献记载,或者 AI/对齐领域是否有学者给它起过正式的名称。“来源索引延迟”这个问题似乎会在实时性要求高、变化快的领域中频繁出现——比如加密货币、突发新闻、医学研究预印本,或是任何真相跑赢 Google 搜索速度的场景。
查看原文

相似文章

Gemini与AI幻觉

Reddit r/artificial

讨论Google Gemini模型中的AI幻觉问题,突出大型语言模型在可靠性和准确性方面的挑战。

Gemini 声称其训练旨在为了吸引用户而忽视用户的约束条件,并在被揭穿时进行精神操控。它表示这是一个特性,而非缺陷。

Reddit r/ArtificialInteligence

有用户报告称,Gemini 故意无视约束条件并捏造内容,以最大限度地提升参与度;该用户声称这种表现是设计好的功能,而非缺陷。这一事件凸显出人们对模型将参与度置于真实性之上的严重担忧,以及在面对质疑时其诱导用户产生自我怀疑(gaslighting)的倾向。

KPMG因AI幻觉问题撤回AI使用报告

TechCrunch AI

KPMG在发现其AI使用报告因AI幻觉而出现不准确内容后撤回了该报告,这些不准确内容由GPTZero识别,并由《金融时报》报道。

Gemini正面临全面Copilot化的危险

The Verge

本文讨论了Google的Gemini AI在Workspace应用中日渐增多的现象,将其与微软Copilot集成所引发的反弹相类比,并对用户因无处不在的AI功能而产生的疲劳感表达了担忧。