依赖AI获取准确新闻的后果

MIT News — Artificial Intelligence 新闻

摘要

麻省理工学院媒体实验室的一项新研究发现,依赖AI聊天机器人验证新闻的人,在独立识别虚假信息方面反而变得更差,凸显了“AI依赖悖论”。

<p dir="ltr">众所周知,过去几年人工智能在通用信息收集方面的使用激增。然而,一个更近期的趋势是,像ChatGPT、Claude和Gemini这样的大型语言模型(LLM)正越来越多地被用于验证和消费新闻;皮尤研究中心去年的报告发现,<a href="https://www.pewresearch.org/internet/2026/02/24/how-teens-use-and-view-ai/">五分之一的美国青少年</a>经常使用LLM获取新闻,而<a href="https://www.pewresearch.org/short-reads/2025/10/01/relatively-few-americans-are-getting-news-from-ai-chatbots-like-chatgpt/">四分之一的年轻人</a>报告至少使用过一次。</p><p dir="ltr">麻省理工学院媒体实验室的一项新的开放获取研究应让部分用户三思:研究人员发现,在一个月的时间里,依赖AI系统验证事实的参与者在去掉聊天机器人后,独立识别虚假信息的能力反而变差。</p><p dir="ltr">这种常被称为“AI依赖悖论”的现象已在广泛的知识领域中被观察到,例如2025年的一项研究发现,使用AI的医生<a href="https://www.thelancet.com/journals/langas/article/PIIS2468-1253(25)00133-5/abstract">自己检测癌症的能力变得更差</a>。这种动态反映了数十年来被充分记录的所谓“去技能化”(或“认知卸载”)的更广泛技术趋势,从计算器削弱我们的数学技能到全球定位系统(GPS)技术影响我们的自然方向感。</p><p dir="ltr">在这项新的媒体实验室研究中,研究人员追踪了67人在四周内评估新闻标题-图片对的情况。参与者在AI聊天机器人的协助下,识别虚假新闻的准确率提高了21%——这证实了<a href="https://www.science.org/doi/10.1126/science.adq1814">麻省理工学院斯隆管理学院之前的研究</a>,表明AI可以成为减少人们对虚假信息信心的有效工具。</p><p dir="ltr">然而,研究表明,当AI不再参与时,出现了一个新的问题:到第四周,参与者在新新闻项目上的无辅助表现比研究开始前下降了15个百分点。(大约四分之一的参与者实际上感觉自己的检测能力在提高,尽管其表现下降了。)</p><p dir="ltr"><strong>达克效应悄然出现</strong></p><p dir="ltr">“用户对这些‘神奇’的LLM感到兴奋,却忘记了它们只是预测序列中下一个‘标记’(字母/单词)的统计模型,”麻省理工学院媒体艺术与科学(MAS)博士生、该研究论文的共同第一作者Anku Rani表示,另一位共同第一作者是MAS博士生Valdemar Danry。“通过扩展规模涌现出许多令人印象深刻的行为,但这带来了真正的局限性,既体现在模型能可靠生成的内容上,也体现在对使用者的更广泛影响上。”</p><p dir="ltr">定性分析识别出不同的行为模式,研究团队将五分之一的参与者标记为“依赖发展者”,他们逐渐从积极依靠自己转向被动接受AI指导。</p><p dir="ltr">在实验后的调查中,一名受访者明确承认了这种转变,指出自己在过程中处于被动角色。“虽然聊天机器人确实强调必须通过多个来源核实故事的真实性,但它们并没有教我太多关于探究图片本身背景的内容,”该参与者说。</p><p dir="ltr">研究团队表示,这些AI模型在情绪激动的突发新闻中特别容易出错,正如最近针对特朗普总统的未遂暗杀事件以及伊朗战争期间重大事件中广泛传播的虚假信息所证明的那样。(作者还指出,用于训练AI模型的原始人工新闻内容越来越不可靠和/或带有偏见,进一步加剧了问题。)</p><p dir="ltr">Danry和Rani在<a href="https://chi2026.acm.org/">2026年CHI人机交互大会</a>上发表的<a href="https://dl.acm.org/doi/10.1145/3772318.3790656">论文</a>,由助理教授Paul Pu Liang、高级研究科学家Andrew Lippman以及资深作者、Germeshausen媒体艺术与科学教授Pattie Maes共同撰写。</p><p dir="ltr"><strong>解决方案:做教练,而非拐杖</strong></p><p dir="ltr">研究人员表示,项目结果表明,AI与用户互动的方式决定了其影响是“作为教练,还是作为拐杖”。研究发现,对话策略之间存在明显区别:有些策略只是提供即时帮助,而另一些则真正支持主动学习和技能发展。</p><p dir="ltr">对于后者,媒体实验室团队发现了几种与后来更强独立检测能力相关的策略,即使这些策略最初在互动中会拖慢表现。这包括AI使用苏格拉底式提问法引导提问,以及所谓的“深度探究”,即当用户似乎偏离正确答案时,系统提供温和的说服性陈述。</p><p dir="ltr">“直接提供答案的AI‘告诉’式更可能培养依赖,而通过苏格拉底式提问‘询问’的AI则更能促使人们真正学会如何自己辨别真相,”Danry说。“但这在很大程度上是速度与努力之间的权衡。”</p><p dir="ltr">Rani指出了这项为期一个月研究的几个关键局限性,从大约50个经过验证的新闻项目的小数据集,到聚焦于美国和英国的人口群体。她表示,未来团队希望在地理上更多样化的群体(包括资源匮乏社区)中进行类似实验,并渴望探索其他多模态交互策略——例如与适应文化的数字孪生互动,而不是基于文本的聊天机器人——是否有助于提高人们检测虚假信息的能力。</p><p dir="ltr">在更高层面上,研究人员希望教育工作者在制定将AI工具融入学校课程的教学计划时,能够参考该项目。</p><p dir="ltr">“在学校和学术社区中提高对使用AI作为学习工具缺点的认识尤为重要,”Maes说。“人们需要知道,如果他们‘委托’思考,那么他们就不会在特定类型的问题解决上变得更好。最终,质疑和分析信息的能力对每个人都至关重要,因为它使我们能够解决问题并形成自己对世界的独立观点。”</p><p dir="ltr">Danry补充说,快速发展的机器学习和深度学习领域将需要持续教育,让人们了解LLM的利弊。</p><p dir="ltr">“在确保我们不会将希望继续执行的关键任务完全卸载给这些模型方面,还有很多工作要做,”他说。“我们需要培养一种新型的AI素养。”</p><p dir="ltr">该研究项目得到了媒体实验室联盟、<a href="https://tatacenter.mit.edu/faculty-fellows/">麻省理工学院塔塔中心技术与设计奖学金</a>以及<a href="https://research.google/programs-and-events/phd-fellowship/">Google人机交互博士奖学金</a>的部分支持。</p>
查看原文
查看缓存全文

缓存时间: 2026/06/10 00:21

# 依赖AI获取准确新闻的后果 来源:https://news.mit.edu/2026/consequences-of-relying-on-ai-for-accurate-news-0609 众所周知,过去几年间,人工智能在信息搜集领域的应用呈现爆发式增长。然而,一个更新的趋势是,像ChatGPT、Claude和Gemini这样的大型语言模型(LLMs)正越来越多地被用于核实和消费新闻。皮尤研究中心(Pew Research Center)去年发布的报告发现,\(五分之一\)的美国青少年(https://www.pewresearch.org/internet/2026/02/24/how-teens-use-and-view-ai/)定期使用LLMs获取新闻,而\(四分之一的年轻成年人\)(https://www.pewresearch.org/short-reads/2025/10/01/relatively-few-americans-are-getting-news-from-ai-chatbots-like-chatgpt/)表示至少使用过一次这类工具。 麻省理工学院媒体实验室(MIT Media Lab)一项新的开放获取研究可能会让这些用户有所警觉:研究人员发现,在一个月的时间里,那些依赖人工智能系统核实事实的参与者,在失去聊天机器人后,自己辨别错误信息的能力反而变差了。 这种现象通常被称为“AI依赖悖论”,已在多个知识领域被观察到,例如2025年的一项研究发现,使用AI的医生\(自己检测癌症的能力反而下降\)(https://www.thelancet.com/journals/langas/article/PIIS2468-1253(25)00133-5/abstract)。这种动态与数十年来被充分记录的更广泛技术趋势——“去技能化”(或称“认知卸载”)——如出一辙,从削弱我们数学能力的计算器,到影响我们天生方向感的全球定位系统(GPS)技术。 在这项新的媒体实验室研究中,研究人员追踪了67名参与者在四周内评估新闻标题-图片对的过程。在AI聊天机器人辅助下,参与者在一项测试中识别假新闻的准确率提高了21%——这证实了\(麻省理工学院斯隆管理学院之前的研究\)(https://www.science.org/doi/10.1126/science.adq1814),表明AI可以有效减少人们对虚假信息的相信。 然而,研究显示,当AI不再在场时,出现了一个新问题:到第四周时,参与者在没有辅助的情况下对新的新闻项目表现比研究开始前下降了15个百分点。(大约四分之一的参与者甚至报告感觉自己检测能力在提升,尽管实际表现有所下降。) **达克效应(Dunning-Kruger)悄然出现** “用户对这些‘神奇’的LLMs感到兴奋,却忘记了它们只是预测序列(字母/单词)中下一个‘词元’的统计模型,”麻省理工学院媒体艺术与科学(MAS)博士生Anku Rani说,她与同为MAS博士生的Valdemar Danry是这项研究新论文的共同第一作者。“通过规模化,许多令人印象深刻的行为涌现出来,但这带来了真正的局限性,既体现在模型能可靠生成的内容上,也体现在对使用者的广泛影响上。” 定性分析识别出不同的行为模式,研究团队将五分之一的参与者标记为“依赖开发者”——他们逐渐从积极自力更生转向被动接受AI指导。 在实验后的调查中,一名受访者明确承认了这一转变,指出了自己在过程中的被动角色。“虽然(聊天机器人)确实强调了必须查证多个来源以确保故事真实,但它们并没有教我太多关于如何探索图像本身背景的内容,”该参与者表示。 研究团队指出,这些AI模型在情绪化的突发新闻中尤其容易出错,例如最近针对特朗普总统的未遂刺杀事件以及伊朗战争期间重大事件中伴随的广泛错误信息。(作者还指出,用于训练AI模型的原始人类创建新闻内容越来越不可靠和/或带有偏见,进一步加剧了问题。) 这篇\(论文\)(https://dl.acm.org/doi/10.1145/3772318.3790656)由Danry和Rani在\(2026年CHI人机交互大会\)(https://chi2026.acm.org/)上展示,合著者包括助理教授Paul Pu Liang、高级研究科学家Andrew Lippman,以及资深作者、Germeshausen媒体艺术与科学教授Pattie Maes。 **解决方案:做教练,而非拐杖** 研究人员表示,该项目的结果表明,AI与用户交互的具体方式决定了其影响是“作为教练,还是作为拐杖”。研究发现,对话策略存在明显区别:那些仅提供即时帮助的策略,与那些真正支持主动学习和技能发展的策略,效果截然不同。 对于后者,媒体实验室团队揭示了几种与之后更强的独立检测能力相关的策略,即使这些策略在交互初期可能会拖慢表现。这包括AI采用苏格拉底式提问法引导问题,以及所谓的“深度探究”——当用户似乎偏离正确答案时,系统会提供温和的说服性陈述。 “那些通过直接回答来‘告诉’用户的AI更容易培养依赖性,而通过苏格拉底式提问来‘询问’用户的AI则更善于让用户真正学会自己辨别真相,”Danry说。“但这在很大程度上是速度与努力之间的权衡。” Rani指出了这个为期一个月的研究的几个关键局限性,从大约50个经过验证的新闻项目的有限数据集,到聚焦于美国和英国的人口统计。她表示,未来,研究团队希望能在更多样化的地理群体(包括资源匮乏社区)中进行类似实验,并渴望探索其他多模态交互策略——例如与适应文化的数字孪生体而非基于文本的聊天机器人互动——是否有助于提高人们检测错误信息的能力。 在更高层面上,研究人员希望这个项目能成为教育者在制定将AI工具融入学校课程的教学计划时参考的素材。 “在学校和学术界提高对使用AI作为学习工具缺陷的认识尤为重要,”Maes说。“人们需要知道,如果他们‘委派’了自己的思考,他们就不会在某类特定问题解决能力上变得更好。归根结底,质疑和分析信息的能力对每个人都很重要,因为它赋予我们解决问题并形成自己对世界独立见解的力量。” Danry补充道,快速发展的机器学习和深度学习领域需要持续教育人们了解LLMs的利弊。 “我们需要做很多工作,确保我们不会把那些想要继续自己做的关键任务完全卸载给这些模型,”他说。“我们需要培养一种新的AI素养。” 该研究项目部分得到了媒体实验室联盟、\(MIT塔塔中心技术与设计奖学金\)(https://tatacenter.mit.edu/faculty-fellows/)以及\(谷歌人机交互博士学位奖学金\)(https://research.google/programs-and-events/phd-fellowship/)的支持。

相似文章

How AI Slop Is Damaging Our News Media

Reddit r/ArtificialInteligence

文章分析了AI生成的虚假专家、抗议海报和特朗普的合成照片如何侵蚀新闻媒体的可信度,指出媒体在核实信息源上的缺失导致错误信息扩散。

引用《纽约时报》编辑说明

Simon Willison's Blog

《纽约时报》发布更正声明,指出此前发现一款 AI 工具生成了加拿大政治家 Pierre Poilievre 的虚假引言,突显了新闻报道依赖 AI 所带来的风险。