研究(n=504):高度怀疑并未提高对AI生成文本的检测,持续接触下假新闻准确性下降10.2个百分点
摘要
一项涉及504名参与者的研究发现,高度怀疑并未提高对AI生成文本的检测能力,持续接触下假新闻准确性下降了10.2个百分点,这表明在媒体评估中存在认知疲劳。
声明:我是作者之一。在此分享发现以供讨论,非销售任何东西。预印本为开放获取(CC BY 4.0)。我们进行了一项人类受试者研究,参与者根据两个轴对新闻片段进行分类:来源(人类 vs 机器)和真实性(真实 vs 虚假)。n=504名参与者,n=2,438次判断。三个令我们惊讶的结果:感知-准确性差距。更怀疑的参与者在检测机器生成文本方面并未表现更好。保持警惕并未转化为准确性,这对于任何依赖于“只需更怀疑”的媒体素养建议的防御措施来说都是尴尬的。对于我们的参与者来说,现代LLM的输出常常与人类文本无法区分。不对称认知疲劳。在持续接触下,假新闻检测下降了10.2个百分点,而AI来源检测大致保持稳定。这两个判断似乎依赖于不同的资源,并且只有一个会耗尽。我们使用改编的网络安全杀伤链来组织结果,将虚假信息视为一个阶段性生命周期,而不是一个需要分类的单一制品。这样框架的目的是询问在哪里可以更早地干预,而不是在链条末端要求疲惫的人类发现虚假。预印本:https://arxiv.org/abs/2608.21389疲劳不对称是我一直在思考的部分。如果真实性判断在负载下退化而来源判断没有,那么增加个人需要评估内容量的平台干预措施可能正在悄悄地使情况恶化。好奇这里的读者是否对第三个发现有同样的看法,或者是否有更简单的解释我忽略了。
相似文章
人工智能与大脑
一项研究发现,虽然人工智能聊天机器人最初能提高虚假新闻识别能力,但长期使用会导致独立表现下降,突显了人工智能依赖悖论。研究表明,采用苏格拉底式提问的人工智能风格可能更有利于用户学习辨别真相。
依赖AI获取准确新闻的后果
麻省理工学院媒体实验室的一项新研究发现,依赖AI聊天机器人验证新闻的人,在独立识别虚假信息方面反而变得更差,凸显了“AI依赖悖论”。
AI检测器正在制造一个充满不信任的新时代
本文探讨了AI检测器在教育领域日益广泛的使用及其引发的不信任氛围,重点指出了误报问题和AI生成文本检测的主观性。
人们能在75%的情况下检测出AI生成的文本
UnslopAI的一项测试显示,读者能在75%的情况下识别出AI生成的文本,这凸显了让AI写作听起来更人性化、以避免搜索引擎惩罚并保持真实性的必要性。
使用可解释语言特征检测AI生成假新闻的跨提示词泛化研究
来自肯尼索州立大学的研究人员利用可解释语言特征(词汇多样性、可读性、情感特征)对检测AI生成假新闻的跨提示词泛化能力展开研究。在一种提示策略上训练、在另一种提示策略上测试的随机森林分类器取得了0.988至1.000的AUC值,表明这些特征能够捕捉AI生成文本的稳定且可泛化的属性。