研究人员刚刚在医学论文中发现28个虚假AI引用
摘要
研究人员在影响临床指南的医学论文中发现了28个AI生成的虚假引用,凸显了AI幻觉破坏科学诚信和患者护理的风险。
https://preview.redd.it/fatwrex57m3h1.png?width=1900&format=png&auto=webp&s=0ecf308f2029dcd749cd9333f871caecf751da40 因此,AI生成的虚假引用正悄然渗入科学期刊,尤其是那些用于为医生制定实际临床指南的期刊。本周,一个国际研究团队敲响了警钟,此前主要作者Rachel Smart博士注意到一个令人担忧的趋势:科学家们正在使用未经核实的AI工具来撰写论文。他们进行分析后发现,至少有28条完全捏造的参考文献在现实中根本不存在。可怕的是,这些虚假数据竟然通过了同行评审,进入了构成官方临床建议基础的期刊。打个比方,我们过去只在学生论文中看到这些AI幻觉,但现在它正渗入本应审查极其严格的高水平医学文献中。就连开发这些模型的科技公司也承认,他们还不能完全解决幻觉问题。这显然增加了医疗决策失误的风险,因为临床指南直接决定了患者接受的治疗方式。科学论文中出现虚假来源会削弱人们对传统同行评审系统的信任,迫使医学界寻找新的方法来过滤AI生成的文本。来源:[https://the-decoder.com/ai-hallucinated-citations-are-creeping-into-papers-that-shape-clinical-guidelines-researchers-warn/](https://the-decoder.com/ai-hallucinated-citations-are-creeping-into-papers-that-shape-clinical-guidelines-researchers-warn/)
相似文章
学术论文和文章中越来越多出现的人工智能幻觉
一期播客节目探讨了学术论文中日益增多的AI幻觉现象,将其归因于学者们恶劣的工作条件,并警告这可能对未来研究及知识生产构成威胁。
OpenBioRQ:AI代理有15.9%的概率引用错误论文
一项新的基准论文OpenBioRQ揭示,AI代理很少捏造引用,但常常引用不支持其主张的论文,在生物医学语境中有15.9%的引用不匹配。
两名律师因提交AI编造的案例被联邦上诉法院制裁
美国一联邦上诉法院制裁了两名律师,因其提交了AI编造案例的诉状,这凸显了法律实践中AI幻觉的持续问题以及独立核实引文的必要性。
这篇由thehackernews撰写的关于AI幻觉的文章,本身竟然是用AI写的,lol...我们必须采取行动阻止这种现象。
本文讨论了AI幻觉如何造成真实的安全风险,并强调了2025年的一项基准测试,该测试显示大多数AI模型会给出自信但错误的答案。文章解释了原因,并呼吁对AI输出进行人工验证。
KPMG报告关于AI益处的描述出现AI幻觉
一份关于AI益处的KPMG报告包含了主要组织使用AI的捏造案例,凸显了专业咨询中AI幻觉的风险。