研究人员刚刚在医学论文中发现28个虚假AI引用
摘要
研究人员在影响临床指南的医学论文中发现了28个AI生成的虚假引用,凸显了AI幻觉破坏科学诚信和患者护理的风险。
https://preview.redd.it/fatwrex57m3h1.png?width=1900&format=png&auto=webp&s=0ecf308f2029dcd749cd9333f871caecf751da40 因此,AI生成的虚假引用正悄然渗入科学期刊,尤其是那些用于为医生制定实际临床指南的期刊。本周,一个国际研究团队敲响了警钟,此前主要作者Rachel Smart博士注意到一个令人担忧的趋势:科学家们正在使用未经核实的AI工具来撰写论文。他们进行分析后发现,至少有28条完全捏造的参考文献在现实中根本不存在。可怕的是,这些虚假数据竟然通过了同行评审,进入了构成官方临床建议基础的期刊。打个比方,我们过去只在学生论文中看到这些AI幻觉,但现在它正渗入本应审查极其严格的高水平医学文献中。就连开发这些模型的科技公司也承认,他们还不能完全解决幻觉问题。这显然增加了医疗决策失误的风险,因为临床指南直接决定了患者接受的治疗方式。科学论文中出现虚假来源会削弱人们对传统同行评审系统的信任,迫使医学界寻找新的方法来过滤AI生成的文本。来源:[https://the-decoder.com/ai-hallucinated-citations-are-creeping-into-papers-that-shape-clinical-guidelines-researchers-warn/](https://the-decoder.com/ai-hallucinated-citations-are-creeping-into-papers-that-shape-clinical-guidelines-researchers-warn/)
相似文章
学术论文和文章中越来越多出现的人工智能幻觉
一期播客节目探讨了学术论文中日益增多的AI幻觉现象,将其归因于学者们恶劣的工作条件,并警告这可能对未来研究及知识生产构成威胁。
我审计了AI事实核查工具引用的来源。大约每18个中就有1个不存在。
一位作者分享了对其AI事实核查工具引用的审计,发现大约每18个中就有1个是失效或捏造的,并提供了实用修复方法来提高AI系统的可靠性。
医疗预约中AI记录员的错误使患者深感痛苦
在一次医疗预约中,AI记录员错误地声称患者正在服用非法药物,引发患者痛苦,并引发了对人工智能在医疗保健中准确性和患者安全性的担忧。
OpenBioRQ:AI代理有15.9%的概率引用错误论文
一项新的基准论文OpenBioRQ揭示,AI代理很少捏造引用,但常常引用不支持其主张的论文,在生物医学语境中有15.9%的引用不匹配。
两名律师因提交AI编造的案例被联邦上诉法院制裁
美国一联邦上诉法院制裁了两名律师,因其提交了AI编造案例的诉状,这凸显了法律实践中AI幻觉的持续问题以及独立核实引文的必要性。