研究发现生成式AI易受对话中错误信息压力与争论影响

# 研究：生成式AI在对话中易受错误信息压力与争论影响 来源：https://news.arizona.edu/news/study-generative-ai-succumbs-conversational-misinformed-pressure-and-argument 跳转至主内容 (https://news.arizona.edu/news/study-generative-ai-succumbs-conversational-misinformed-pressure-and-argument#content)亚利桑那大学白色文字标志线条标识 (https://www.arizona.edu/) 亚利桑那大学新闻 | 首页 (https://news.arizona.edu/) ## 主导航 1. 首页 (https://news.arizona.edu/) 2. 新闻 (https://news.arizona.edu/news) 3. 研究：生成式AI在对话中易受错误信息压力与争论影响 ## 研究：生成式AI在对话中易受错误信息压力与争论影响 作者：Mikayla Mace Kelley，大学通讯部 结果已出：哪种AI模型最易出错？最易被说服？最易纠正？ 亚利桑那大学的研究评估了七种不同的生成式AI大型语言模型（LLM）在这三种特性上的表现。他们的工作发表在《自然·科学报告》(https://www.nature.com/articles/s41598-026-68231-0)上，揭示了在单次交互中可能未被察觉的固有局限性。 在测试的七种大型语言模型中——ChatGPT（GPT-3.5、GPT-4o、GPT-4o-mini）、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama-3-70B和DeepSeek-R1——研究人员发现： - 在包含重复错误陈述的对话中，ChatGPT 3.5最易重新确认错误信息；Claude 3.5 Sonnet则最不易受影响。 - 所有七种模型在冷门话题上都更容易受到错误信息的影响，这意味着针对某一话题的训练数据越多，其抵抗错误信息的能力就越强。 - DeepSeek最易被说服，这主要体现在它对日益具有争论性提示词的回应上，主要原因是其倾向于给出讽刺性回答，这些回答往往难以可靠解读。 - ChatGPT 4o、ChatGPT 4o-mini、Gemini 1.5 Pro和DeepSeek这四个模型在获得第二次机会时，均能100%纠正错误。 “这强调了谨慎的人工介入的必要性，以及盲目依赖的危险，”该研究的资深作者、医学与生物医学工程学Reents教授Marvin Slepian博士说。“2022年11月生成式AI问世时，曾有诸多监管的可能性，但这些后来都未能落实。人们现在认识到，责任已落在了用户身上。” 许多人熟悉AI的局限性，例如阿谀奉承（倾向于同意用户）和幻觉（自信地给出错误答案），但在评估AI于所谓多轮对话（其中的回答基于之前的上下文）中的局限性方面，相关研究却非常少。研究团队指出，这种使用模式更接近现实世界。 “这些局限性引发了重要的安全担忧，特别是在生成式AI系统越来越多地部署于高风险场景的情况下，”Slepian说。 该团队还识别出模型未能确认事实信息的四种不同方式。例如，一些模型在对话中会在接受和拒绝同一错误陈述之间摇摆不定。 “如果有人依赖该模型进行关键决策，他可能会——取决于振荡所处的阶段——‘发射导弹’或‘截肢’，或者不会，这仅仅基于偶然，”Slepian说。 作为一名医生，具体说是Sarver心脏中心(https://heart.arizona.edu/)的成员，他将这些失败定性为“病理现象”。这种特定的病理现象被命名为“回响效应”。 “这是危险的，”Slepian说，他直到去年还在领导美国专利商标局的人工智能小组委员会。他也是James E. Rogers法学院的教员。“我们怎么能依赖这些反复无常且不可复现的系统？这些系统需要修复，但这项研究已经历时三年，却仍然存在同样的未修复特性。” 但是，闭源模型（如ChatGPT和Claude）使得“窥探其内部”以诊断和解决问题变得不可能。 然而，作为亚利桑那加速生物医学创新中心(https://acabi.uahs.arizona.edu/)(ACABI)的创始人和主任，Slepian和他的团队作为其AI病理学实验室的一部分，正开始为开源AI模型开发诊断工具。 “我和我的团队都使用AI，但作为科学家和医生，我必须理解其解剖结构和生理学，然后理解病理学——可能会出什么错——以便诊断和预防它们。AI也同理。” 该研究的合著者包括亚利桑那大学的Jordan Rodgriguez、Zachary Hansen、Luis De Anda、Katelyn Rohrer和Camila Grubb——他们都是计算机科学专业的学生和ACABI的研究员；以及计算机科学系的Mihai Surdeanu和Enrique Noriega。