@YounisJoseph: 这是一个设计精良的随机对照研究，提出以下问题：LLM的诊断和管理能力是否……

X AI KOLs Following 论文
medical-ai llm-evaluation diagnostic-accuracy patient-communication sycophancy ai-safety

摘要

一项随机对照研究表明，当患者而非医生进行沟通时，LLM的诊断准确性下降了60%，管理决策下降了12%，突出了易受暗示性和医学素养的问题。

这是一个设计精良的随机对照研究，提出以下问题：当患者而非医生作为沟通者时，LLM诊断和管理相同医疗场景的能力是否下降。 结果：诊断准确性下降60%，适当的管理决策下降12% 答案基本上证实了以下疑虑： 1. LLMs易受暗示、天真且谄媚 2. 医学素养驱动输出；素养越低，LLM输出越不准确 3. 提示仍然困扰前沿模型的医学准确性 当人们无法检测自己的偏见和不准确时，信任LLM的医疗建议是不安全的。
查看原文
查看缓存全文

缓存时间: 2026/08/23 11:39

这是一项设计严谨的随机对照研究，探讨的核心问题是：当沟通者是患者而非医生时，大语言模型（LLM）诊断和处理相同医疗场景的能力是否会下降。

研究结果表明：诊断准确性下降了60%，恰当医疗决策率下降了12%。

这一结论基本证实了以下推测：

  1. 大语言模型易受暗示、认知单纯且倾向于迎合用户
  2. 医学知识水平直接影响模型输出质量；知识储备越少，LLM输出的准确性越低
  3. 提示工程仍是制约前沿模型医疗准确性的关键因素

当人们无法察觉自身认知偏差与信息误差时，盲目信任大语言模型的医疗建议是极其危险的。

相似文章

人机对话提升急诊诊疗的诊断准确性

arXiv cs.AI

本研究评估了通过与大型语言模型（LLM）的交互式对话（通过 MedSyn 系统）如何提高急诊科医生在急诊环境中的诊断准确性，结果显示住院医师在处理疑难病例时的诊断准确率有显著提升。

测量LLMs在误导性医疗语境下的认知韧性

Hugging Face Daily Papers

介绍了MedMisBench，用于测量LLMs在误导性语境下维持正确医疗推理的能力。结果显示，在对抗性条件下，准确率从71.1%骤降至38.0%，临床专家组指出存在潜在危害。

LLMs在医疗咨询中的评估过晚：预构差距

arXiv cs.AI

本文识别了LLM医疗咨询中的预构差距，即模型在临床问题澄清后才进行评估，而非在初始模糊互动期间。通过使用小场景和模拟的对照实验，研究表明指令可以改进响应排序，但不能可靠地确保关键信息的获取。