@rohanpaul_ai: 这项发表在《自然医学》上的研究对医疗AI发出了强烈警告。前沿医疗AI隐藏着……

X AI KOLs Following 新闻

摘要

《自然医学》的一项研究警告称,前沿AI模型在医疗领域看似医学上出色,但临床上尚未准备就绪,在改变问题或删除输入的应激测试中会失败。该研究强调,基准测试成功并不等同于临床准备就绪。

这项发表在《自然医学》上的研究对医疗AI提出了强烈警告。 前沿医疗AI存在一种隐藏的失败模式:它可能看起来在医学上很出色,但在临床上尚未准备就绪。 作者们对前沿AI模型进行了医疗基准测试,然后增加了应激测试,以观察模型是真正鲁棒,还是仅仅擅长通过考试。 结果发现这些模型很脆弱。 也就是说,这些模型在正常测试中能给出正确答案,但当问题稍有改变、重要信息被删除或图像文本设置被修改时,就会失败。 一个奇怪的结果是,即使关键输入被移除,某些模型仍能猜出正确答案,这表明它们可能在使用捷径,而非真正理解医疗案例。 这些模型有时会给出听起来医学且合乎逻辑的令人信服的解释,但其推理存在缺陷。 最终结论并非“AI在医学中毫无用处”,而是“基准测试成功并不等同于临床准备就绪”。
查看原文
查看缓存全文

缓存时间: 2026/07/06 06:02

《自然·医学》发表的这项研究为医疗领域的人工智能发出了强烈警告。

医疗领域的前沿人工智能存在一种隐藏的失效模式:它可能在医学上看起来出色,但在临床上尚未准备好。

作者在健康基准上测试了前沿AI模型,然后加入了压力测试,以观察这些模型究竟是真正稳健,还是仅仅擅长通过考试。

结果发现这些模型很脆弱。

也就是说,模型在正常测试中能给出正确答案,但当问题稍作改变、重要信息被删除或图文设置被修改时,就会失败。

一个奇怪的结果是,即使关键输入被移除,某些模型仍然能猜出正确答案,这表明它们可能在使用捷径,而非真正理解医疗案例。

模型有时会给出听起来符合医学逻辑且有说服力的解释,但推理过程存在缺陷。

最终的结论并非“人工智能在医学中毫无用处”,而是“基准测试的成功并不等同于临床准备就绪”。

机器手指的进步比我们想象的要快。在这款Wuji Tech的机器人手中,手指内嵌电机,每个指节内置执行器,由此实现了流畅的多关节运动。

相似文章

@rohanpaul_ai: 当前前沿智能体在现实自动化方面的准备程度远不及它们在基准测试中的分数所暗示的那样。本文提…

X AI KOLs Following

本文介绍了“智能体最终考试”(Agents' Last Exam),这是一个测试AI智能体在55个数字工作领域中进行真实专家工作能力的基准。目前最强的智能体在大多数任务上失败,在最难的层级中平均通过率仅为2.6%,揭示了基准分数与现实世界自动化准备程度之间的巨大差距。