@rohanpaul_ai: 这项发表在《自然医学》上的研究对医疗AI发出了强烈警告。前沿医疗AI隐藏着……
摘要
《自然医学》的一项研究警告称,前沿AI模型在医疗领域看似医学上出色,但临床上尚未准备就绪,在改变问题或删除输入的应激测试中会失败。该研究强调,基准测试成功并不等同于临床准备就绪。
查看缓存全文
缓存时间: 2026/07/06 06:02
《自然·医学》发表的这项研究为医疗领域的人工智能发出了强烈警告。
医疗领域的前沿人工智能存在一种隐藏的失效模式:它可能在医学上看起来出色,但在临床上尚未准备好。
作者在健康基准上测试了前沿AI模型,然后加入了压力测试,以观察这些模型究竟是真正稳健,还是仅仅擅长通过考试。
结果发现这些模型很脆弱。
也就是说,模型在正常测试中能给出正确答案,但当问题稍作改变、重要信息被删除或图文设置被修改时,就会失败。
一个奇怪的结果是,即使关键输入被移除,某些模型仍然能猜出正确答案,这表明它们可能在使用捷径,而非真正理解医疗案例。
模型有时会给出听起来符合医学逻辑且有说服力的解释,但推理过程存在缺陷。
最终的结论并非“人工智能在医学中毫无用处”,而是“基准测试的成功并不等同于临床准备就绪”。
机器手指的进步比我们想象的要快。在这款Wuji Tech的机器人手中,手指内嵌电机,每个指节内置执行器,由此实现了流畅的多关节运动。
相似文章
@rohanpaul_ai: Anthropic新研究表明,AI智能体在代码方面可能表现卓越,但在生物学领域,它们可能在科学工作开始之前就失败……
Anthropic的研究揭示,AI智能体在生物学数据库方面存在困难,对同一个查询会产生高度差异的答案(例如,埃博拉序列计数范围从5到106,而预期为266),但添加一个可重复的检索工具能显著提高一致性和准确性。
@rohanpaul_ai: 当前前沿智能体在现实自动化方面的准备程度远不及它们在基准测试中的分数所暗示的那样。本文提…
本文介绍了“智能体最终考试”(Agents' Last Exam),这是一个测试AI智能体在55个数字工作领域中进行真实专家工作能力的基准。目前最强的智能体在大多数任务上失败,在最难的层级中平均通过率仅为2.6%,揭示了基准分数与现实世界自动化准备程度之间的巨大差距。
介绍 HealthBench
OpenAI 推出了 HealthBench,这是一个用于评估医疗保健环境中人工智能系统的新基准。该基准由来自 60 个国家的 262 名医生共同创建,包含 5,000 个逼真的健康对话和医生编写的评分标准,用于评估模型在有意义、可信和可改进的指标上的性能。
@rohanpaul_ai: https://x.com/rohanpaul_ai/status/2074005084661485771
一条推文分享了一篇《自然·医学》的文章,但由于浏览器问题,链接内容显示为错误页面。
前沿风险与应对准备
OpenAI 宣布了其应对准备挑战赛的获奖者,该赛事识别了与前沿 AI 系统相关的独特风险。前十名提交作品突出了包括金融系统操纵、信息泄露、医疗伤害、网络攻击和基于说服的威胁等问题,其中 70% 的参赛作品强调了 AI 增强恶意说服能力的潜力。