医学AI在校准上失败，远早于它在口才上失败。
摘要
本文认为，医学AI可能因校准不佳和无法表达不确定性而失败，而非缺乏口才，并呼吁增加建立信任的功能。
一直困扰我的是健康AI演示的问题，并不是它们听起来不好。而是它们听起来足够好，以至于借用了它们尚未赢得的信任。一个模型可以写出漂亮的笔记、清晰的护理计划或自信的解释，但恰恰在临床医生或患者最可能过度重视的地方出错。所以对我来说，真正的产品问题不是“它听起来聪明吗？”而是：它能否暴露不确定性？能否呈现缺失的数据？能否避免将流畅变成虚假的安慰？如果让你选择唯一一个能让医学AI更值得信任的功能，那会是什么？
相似文章
最重要的AI失败可能是虚假自信，而非错误答案
本文认为，最危险的AI失败并非源于错误答案，而是系统基于不完整的数据、过时的上下文或糟糕的假设，以虚假自信行事。这表明AI评估应优先考虑处理不确定性的能力，而非原始智能。
当AI显得“过于自信”
本文探讨了一种心理现象：用户不信任AI，并非因为它出错，而是因为其肯定语气与用户自身内心的不确定性不匹配，并运用期望违背理论来解释这种摩擦。
AI基准测试不如模型能否处理乏味的现实责任重要
文章认为，AI基准测试和华丽的演示被过度强调了；真正考验AI可信度的是模型如何处理乏味的现实责任，如遵循指令、承认不确定性、处理边缘情况以及可审计性。
我们不断改进AI，却毫无变化。
文章认为，AI项目失败的原因并非模型性能不佳，而是缺乏信任和采用。强调提升信任和处理枯燥的基础设施比模型准确性更重要。
如何打造“谦逊”的AI
MIT研究人员提出了一种用于医疗领域的“谦逊”AI框架，鼓励系统表达不确定性，并以协作副驾驶而非权威预言者的身份发挥作用。