如何打造“谦逊”的AI

MIT News — Artificial Intelligence 2026/03/24 04:00 论文

摘要

MIT研究人员提出了一种用于医疗领域的“谦逊”AI框架，鼓励系统表达不确定性，并以协作副驾驶而非权威预言者的身份发挥作用。

人工智能有望帮助医生诊断患者并个性化治疗方案。然而，由MIT领导的一个国际科学家团队警告称，目前设计的AI系统存在将医生引向错误方向的风险，因为它们可能会过于自信地做出错误决策。研究人员认为，防止这些错误的一种方法是将AI系统设计得更“谦逊”。这类系统会在对诊断或建议缺乏信心时主动揭示，并鼓励用户在诊断不确定时收集更多信息。“我们现在把AI当作预言者来使用，但我们可以把AI当作教练。我们可以把AI当作真正的副驾驶。这不仅能提高我们获取信息的能力，还能增强我们连点成线的能动性，”MIT医学工程与科学研究所高级研究科学家、Beth Israel Deaconess医疗中心医生、哈佛医学院副教授Leo Anthony Celi说。Celi及其同事创建了一个框架，他们表示该框架可以指导AI开发者在设计系统时体现好奇心和谦逊。研究人员称，这种新方法可以让医生和AI系统作为合作伙伴协同工作，并有助于防止AI对医生的决策施加过多影响。Celi是该研究的资深作者，该研究<a href="https://informatics.bmj.com/content/33/1/e101877" target="_blank">今日发表</a>于BMJ Health and Care Informatics。论文第一作者是Sebastián Andrés Cajas Ordoñez，他是MIT Critical Data的研究员。MIT Critical Data是一个全球联盟，由MIT医学工程与科学研究所内的计算生理学实验室领导。注入人类价值观据MIT团队称，过度自信的AI系统可能导致医疗场景中的错误。此前研究发现，ICU医生即使直觉与AI建议相悖，也会屈从于他们认为可靠的AI系统。医生和患者都更可能接受被视为权威的错误AI建议。研究人员表示，医疗机构应使用能与临床医生更协作的AI系统，而非提供过度自信但可能错误建议的系统。“我们正试图将人类纳入这些人机系统中，以便促进人类集体反思和重新想象，而不是让孤立的AI代理包办一切。我们希望人类通过使用AI变得更具创造力，”Cajas Ordoñez说。为创建这样的系统，该联盟设计了一个框架，包含多个可集成到现有AI系统中的计算模块。第一个模块要求AI模型在进行诊断预测时评估自身的确定性。由联盟成员Janan Arslan和墨尔本大学Kurt Benke开发的Epistemic Virtue Score充当自我意识检查，确保系统的信心被每个临床场景固有的不确定性和复杂性适当调和。有了这种自我意识，模型可以根据情况调整其回应。如果系统检测到其信心超过现有证据支持的程度，它可以暂停并标记这种不匹配，请求能消除不确定性的特定检查或病史，或建议专科会诊。目标是打造一个不仅提供答案，还能在答案应谨慎对待时发出信号的AI。“这就像有一个副驾驶会告诉你，你需要寻求新的视角来更好地理解这个复杂的病人，”Celi说。Celi及其同事此前开发了可用于训练AI系统的大规模数据库，包括来自Beth Israel Deaconess医疗中心的Medical Information Mart for Intensive Care (MIMIC)数据库。他的团队目前正在将新框架实施到基于MIMIC的AI系统中，并将其引入Beth Israel Lahey Health系统的临床医生。研究人员表示，这种方法也可以用于分析X光图像的AI系统，或用于确定急诊室患者最佳治疗方案的AI系统等。迈向更具包容性的AI这项研究是Celi及其同事更大努力的一部分，旨在创建由最终最受这些工具影响的人设计和使用的AI系统。许多AI模型（如MIMIC）都是在美国公开数据上训练的，这可能导致对特定医学问题思考方式的偏见，并排斥其他方式。Celi强调，引入更多观点对于克服这些潜在偏见至关重要，全球联盟的每个成员都为更广泛、集体性的理解带来了独特的视角。现有用于诊断的AI系统存在的另一个问题是，它们通常是在电子健康记录上训练的，而这些记录最初并非为此目的设计。这意味着数据缺乏对诊断和治疗建议有用的许多背景信息。此外，许多患者由于无法获得医疗服务而从未被纳入这些数据集，例如居住在农村地区的人。在<a href="https://criticaldata.mit.edu/" target="_blank">MIT Critical Data</a>主办的数据研讨会上，数据科学家、医疗专业人员、社会科学家、患者等群体共同设计新的AI系统。在开始之前，每个人都会被提示思考他们使用的数据是否捕捉到了其预测目标的所有驱动因素，确保他们不会无意中在模型中编码现有的结构性不平等。“我们让他们质疑数据集。他们对自己的训练数据和验证数据有信心吗？他们认为是否有患者被无意或有意地排除在外，这将如何影响模型本身？”他说，“当然，我们不能阻止甚至不能延缓AI的发展，不仅在医疗领域，而且在每个领域。但是，我们必须更加审慎和周到地推进这项工作。”该研究由波士顿-韩国创新研究项目通过韩国健康产业发展研究院资助。

查看原文导出为 Word 导出为 PDF

查看缓存全文

缓存时间: 2026/05/08 09:06

# 如何打造“谦逊”的AI 来源：https://news.mit.edu/2026/creating-humble-ai-0324 人工智能有望帮助医生诊断患者并个性化治疗方案。然而，由MIT领导的一个国际科学家团队警告说，目前设计的AI系统存在将医生引向错误方向的风险，因为它们可能会过度自信地做出错误决策。研究人员表示，防止这些错误的一种方法是将AI系统编程得更具“谦逊”特质。这类系统会在对诊断或建议缺乏信心时主动告知，并在诊断不确定时鼓励用户收集更多信息。 "我们现在把AI当作神谕来使用，但我们可以将AI用作教练，用作真正的副驾驶。这不仅能提高我们检索信息的能力，还能增强我们连接要点的能动性，" Leo Anthony Celi说道。他是MIT医学工程与科学研究所的高级研究科学家、Beth Israel Deaconess医疗中心的医生，以及哈佛医学院的副教授。 Celi及其同事创建了一个框架，他们表示该框架可以指导AI开发者在设计中体现好奇心与谦逊。研究人员称，这种新方法能让医生和AI系统作为合作伙伴协同工作，并有助于防止AI对医生的决策施加过多影响。 Celi是这项研究的资深作者，该研究今天发表于《BMJ Health and Care Informatics》（https://informatics.bmj.com/content/33/1/e101877）。论文的第一作者是Sebastián Andrés Cajas Ordoñez，他是MIT Critical Data的研究员。MIT Critical Data是一个全球联盟，由MIT医学工程与科学研究所内的计算生理学实验室领导。 **灌输人类价值观** MIT团队指出，过度自信的AI系统可能导致医疗场景中的错误。此前研究发现，ICU医生会服从他们认为可靠的AI系统，即使自己的直觉与AI建议相悖。当AI建议被认为具有权威性时，医生和患者都更有可能接受错误的AI建议。研究人员表示，医疗机构应当拥有能与临床医生更协作地工作的AI系统，而非提供过度自信但可能错误的建议。 "我们试图将人类纳入这些人机系统中，以便促进人类进行集体反思和重新构想，而不是让孤立的AI代理包办一切。我们希望人类通过使用AI变得更加富有创造力，" Cajas Ordoñez说道。为了创建这样的系统，该联盟设计了一个包含多个计算模块的框架，可以整合到现有AI系统中。第一个模块要求AI模型在进行诊断预测时评估自身的确定性。该模块由联盟成员Janan Arslan和墨尔本大学的Kurt Benke开发，"认识论美德分数"（Epistemic Virtue Score）充当自我觉察检查，确保系统的信心被每个临床场景固有的不确定性和复杂性适当调和。有了这种自我觉察，模型就能根据具体情况调整其回应。如果系统检测到其信心超出了可用证据支持的范围，它可以暂停并标记这种不匹配，请求进行特定检查或病史采集以消除不确定性，或建议专家会诊。目标是打造一个不仅能提供答案，还能在答案应谨慎对待时发出信号的AI。 "这就像有一个副驾驶会告诉你，你需要寻求一双新的眼睛来更好地理解这个复杂的病人，" Celi说道。 Celi及其同事此前开发了可用于训练AI系统的大规模数据库，包括来自Beth Israel Deaconess医疗中心的重症监护医疗信息集市（MIMIC）数据库。他的团队目前正在将该框架实施到基于MIMIC的AI系统中，并将其引入Beth Israel Lahey Health系统的临床医生中。研究人员表示，这种方法还可以用于分析X光图像的AI系统，或用于确定急诊室患者最佳治疗方案的AI系统等。 **迈向更具包容性的AI** 这项研究是Celi及其同事更大努力的一部分，旨在创建由最终最受这些工具影响的人设计和为其服务的AI系统。许多AI模型（如MIMIC）是基于美国公开数据训练的，这可能导致对某种医学思维方式产生偏见，并排斥其他方式。 Celi表示，引入更多视角对于克服这些潜在偏见至关重要，他强调全球联盟的每个成员都为更广泛、集体的理解带来了独特的视角。现有用于诊断的AI系统存在的另一个问题是，它们通常基于电子健康记录训练，而这些记录最初并非为此目的设计。这意味着数据缺乏对诊断和治疗建议有用的许多背景信息。此外，许多患者由于无法获得医疗服务而从未被纳入这些数据集，例如居住在偏远地区的人群。在MIT Critical Data（https://criticaldata.mit.edu/）主办的数据工作坊中，数据科学家、医疗专业人员、社会科学家、患者等群体共同设计新的AI系统。在开始之前，每个人都被提示思考他们使用的数据是否捕捉了他们旨在预测的所有驱动因素，确保不会无意中将现有的结构性不平等编码到他们的模型中。 "我们让他们质疑数据集。他们对自己的训练数据和验证数据有信心吗？他们认为是否有患者被无意或有意地排除在外，这将如何影响模型本身？"他说，"当然，我们无法阻止甚至无法推迟AI的发展，不仅在医疗领域，而且在每个领域。但是，我们必须更加审慎和深思熟虑地去做这件事。" 该研究由韩国健康产业振兴院通过Boston-Korea Innovative Research Project资助。

如何打造“谦逊”的AI

相似文章

请少点“类人”AI智能体

教人工智能模型说“我不确定”

AI教父：如何打造安全的超级智能AI

大多数关于“智能体 AI”的讨论都感觉太抽象了。这里是我的智能体研究系统的实际样子

超越自主性：了解自身局限的智能体之力量

提交意见反馈