对齐临床需求与AI能力:关于LLMs在医学推理中的综述
摘要
本综述考察了医学LLMs的最新进展,提出了一种连接临床实践与计算方法双重视角的方法,并引入了一个基准数据集,用于评估18个最先进模型的医学推理能力。
arXiv:2607.07761v1 公告类型:新
摘要:大型语言模型(LLMs)已成为医疗保健中的重要工具,在临床推理和患者护理方面显示出日益增长的潜力。本综述考察了医学LLMs的最新进展,重点关注推理应用和需求。我们提出了一种双重视角的方法,将临床实践与计算方法联系起来。在临床方面,我们遵循米勒金字塔建立了一个五级能力方案,从知识回忆到动态病例管理。在计算方面,我们将演绎推理、归纳推理和溯因推理模式与常见的医疗目标和任务联系起来。我们还引入了一个涵盖五个医学推理能力级别的基准数据集,并报告了18个最先进模型的结果,揭示出医学专科模型在以诊断为中心的任务中表现出色,而通用模型在决策支持和对话方面领先。最后,我们讨论了当前的进展和开放性挑战,包括数据局限性、幻觉和基础问题,并概述了朝着更安全、更可靠和更易于工作流程的系统的发展方向。
查看缓存全文
缓存时间: 2026/07/10 06:05
# 对齐临床需求与AI能力:面向医学推理的大语言模型综述 来源: https://arxiv.org/html/2607.07761 **作者信息**: ¹齐鹏 ORCID: https://orcid.org/0000-0001-7747-3293 ∗郑长明 ORCID: https://orcid.org/0000-0002-2945-8248 \equalcont 这些作者对本工作贡献相等。 \equalcont 这些作者对本工作贡献相等。 \equalcont 这些作者对本工作贡献相等。 [1] 郑长明 ¹] \orgname 香港理工大学,\orgaddress \city 香港,\country 中国 ²] \orgname 香港大学,\orgaddress \city 香港,\country 中国 ³] \orgname 华南理工大学,\orgaddress \city 广州,\country 中国 ⁴] \orgname 多伦多大学,\orgaddress \city 多伦多,\country 加拿大 ⁵] \orgname 北京协和医院,\orgaddress \city 北京,\country 中国 ⁶] \orgname 四川大学华西医院,\orgaddress \city 四川,\country 中国 ###### 摘要 大语言模型(LLMs)已成为医疗领域的重要工具,在临床推理和患者照护方面展现出日益增长的潜力。本综述考察了医疗LLM的最新进展,重点关注推理应用和需求。我们提出了一种双视角方法,将临床实践与计算方法联系起来。在临床层面,我们遵循Miller金字塔建立了一个五级能力框架,从知识回忆到动态病例管理逐步递进。在计算层面,我们将演绎、归纳和溯因推理模式与常见的医疗目标和任务联系起来。我们还引入了一个涵盖五个医疗推理能力级别的基准数据集,并在18个最先进模型上报告了结果,显示医疗专科模型在以诊断为中心的任务上表现优异,而通用模型在决策支持和对话方面领先。最后,我们讨论了当前进展和开放性挑战,包括数据限制、幻觉和落地问题,并指出了迈向更安全、更可靠、可直接用于工作流的系统的方向。 ###### 关键词: 大语言模型,医疗LLM,双视角方法,Miller金字塔,推理 参见图1: LLM在医学推理中的一般流程。 ## 1 引言 医学领域面临日益增长的压力,需要在处理海量数据和不断更新的证据的同时,做出及时而准确的决策。临床医生必须熟练地结合患者病史、体格检查结果、检验数据和影像资料,同时谨慎权衡风险和偏好,并在显著不确定性下行动。尽管传统工具在数据检索和规则执行方面提供了有价值的支持,但当信息不完整或冲突,或决策严重依赖顺序、背景和复杂的权衡时,它们往往难以胜任。与此同时,数据可用性和计算能力的并行进步推动了大语言模型的快速发展。这些LLM能够有效读取和生成临床文本、连接外部来源,并进行符合临床工作流自然交互的对话。因此,将LLM应用于整个护理路径——从诊前分诊和症状评估,到诊断、治疗计划制定、文档记录和随访——引起了广泛兴趣。本综述特别关注医学推理能力,而非一般的语言处理应用。我们的主要目标是阐明临床实践中实际需要哪些类型的推理,当前模型设计如何满足这些特定需求,以及如何衡量有意义的进展。为此,我们采用两种互补的视角。 从临床视角,我们系统地将Miller金字塔扩展为五个清晰的层次:知识识别与规范化;信息分类与分诊;因果推理与综合诊断;决策支持与个体化建议;以及复杂临床场景下的动态交互。这一框架提供了一种结构化的方式,将特定任务与护理连续体中预期的能力水平对齐。 从计算视角,我们按推理类型组织现有方法,并将演绎、归纳和溯因推理模式与具体的医疗目标(如症状规范化、风险预测、鉴别诊断和治疗选择)系统性地联系起来。重要的是,在实际临床工作流中,结合这些模式的混合推理设置很常见,因此我们在分析中明确处理了这种情况。基于这些视角,我们根据推理类型和临床能力水平对数据集和基准进行映射,涵盖实体落地、临床分诊、诊断推理、问答、影像辅助任务、文档记录和对话管理等方面的资源。此外,我们全面回顾了实践中常用的模型设计和训练策略,包括使用专家数据的指令微调、思维链与长格式推理、搜索与树引导推理、结合知识库和文献的检索增强生成、工具使用与智能体工作流,以及文本与图像的多模态集成。我们还讨论了超越简单准确率的评估方法,涵盖事实性、推理完整性、内部一致性、证据使用和不确定性处理,同时使用专家评审和自动指标。为了支持该领域的标准化衡量,我们构建了一个包含五个医疗推理能力级别的综合基准数据集,包含5,000个精心策划的样本(每级1,000个)。通过对18个最先进模型在该基准上的系统评估,我们观察到几个重要趋势。值得注意的是,医疗专科模型在以诊断为中心的任务上通常表现更好,而高容量通用模型在决策支持、多轮对话和总结任务上往往更胜一筹。有趣的是,住院时间预测和其他结构化时间结果对所有测试系统仍然具有挑战性。我们的分析表明,模型大小本身并不能完全解释性能差异;相反,指令质量、领域特定数据和推理训练似乎同样重要。基于这些发现,一种实用的部署方法是将诊断密集型查询路由到专门的医疗模型,同时利用通用模型进行对话和支持性任务。 本文的贡献可总结如下: - • 我们提出了一个双视角框架,将临床能力水平与核心推理类型系统性地联系起来,并将它们与常见医疗任务对齐。 - • 我们引入了一个包含5,000个样本的标准化五级基准,并在18个最先进模型上报告了详细结果,揭示了医疗模型和通用模型在哪里表现出色以及在哪里存在困难。 - • 我们对医疗推理的训练和推理方法进行了全面回顾,包括指令微调、思维链、检索与工具使用、智能体工作流和多模态集成,同时概述了评估答案和推理步骤的评估标准。 - • 我们系统地讨论了当前的局限性和风险,包括数据差距、幻觉、落地挑战和校准问题,并提出了面向更安全、更易于工作流使用的系统的具体方向。 **组织**: 本文其余部分结构如下。第2节提供背景并介绍我们提出的将临床能力与推理类型联系起来的分类法。第3节按推理类型和临床水平系统地调研数据集和基准。第4节回顾模型设计和推理范式,包括思维链、长格式、搜索引导、检索增强、多模态和智能体方法。第5节介绍我们的五级基准,并报告18个模型的详细结果,附带观察到的趋势分析。第6节讨论当前的挑战和局限。第7节概述最新进展和未来方向。最后,第8节总结关键见解和启示。 ## 2 背景与分类法 医学中LLM推理的基础建立在三个相互关联的支柱之上:大语言模型的演进及其核心技术、对推理过程的理论理解,以及已建立的临床能力评估框架。本节提供了理解医学推理系统现状和未来潜力所必需的综合背景知识。 ### 2.1 医疗大语言模型概述 人工智能的面貌因通用大语言模型(如GPT-3、PaLM和GPT-4)的规模化而重新定义,这些模型展示出推理和泛化的涌现能力。这一进展催生了医学领域的平行演进,从早期基于BERT的适应版本(如ClinicalBERT和BioBERT)过渡到专家级生成系统。最近的里程碑,如MedPaLM和Med-Gemini,已成功利用模型缩放,在标准化医学考试和复杂临床推理任务上达到接近人类的表现。 为了有效调整这些强大的架构以服务于临床,研究人员采用了专门的训练和提示策略。领域适应主要通过两种方式实现:从头开始训练生物医学语料库上的模型(如PubMedBERT和BioGPT),或者对通用检查点进行持续预训练(如ClinicalGPT)。此外,指令微调已成为一种关键的对齐机制,模型在专家策划的医疗数据集上进行微调,以确保安全且专业的回答。在训练之外,推理时策略如思维链(CoT)提示已被证明不可或缺。通过引导模型将复杂临床场景分解为逐步推理路径,CoT使算法处理与医学实践中固有的结构化诊断逻辑相一致。 ### 2.2 经典推理范式 将推理分为演绎推理、归纳推理和溯因推理的范式最初由著名美国哲学家查尔斯·桑德斯·皮尔士提出。该框架巧妙地利用“案例”、“规则”和“结果”之间的关系,清晰阐明了不同类型推理之间的本质区别。这种分类框架已在推理相关领域的教学中使用多年,并被学术界广泛采纳。 **演绎推理**从已建立的普遍规则和已知案例中推导出特定结果(规则 + 案例 → 结果)。其特点是不可反驳性:如果前提为真,则结论必然为真。例如,给定规则“高热表明感染”和案例“该患者发烧”,则结果“该患者感染”在逻辑上是确定的。虽然演绎在数学等领域确保了可靠性,但它不会产生前提中未隐含的新信息。 **演绎推理** 前提 案例:该患者发烧39°C。 规则:高热表明感染。 结论 结果:该患者感染。 表1: 演绎推理,Barbara三段论 **归纳推理**从观察到的案例和结果中概括出新规则(案例 + 结果 → 规则)。与演绎不同,其结论是可废止的且是概率性的,而非确定的。例如,观察到“许多高烧患者在使用抗生素后好转”,可以归纳出一般规则“高烧表明细菌感染”。尽管这个过程能产生科学发现所需的新知识,但如果出现反例,结论仍可修正。 **归纳推理** 前提 案例:许多患者发烧39°C。 结果:他们在使用抗生素后好转。 结论 规则:高热表明感染。 表2: 归纳推理,Barbara三段论 **溯因推理**从已知规则和观察到的结果中推断出最可能的案例(原因)(规则 + 结果 → 案例)。它和归纳一样具有可废止性,但侧重于解释而非概括。在临床语境中,这相当于诊断推理:给定结果“患者感染了”和规则“高热表明感染”,医生溯因地推断出“该患者可能发烧”作为解释。这种推理形式是医学诊断的基础,使医生能够根据症状假设潜在原因。 **溯因推理** 前提 规则:高热表明感染。 结果:该患者感染了。 结论 案例:该患者发烧39°C。 表3: 溯因推理,Barbara三段论 在介绍了推理的一般概念及其经典分类范式(演绎推理、归纳推理和溯因推理)之后,我们可以看到这些推理理论不仅构成了人类认知和人工智能的核心框架,还在特定领域被广泛应用和扩展。在医学领域,推理过程往往涉及复杂的临床决策、诊断推断和治疗规划,这些本质上依赖于从症状、检验结果和医学知识中得出结论的能力。将一般推理范式应用于医学语境不仅有助于理解医生的思维过程,也为发展LLM医疗推理分类法提供了坚实的理论基础。接下来,我们将介绍经典的临床能力分级框架,以进一步理解医学推理的独特特征。 ### 2.3 临床能力水平 为了更好地理解大语言模型在医学领域的推理能力,我们从医学能力分级的角度建立了一个LLM推理的分层分类。这种分类不仅有助于界定LLM在医学推理中的能力边界,还能评估和规范其在实际临床应用中的安全性和有效性。下面,我们简要介绍作为背景知识的医学能力分级主流框架——Miller金字塔。 Miller金字塔由George Miller于1990年提出,为理解和评估临床能力提供了一个基础框架。该金字塔包含四个层次:“知道”、“知道如何做”、“展示如何做”和“实际去做”。这一框架对于理解LLM在医学中的角色具有重要意义。
相似文章
让LLMs相互评判:用于医学问答的多智能体同行评审推理
本文介绍了一种多智能体同行评审推理方法,其中多个LLM独立生成思维链推理,然后相互评估输出以选择最佳答案。该方法在医学问答基准测试中优于单模型推理和多数投票。
LLMs是否已准备好进行科学发现?面向AI科学家的能力导向基准
介绍了SDABench,一个评估LLMs在五个领域六种科学分析能力上的基准,发现模型在需要假设选择和机制推理的任务上表现困难。
ChatHealthAI: 将电子健康记录表示与大型语言模型对齐以实现基于临床的推理
ChatHealthAI 是一个多模态推理框架,它将结构化 EHR 表示与冻结的 LLM 对齐,从而在保持预测性能的同时实现基于临床的推理。
我们一直在分析人们如何在法律与合规任务中使用LLM(GDPR、AI法案等)。
对LLM在法律与合规任务中使用的分析显示,模型常常生成自信但无法验证的引用,引发了对AI输出可靠法律依据的质疑。
学习如何让大语言模型进行推理
OpenAI 发布了一篇文章,通过密码破译示例探索大语言模型的推理技术,展示了语言模型的逐步问题求解和模式识别能力。