学习融合LLMs与本体排名器用于罕见疾病诊断

arXiv cs.CL 论文

摘要

本文提出一种融合模型,将大型语言模型(LLMs)与本体排名器集成,以改善罕见疾病的诊断,在保留结构化证据以支持临床决策的同时,实现更高的召回率。

arXiv:2609.02473v1 公告类型:新 摘要:本体排名器在罕见疾病诊断中仍然有用,因为每个候选疾病都可以追溯到匹配的患者表型。大型语言模型(LLMs)可以从相同的患者描述中生成鉴别诊断,但其预测缺乏同样清晰的证据链。我们不问哪个系统应该取代另一个,而是问LLM是否能在不放弃其证据的情况下改进排名器。我们的基于行为的融合模型检查两个排名列表、它们的一致性以及每个候选疾病背后的本体支持,并学习在每个案例中依赖每个系统的程度。在比较之前,我们移除了一个已记录的测试集泄露路径,该路径由基准案例和本体注释源自同一出版物引起。在八个开源LLMs上,融合在Phenopacket Store上将Phenomizer Recall@1提高了7.86个百分点,在RAMEDIS上提高了20.18个百分点。当通过API与DeepSeek-V4-Flash配对时,仅在其他LLMs上训练的融合模型将Recall@1从0.1657提高到0.2176,获得了5.19个百分点的提升,无需重新训练。对于90.8%的正确融合诊断,疾病保留了可检查的候选级别本体证据。这些结果表明,LLMs可以在不丢弃使其有用的结构化证据的情况下,增强一个既定的诊断工具。
查看原文
查看缓存全文

缓存时间: 2026/09/03 05:54

# 学习融合大语言模型与本体排序器用于罕见疾病诊断  
来源:https://arxiv.org/html/2609.02473  
作者:Zhaoyang Jiang(隶属:英国格拉斯哥大学健康与福祉学院;邮箱:[[email protected]](mailto:[email protected]))  
Xuanqi Peng(隶属:英国格拉斯哥大学健康与福祉学院;邮箱:[[email protected]](mailto:[email protected]))  
Yunsoo Kim(隶属:英国格拉斯哥大学健康与福祉学院)  
Zhizhong Fu(隶属:中国成都电子科技大学生命科学与技术学院)  
Jiacong Mi(隶属:上海交通大学医学院附属上海市第六人民医院呼吸与危重症医学科)  
Zicheng Li  
Honghan Wu††(通讯作者。隶属:英国格拉斯哥大学健康与福祉学院)

###### 摘要  
本体排序器在罕见疾病诊断中依然实用,因为每个候选项均可追溯至匹配的患者表型。大语言模型(LLMs)能从相同的患者描述中生成鉴别诊断,但其预测缺乏同样清晰的证据链。我们并不追问哪个系统应取代另一个,而是探讨LLM能否在不牺牲其证据性的前提下改进排序器。我们的基于行为的融合模型会审视两个排序列表、它们的一致性以及每个候选项背后的本体支持度,并学习如何针对具体病例分配对每个系统的依赖程度。在比较之前,我们移除了一种已记录的测试集泄露途径——该泄露源于基准病例与本体标注均源自相同文献。在八个开源LLM中,融合使Phenomizer Recall@1在Phenopacket Store上提升7.86个百分点,在RAMEDIS上提升20.18个百分点。当通过API与DeepSeek‑V4‑Flash配合时,一个仅在其他LLM上训练的融合模型将Recall@1从0.1657提升至0.2176,增幅达5.19个百分点,且无需重新训练。在90.8%的正确融合诊断中,疾病保留了可检查的候选级本体证据。这些结果表明,LLMs可以增强现有的诊断工具,而不必丢弃使其具有价值的结构化证据。

## 1 引言  
罕见疾病诊断往往始于一系列发现,而非一个熟知的疾病名称。表型工具如Exomiser(Robinson et al. 2014;https://arxiv.org/html/2609.02473#bib.bib9)、LIRICAL(Robinson et al. 2020;https://arxiv.org/html/2609.02473#bib.bib3)和Phenomizer(Köhler et al. 2009;https://arxiv.org/html/2609.02473#bib.bib12)将这些发现与人类表型本体(HPO)(Köhler et al. 2021;https://arxiv.org/html/2609.02473#bib.bib10)中的疾病谱进行比较,并返回排序后的鉴别诊断。它们的价值不仅限于排序。临床医生可以检查支持每个候选项的HPO术语,对于Phenomizer,还能查看匹配的统计强度。在临床决策支持中,当医生需要审视建议依据时(Amann et al. 2020;https://arxiv.org/html/2609.02473#bib.bib32),此类证据仍然重要。  

大语言模型的出现使得直接从临床文本或HPO术语生成鉴别诊断成为可能,其知识来源超越了固定的、经人工整理的资源。然而,迄今为止最强的结构化比较仍然倾向于经典工具。一项大型系统基准测试显示,Exomiser在准确性指标和临床亚组方面均领先于七种大语言模型中的每一种(Reese et al. 2026;https://arxiv.org/html/2609.02473#bib.bib1);仅使用提示词的大语言模型在相关的罕见疾病基因优先排序方面也落后于已建立的表型流程(Lee et al. 2026;https://arxiv.org/html/2609.02473#bib.bib7)。  

大语言模型输出还引入了第二个问题。医学模型可能编造虚构的临床细节(Omar et al. 2025;https://arxiv.org/html/2609.02473#bib.bib30),医学幻觉文献已将事实可靠性确定为一个持续存在的问题(Zhu et al. 2025;https://arxiv.org/html/2609.02473#bib.bib31),而语言上的自信程度往往系统性地高估了诊断的可靠性(Savage et al. 2025;https://arxiv.org/html/2609.02473#bib.bib29)。纯粹的大语言模型排序也缺乏本体工具提供的独立计算的HPO匹配和统计得分。表面上看,经典系统似乎提供了更高的准确性和更可审计的决策路径。  

这些发现确立了经典流程的持续优势,但它们并未确定由HPO注释数据库(HPOA)支持的排序器在多大程度上受益于特定基准的构建方式。表型包(Phenopackets)是结构化的患者记录,许多是从已发表的病例报告中整理而来。HPOA也是从相同文献中整理而来。因此,同一篇论文可以同时提供测试患者的发现和知识库中该患者确诊疾病所附带的表型证据。我们称之为*文献来源重叠*。由于两个资源都记录了文献来源,我们在重新运行未更改的本体排序器之前,移除任何仅以测试病例论文作为唯一支持来源的表型关系。经过此修正后,排序器和大语言模型展现出互补的优势,而非简单的优胜劣汰。  

这为大语言模型提供了一个不同的角色。它无需取代本体工具,因为两个系统因不同原因失败,并且可以提供对方所缺乏的东西。最近的研究已经表明了这种组合的价值。LA‑MARRVEL使用语言感知的重排序改进了基于表型的基因排序器(Lee et al. 2026;https://arxiv.org/html/2609.02473#bib.bib7),而DeepRare则将大语言模型推理与专门工具和可追溯的外部证据相结合(Zhao et al. 2026;https://arxiv.org/html/2609.02473#bib.bib6)。最直接的是,Elmofty和Leser(2026;https://arxiv.org/html/2609.02473#bib.bib28)在他们测试的每个罕见疾病基准上,都从本体检索和无限制的大语言模型生成中发现了互补的正确诊断。他们的实验也暴露了一个尚未解决的步骤。他们将正确诊断超出检索器候选项集的病例称为“不可检索”,这对任何使用该池的方法都设定了一个硬性上限。他们明确表示下一步是使用病例特征的学习路由器。互补的答案是可获得的,但在新病例上识别使用哪一个仍然是一个待解决的问题。  

我们学习一个病例级的决策规则。大语言模型独立进行诊断,而不是重新排序本体列表;一个小型基于行为的门控在合并两个输出的并集之前,为每个病例分配特定的权重。它只观察它们的行为:领先诊断的清晰程度、列表是否一致、患者发现与候选项的匹配程度以及候选项可用的本体知识量。该门控既不接收模型身份,也不接收模型特定的表示。在训练过程中,我们排除了目标大语言模型及其骨干家族的所有其他模型。因此,它可以应用于新引入的大语言模型,而无需先为该模型收集标签,从而使流程能够采用更强大的诊断模型,同时保留对候选级本体证据的访问。

## 2 相关工作  
基于本体的罕见疾病诊断使用人类表型本体(HPO)(Köhler et al. 2021;https://arxiv.org/html/2609.02473#bib.bib10)来表示患者发现。Phenomizer引入了带有经验显著性估计的语义相似性疾病排序(Köhler et al. 2009;https://arxiv.org/html/2609.02473#bib.bib12);Exomiser结合了表型匹配与变异优先排序(Robinson et al. 2014;https://arxiv.org/html/2609.02473#bib.bib9);LIRICAL通过似然比表达表型证据(Robinson et al. 2020;https://arxiv.org/html/2609.02473#bib.bib3)。这些系统共同建立了一个基于经整理疾病谱和可检查HPO匹配的诊断流程。它们在最近与大语言模型的比较中表现出的持续优势表明,它们仍然是活跃的诊断系统,而不仅仅是历史基线(Reese et al. 2026;https://arxiv.org/html/2609.02473#bib.bib1)。  

大语言模型研究首先测试了预训练知识能否直接从表型描述中恢复疾病或基因,其中RareBench和RareArena将评估扩展到不同疾病和模型家族(Chen et al. 2024;https://arxiv.org/html/2609.02473#bib.bib4;Chen et al. 2026;https://arxiv.org/html/2609.02473#bib.bib5)。后来的系统越来越多地将语言模型与结构化资源相结合。LA‑MARRVEL精炼了基于表型的基因排序器的候选项(Lee et al. 2026;https://arxiv.org/html/2609.02473#bib.bib7),而DeepRare则协调了大语言模型推理与专家工具和外部证据(Zhao et al. 2026;https://arxiv.org/html/2609.02473#bib.bib6)。Elmofty和Leser(2026;https://arxiv.org/html/2609.02473#bib.bib28)直接比较了本体检索与无限制的大语言模型诊断,发现两者解决了互补的病例。因此,文献已从取代转向通过候选项重排序、工具使用代理和并行预测实现的混合诊断。  

混合诊断也借鉴了排序聚合和模型选择。信息检索发展了基于分数、排序和概率的融合方法,包括CombMNZ、Borda‑fuse、Bayes‑fuse、ProbFuse、倒数排序融合(Reciprocal‑rank fusion)和排序偏置质心(Rank‑Biased Centroids)(Fox and Shaw 1994;https://arxiv.org/html/2609.02473#bib.bib17;Aslam and Montague 2001;https://arxiv.org/html/2609.02473#bib.bib14;Lillis et al. 2006;https://arxiv.org/html/2609.02473#bib.bib15;Cormack et al. 2009;https://arxiv.org/html/2609.02473#bib.bib13;Bailey et al. 2017;https://arxiv.org/html/2609.02473#bib.bib23);后续研究探索了混合检索的学习分数组合(Bruch et al. 2023;https://arxiv.org/html/2609.02473#bib.bib24)。另一条并行的线路是学习何时接受一个系统或转向另一个系统,从基于置信度的级联和临床延迟,到偏好监督和无标签的大语言模型路由(Jitkrittum et al. 2023;https://arxiv.org/html/2609.02473#bib.bib26;Kondadadi and Ortega 2026;https://arxiv.org/html/2609.02473#bib.bib18;Ong et al. 2025;https://arxiv.org/html/2609.02473#bib.bib27;Guha et al. 2024;https://arxiv.org/html/2609.02473#bib.bib25)。这些研究用依赖于输入的选择替换了适用于所有输入的单一规则。  

与此同时,基准研究也在扩展其对污染的看法。关于大语言模型评估的研究主要考察测试样本是否出现在预训练数据中(Balloccu et al. 2024;https://arxiv.org/html/2609.02473#bib.bib19);前瞻性临床基准通过新收集的病例降低了这种风险(Wang et al. 2026a;https://arxiv.org/html/2609.02473#bib.bib20)。对于检索外部信息的系统,泄露可能发生在推理时,当搜索暴露了基准答案时(Wang et al. 2026b;https://arxiv.org/html/2609.02473#bib.bib8)。开放领域问答同样将可检索的证据集合作为被评估任务的一部分(Kwiatkowski et al. 2019;https://arxiv.org/html/2609.02473#bib.bib22;Lee et al. 2019;https://arxiv.org/html/2609.02473#bib.bib21)。总之,这些文献表明,基准的有效性不仅取决于模型训练数据,还取决于评估流程在推理期间提供了哪些信息。

## 3 校正文献来源重叠  
考虑一篇报告了一个或多个患有疾病D的患者的论文。它可能既被整理为一个答案为D的测试病例,又被整理为知识库中将D与该论文中描述的发现相关联的条目。然后,表型排序器将测试患者的发现与由同一文档支持的疾病谱进行比较。HPOA记录了支持每个关系的文献,使得这种源文档的重用可以直接被观察到。  

我们说一个病例存在*文献来源重叠*,当支持其金标准疾病的注释引用了该病例的源出版物时;并且称一个注释是*来源排他*的,当该出版物是其唯一记录的支持来源时。对于源出版物为p的病例,我们留一出版物(LOPO)评估会移除每个条目e,当refs(e) = {p}时,该条目将疾病与表型链接。任何其他文献佐证的条目以及没有记录来源的条目均保留。然后,我们通过添加其剩余注释的HPO祖先来重建每个疾病谱,并在所有候选疾病上重新运行未更改的排序器。信息量在原始条件和LOPO条件之间保持固定,因此比较仅改变了专门源自p的病例级证据。Phenopacket Store记录了每个病例的源出版物,HPOA记录了单个注释的来源,从而实现了这种出版物级别的连接。

## 4 本体与大语言模型融合  
图1(https://arxiv.org/html/2609.02473#S4.F1)总结了该模型。本体排序器和大语言模型首先根据可用的表型信息构建独立的疾病排序列表。然后,一个共享的评分器评估每个排序在当前病例上的行为,并在合并它们的候选项之前分配病例特定的权重。  
![图1](图1)  
图1:融合分三个阶段进行。(a) 本体排序器和大语言模型独立地从患者档案构建疾病排序。(b) 一个共享的评分器将它们的病例级表示映射到权重。(c) 加权倒数排序合并候选项并集,同时排序器覆盖的候选项保留其本体证据。

### 4.1 独立排序与共享表示  
排序器将患者观察到的HPO发现与经整理的疾病谱进行比较。我们保留其前100种疾病,包括它们的得分,记作C_T。大语言模型读取观察到的和明确排除的发现以及可用的人口统计背景,并生成最多10个自由文本诊断,我们使用一个固定词典将它们的名称映射到在线人类孟德尔遗传(OMIM)标识符,得到C_L。融合后的候选项集为C_T ∪ C_L。因此,一个超出存储本体前缀范围的大语言模型诊断可以进入最终排序;而一个超出两个列表范围的疾病则无法进入。  

由此产生的列表不能通过它们的原生输出直接组合:本体排序器为每个候选项分配一个分数,而大语言模型则提供一个排序,但没有可比的置信度量表。因此,在合并两个列表时,我们仅保留排序信息。设T和L分别表示本体排序器和大语言模型,并设C_e表示系统e返回的候选项。对于e ∈ {T, L},令rank_e(d)表示疾病d在C_e中的基于1的位置。我们定义r_e(d),即系统e分配给疾病d的排序分数,为:  

r_e(d) = { 1/(κ + rank_e(d)), 若 d ∈ C_e; 0, 若 d ∉ C_e }  

共享的非负常数κ控制分数沿列表的下降陡峭程度:κ=0 给出普通的倒数排序,而较大的值则使衰减更平缓。我们在Phenopacket Store上使用κ=0,在RAMEDIS上使用κ=60。这种转换将两个列表置于相同的尺度上,而不将任一系统的原生输出视为校准的概率。  

为了估计系统e对当前病例的可靠性,我们将其输出编码为一个39维向量φ_e。

相似文章

大型语言模型作为统一多模态学习器用于临床预测

arXiv cs.AI

该论文提出将多模态患者数据(文本、实验室结果、生命体征)转换为单一自然语言序列,并对大型语言模型进行微调以用于临床预测,在三个任务中实现了与专用融合架构相当或更优的性能。

强化学习用于大型语言模型的寻求证据诊断推理

arXiv cs.AI

本文提出了一种基于强化学习的框架,用于利用大型语言模型进行寻求证据的诊断推理。经过强化学习训练的7B模型在多语言临床咨询任务中优于更大的模型,表明专门的强化学习可以提炼高水平的临床推理。