RareDxR1：超越人类标注的罕见病诊断自主医疗推理

# RareDxR1：超越人工标注的罕见病诊断自主医学推理

来源：https://arxiv.org/html/2607.00147
Deyang Jiang¹,²,∗, Haoran Wu¹,∗, Ziyi Wang¹, Yiming Rong¹, Yunlong Zhao¹, Ye Jin³, and Bo Xu¹,²∗共同贡献\. 通讯作者：Bo Xu \(xubo@ia\.ac\.cn\)\.该项目受国家高水平医院临床研究基金 \(2025\-PUMCH\-C\-006\) 和国家自然科学基金 \(No\. 62506358\) 资助\.被IEEE国际多媒体与博览会会议 \(ICME\) 2026 接收\. © 2026 IEEE\. 允许个人使用本材料\. 如需以任何当前或未来媒体形式（包括为广告或推广目的转载/重新发布、创建新的集体作品、转售或重新分发至服务器或列表、或在此作品其他部分中重用任何受版权保护的组件）用于其他目的，必须获得IEEE许可\.该项目受国家高水平医院临床研究基金 \(2025\-PUMCH\-C\-006\) 和国家自然科学基金 \(No\. 62506358\) 资助\.

###### 摘要

罕见病鉴别诊断是一项关键但艰巨的临床任务，要求医生从复杂、非结构化的患者症状中识别精确的表型，并在庞大的搜索空间内执行复杂的推理。然而，现有的人工智能方法通常依赖于基于管道的表型提取或检索增强生成，这些方法因预定义本体、检索瓶颈以及缺乏诊断逻辑而遭受严重的信息损失。为了解决这些挑战，我们引入了RareDxR1，这是一个以推理为中心、面向开放域罕见病诊断的端到端大语言模型，可直接从非结构化临床笔记中进行诊断。我们设计了一个渐进式端到端训练框架，将知识内化与自主进化学习相结合，从而绕过了对结构化表型和封闭集决策的依赖。为了克服RAG和表型限制的局限性，我们实现了将零散的罕见病知识直接深度内化到模型参数中。此外，为了弥合模型生成与专家推理之间的差距，我们提出了反思增强推理采样（RERS），这是一种无需人工标注即可通过学习失败来综合专家级诊断轨迹的策略。此外，我们提出了一种双层次课程强化学习方法，用于逐步掌握罕见病诊断。实验结果表明，RareDxR1在不同基准测试中均达到了最先进的准确率，标志着开放域罕见病诊断领域的重大突破。我们的代码和数据集将公开发布。¹¹¹https://github\.com/jdy18/RareDxR1

## I 引言

罕见病，影响不到1/2000的人口，全球范围内有7000-10000种类型，约影响3亿人\[12 (https://arxiv.org/html/2607.00147#bib.bib4),29 (https://arxiv.org/html/2607.00147#bib.bib14)\]。罕见病诊断——即从未区分的临床表现中识别特定疾病的过程——以困难著称。在临床实践中，此项任务需要双重过程能力：首先，医生必须细致解析非结构化的患者叙述以识别关键表型；其次，他们必须执行复杂的鉴别诊断，权衡针对多种疾病的矛盾证据。专业知识的稀缺常常导致平均4.8年的诊断延迟和频繁的误诊\[9 (https://arxiv.org/html/2607.00147#bib.bib12),16 (https://arxiv.org/html/2607.00147#bib.bib15)\]。

参照图注图1：RareArena\-Test中所有罕见病类别的Top\-10召回率。为了辅助这种决策，传统的计算方法长期以来依赖标准化的表型本体\[15 (https://arxiv.org/html/2607.00147#bib.bib9),31 (https://arxiv.org/html/2607.00147#bib.bib10),18 (https://arxiv.org/html/2607.00147#bib.bib16),19 (https://arxiv.org/html/2607.00147#bib.bib39)\]或基因型数据\[33 (https://arxiv.org/html/2607.00147#bib.bib41),8 (https://arxiv.org/html/2607.00147#bib.bib42),22 (https://arxiv.org/html/2607.00147#bib.bib40)\]作为核心特征。然而，这种符号输入严重依赖手动特征工程，并且常常忽略非结构化笔记中嵌入的关键细微差别。此外，这些方法通常局限于预定义的封闭标签空间，使得在开放集临床实践中难以识别未见过的疾病或发现潜在的罕见情况。

大语言模型的发展使得直接从原始文本进行开放域诊断成为可能。然而，它们目前面临两个关键差距：罕见病知识不足和临床推理能力不足。在知识方面，当前的医学大语言模型\[24 (https://arxiv.org/html/2607.00147#bib.bib20),25 (https://arxiv.org/html/2607.00147#bib.bib30)\]缺乏对长尾疾病的覆盖，导致幻觉现象以及未能利用结构化的表型数据库\[23 (https://arxiv.org/html/2607.00147#bib.bib31),3 (https://arxiv.org/html/2607.00147#bib.bib8)\]。推理差距则更为严重。通用推理模型\[11 (https://arxiv.org/html/2607.00147#bib.bib6),10 (https://arxiv.org/html/2607.00147#bib.bib38)\]在形式逻辑方面表现出色，但难以应对临床诊断的概率性质，而医学大语言模型则缺乏导航复杂诊断路径所需的专家级数据。许多研究人员采用拒绝采样\[2 (https://arxiv.org/html/2607.00147#bib.bib49)\]来合成思维链数据，但在此处效率低下：通用模型很少能为罕见病生成正确的初始解决方案，而丢弃错误的样本则浪费了从失败中学习的宝贵机会。

为了弥合这些差距，我们引入了RareDxR1，这是一个以推理为中心、面向开放域罕见病诊断的端到端大语言模型。与以往方法不同，它直接从非结构化临床笔记进行诊断推理，无需僵化的表型提取步骤。此外，它在无需任何人工标注的情况下实现了专家级的多步推理能力。我们的方法通过四项关键技术革新来应对挑战：

1. 为了解决检索瓶颈，我们提出了一种知识内化策略。这使得模型能够将罕见病事实直接编码到其参数中，实现有效的“知识涌现”，而无需像表型基础或RAG系统那样依赖外部数据库。
2. 为了缓解数据稀疏场景下推理能力的缺乏，我们引入了反思增强推理采样。它迫使模型反思自身的诊断失败并加以纠正。
3. 为了克服结构化表型依赖和封闭集决策的局限性，我们提出了一个集成的端到端训练流程，并由此派生出RareDxR1，使其能够直接从原始临床笔记进行开放域诊断，在多个基准测试中实现了最先进的性能。
4. 为了整合其他模型的优势并减少特定模型的诊断偏差，我们提出了协同推理精炼（CRR）。这是一种简单而有效的推理策略，通过整合来自外部模型的见解来精细化初始诊断，从而进一步提高诊断准确性。

## II 相关工作

### II\-A 罕见病诊断

传统方法，无论是基于表型\[15 (https://arxiv.org/html/2607.00147#bib.bib9),31 (https://arxiv.org/html/2607.00147#bib.bib10),18 (https://arxiv.org/html/2607.00147#bib.bib16),19 (https://arxiv.org/html/2607.00147#bib.bib39)\]还是基于基因\[33 (https://arxiv.org/html/2607.00147#bib.bib41),8 (https://arxiv.org/html/2607.00147#bib.bib42),22 (https://arxiv.org/html/2607.00147#bib.bib40)\]，都严重依赖知识库中人工整理的标注。最近，大语言模型通过检索增强推理\[27 (https://arxiv.org/html/2607.00147#bib.bib21)\]、多智能体协作\[6 (https://arxiv.org/html/2607.00147#bib.bib22)\]和工具调用\[34 (https://arxiv.org/html/2607.00147#bib.bib48)\]得到应用。虽然持续的医学预训练\[24 (https://arxiv.org/html/2607.00147#bib.bib20),25 (https://arxiv.org/html/2607.00147#bib.bib30)\]已经取得成效，但这些通用模型在处理罕见病诊断所需的稀疏、专业知识和复杂推理方面仍然存在困难。

### II\-B 推理语言模型

强化学习已被证明能有效增强推理能力，得到算法优化如GRPO\[21 (https://arxiv.org/html/2607.00147#bib.bib23)\]和DAPO\[30 (https://arxiv.org/html/2607.00147#bib.bib25)\]的支持。在医学领域，近期工作如Med\-R1\[14 (https://arxiv.org/html/2607.00147#bib.bib27)\], Med\-RLVR\[32 (https://arxiv.org/html/2607.00147#bib.bib28)\], 和 Baichuan\-M1\[24 (https://arxiv.org/html/2607.00147#bib.bib20)\]已利用强化学习进行对齐。然而，这些工作主要侧重于通用医学问答，而开放域罕见病鉴别诊断这一更为复杂的挑战在很大程度上未被探索。

参照图注图2：构建RareDxR1模型的两阶段训练框架。

## III 方法

为了解决知识稀疏和推理复杂的问题，我们开发了RareDxR1，采用多阶段训练框架，随后是协同推理策略。

在本节中，我们首先介绍为监督微调阶段设计的数据引擎：用于知识整合的RareKnowledgeQA，以及通过RERS进行专家级推理合成的RareDxCOT。然后，我们介绍双层次课程强化学习（DCRL），这是一个使模型能够通过结构化课程自主优化其诊断逻辑的框架。最后，我们描述协同推理精炼（CRR），这是一种推理阶段的方法，通过综合多模型视角和检索到的证据来减轻单模型偏差。

### III\-A 任务形式化

我们将诊断任务定义为 \(F_M: \mathcal{C} \to (r, \hat{D})\)，其中模型 \(M\) 从临床笔记 \(C\) 生成推理轨迹 \(r\) 和排序候选项 \(\hat{D} = (\hat{d}_1, ..., \hat{d}_K)\)，目标是尽可能高地排列真实值 \(d^*\)。

为了减轻严重罕见病同义词带来的评估偏差，我们编译了一个多源同义词库，整合了Orphanet\[26 (https://arxiv.org/html/2607.00147#bib.bib5)\], OMIM\[3 (https://arxiv.org/html/2607.00147#bib.bib8)\] 和 ICD\[17 (https://arxiv.org/html/2607.00147#bib.bib36)\]。这使得我们的同义词感知匹配函数 \( \text{match}(\hat{d}, d^*) \) 能够验证精确匹配或同义词匹配。性能通过Top\-k召回率进行量化。

### III\-B 公共数据资源

结构化知识：我们整合了HPO\[23 (https://arxiv.org/html/2607.00147#bib.bib31)\], Orphanet\[26 (https://arxiv.org/html/2607.00147#bib.bib5)\] 和 OMIM\[3 (https://arxiv.org/html/2607.00147#bib.bib8)\]，为疾病和表型及其关联提供标准化编码。

非结构化知识：从PubMed\[4 (https://arxiv.org/html/2607.00147#bib.bib3)\]检索的开放获取医学文献，以补充文本知识。

罕见病病例：我们利用RareArena数据集\[20 (https://arxiv.org/html/2607.00147#bib.bib17)\]，包含22,896份带注释的临床笔记。为确保均衡覆盖，我们基于疾病频率进行分层采样，将数据划分为1,025个测试样本（RareArena\-Test）、970个验证样本和20,901个训练样本（RareArena\-Train），用于RareDxCOT生成和强化学习。此外，我们从MIMIC\-IV\-Note\[13 (https://arxiv.org/html/2607.00147#bib.bib2)\]收集了一个子集，作为分布外基准。

### III\-C 知识内化（RareKnowledgeQA）

大语言模型在罕见病诊断中的一个关键挑战在于知识的碎片化性质，即知识分散在结构化数据库和非结构化文本中。虽然结构化数据确保了事实准确性，非结构化文本提供了丰富的临床背景，但我们的初步发现表明，仅仅将LLM暴露于原始结构化数据不足以实现有效的知识获取。

为了解决这个问题，我们创建了RareKnowledgeQA数据集，将两种知识类型统一为LLM友好的格式。我们从两个来源提取核心信息——疾病定义、表型和临床特征，并使用混合方法将其转换为问答对：基于规则的模板确保事实精确性，基于LLM的生成确保上下文多样性。

### III\-D 专家级推理合成（RareDxCOT）

为了从通用推理过渡到医学专业知识，我们构建了RareDxCOT，一个包含138,091条经过验证的推理轨迹的数据集。

反思增强推理采样。标准的拒绝采样效率低下，因为它丢弃了教师模型失败时的大部分轨迹（\(\hat{D}\) 排除 \(d^*\)）。为了解决这个问题，我们提出了RERS，用于“弱到强”泛化。设 \(M_T\) 为教师模型（例如DeepSeek\-R1）。对于临床笔记 \(C\)，初始推理过程产生推理链和诊断：\((r, \hat{D}) = F_{M_T}(C)\)。我们将推理生成过程定义为条件映射，以构建高质量的思维链数据集 \(\mathcal{R}\)：

\[
\mathcal{R} = \begin{cases}
(r, \hat{D}) & \text{如果 } \text{match}(\hat{D}, d^*) \\
(r_{ref}, \hat{D}_{ref}) & \text{如果 } \neg \text{match}(\hat{D}, d^*)
\end{cases}
\]
其中 \((r_{ref}, \hat{D}_{ref}) = F_{M_T}(C, r_{fail}, \mathcal{K}, \mathcal{E})\) 表示反思增强的轨迹。

第一种情况代表标准正采样，其中推理成功导致正确诊断。第二种情况代表我们的反思机制：给定一条未命中正确诊断的失败推理路径 \(r_{fail}\)，我们提示模型通过综合检索到的知识 \(\mathcal{K}\) 和专家反馈 \(\mathcal{E}\)（来自其他模型的见解）来自我纠正。这迫使过程 \(F_{M_T}\) 识别 \(r_{fail}\) 中的逻辑谬误，并内化外部知识以推导出 \(d^*\)，有效地将“失败”转化为密集的训练信号。

轨迹精炼。为了确保鲁棒性和多样性，我们对 \(T\) 的生成应用两种增强策略：

1. **随机信息遮蔽**：我们通过随机遮蔽输入的一部分来生成 \(\tilde{C} = \text{Mask}(C)\)，迫使模型基于部分证据进行推理。
2. **知识约束过滤**：为了消除过程幻觉，生成的每条轨迹 \(r \in \mathcal{T}\) 都要根据从 \(\mathcal{K}\) 提取的事实三元组进行事后验证。只有满足逻辑一致性和事实准确性的轨迹才会被保留。

### III\-E 双层次课程强化学习（DCRL）

在通过SFT注入了知识和推理能力之后，为了超越静态数据依赖并实现自主进化，我们提出了DCRL算法。基于DAPO框架\[30 (https://arxiv.org/html/2607.00147#bib.bib25)\]，我们设计了一个渐进式课程