MMIR-TCM: 用于中医临床决策支持的记忆增强多模态推理与检索

# MMIR-TCM：面向中医临床决策支持的记忆集成多模态推理与检索系统
来源：https://arxiv.org/html/2607.01814
Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, 以及 Peiwu Qin

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao 和 Peter E. Lobie 隶属于清华-伯克利深圳学院（Tsinghua Shenzhen International Graduate School）生物制药与健康工程研究所，深圳，518000，中国，同时也隶属于粤澳合作中医药科技产业园（Chinese Medicine Guangdong Laboratory），珠海，519000，中国（电子邮箱：[email protected]; [email protected]; [email protected]; [email protected]; [email protected]; [email protected]; [email protected]）。
Jing Sui 隶属于北京师范大学，北京，100000，中国（电子邮箱：[email protected]）。
Zeming Liang 和 Peiwu Qin 隶属于粤澳合作中医药科技产业园（Chinese Medicine Guangdong Laboratory），珠海，519000，中国（电子邮箱：[email protected], [email protected]）。
Lian Zhang 隶属于河北医科大学第一医院，石家庄，050000，中国（电子邮箱：[email protected]）。
Samaneh Beheshti Kashi, Dongmei Yu 和 Jiansong Ji 隶属于浙江大学丽水医院，丽水，323000，中国（电子邮箱：[email protected], [email protected], [email protected]）。
Zelin Zeng 和 Xiaoming Yin 隶属于深圳晓明中医医院，深圳，518000，中国（电子邮箱：[email protected]; [email protected]）。
代码可在 https://github.com/jw-chae/MMIR-TCM 获取。
Lihui Luo 和 Joongwon Chae 对本文贡献相等。
通讯作者：Peiwu Qin。

###### 摘要

传统中医诊断，特别是舌诊，在主观性和可重复性方面面临持续挑战。多模态人工智能在中医临床任务（如辨证分型和处方生成）中的应用，受到舌象视觉特征与文本推理之间语义鸿沟以及缺乏大规模标准化数据集的严重阻碍。为应对这些挑战，我们提出 MMIR-TCM，这是一个新颖的框架，通过将多模态大语言模型（MLLM）与记忆增强的分割和检索增强生成（RAG）相结合，模拟中医专家的诊断过程。采用三阶段架构，MMIR-TCM 集成了免训练的 Memory-SAM 模块用于稳健的舌体提取、微调的 Qwen3-VL 模型用于结构化舌诊生成，以及基于 Qwen3 的 RAG 组件用于生成基于证据的临床决策支持。该框架使用 MedTCM 进行开发和验证，MedTCM 是我们专门为高级中医研究引入的一个新的大规模多模态数据集。为了正确评估我们框架的临床准确性（现有指标无法捕捉），我们还开发了 TDEU，这是一个领域特定的评估指标，融合了语义理解和诊断重要性。我们的综合实验表明，MMIR-TCM 显著优于领先模型，包括 GPT-4o 和 Gemini 2.5 Flash。

\{IEEEkeywords\}

人工智能，大语言模型，传统中医，舌象分析，临床决策支持系统。

## 1 引言

\\IEEEPARstart

多模态人工智能近期在多项西医影像任务（如胸部 X 光解读和异常检测）中达到了放射科医生级别的性能[1 (https://arxiv.org/html/2607.01814#bib.bib1)]。然而，传统中医——一种建立在整体模式识别和数世纪临床实践之上的诊断范式——在现代人工智能领域仍相对未被充分探索。中医诊断紧密耦合视觉观察（舌象、面色）、听觉与触觉线索（听诊与脉诊）以及文本知识（证候类型、草药性质、经典案例先例）。这种固有的多模态性以及对基于证据的临床决策的需求，使得中医成为多模态模型整合的一个自然而具有挑战性的目标。

在中医四诊（望、闻、问、切）中，舌诊具有特殊的诊断作用。舌体的形态特征（如颜色、形状、润燥）以及舌苔的特征（如颜色、厚薄、质地、分布）与核心的病理生理模式系统性相关[2 (https://arxiv.org/html/2607.01814#bib.bib2)]。例如，淡白舌伴薄白苔可能提示气虚内寒，建议使用补益方剂如*四君子汤*；而红舌伴黄腻苔则提示湿热，需采用清利策略如*龙胆泻肝汤*。临床医生综合舌象视觉线索、病史和经典案例先例，选择个性化的草药处方[3 (https://arxiv.org/html/2607.01814#bib.bib3)]。

尽管舌诊具有临床重要性，但仍面临几个挑战，限制了其可重复性和计算集成性。医师的主观性引入了显著的评估者间和评估者内变异性[4 (https://arxiv.org/html/2607.01814#bib.bib4)]。此外，图像采集条件的变化，如光照（例如色温变化）、背景杂乱（例如衣物、面部特征）和构图不一致（例如舌位、相机角度），会显著降低自动分析流程的可靠性。而且，现有的舌象分析方法[5 (https://arxiv.org/html/2607.01814#bib.bib5)]通常孤立地处理分割或属性分类，而未弥合与临床决策之间的差距，也未将输出基于可验证的知识源。

多模态大语言模型的出现提供了一种有前景的新方法。凭借强大的图像理解能力，MLLM 在多种医学影像任务（包括疾病分类和视觉报告生成）中表现出了竞争性性能。例如，Zhao 等人[6 (https://arxiv.org/html/2607.01814#bib.bib6)]通过将视觉数据与结构化医学知识相结合来微调 MLLM，从而能够在诊断流程中进行临床推理。然而，大语言模型在中医任务中的应用受到缺乏大规模公开可用的多模态数据集的限制。现有资源往往零散，提供的是孤立的元素，如草药处方或舌象图像，而非将图像与诊断和治疗策略配对的完整临床记录[7 (https://arxiv.org/html/2607.01814#bib.bib7)]。

受这些考虑启发，我们提出 MMIR-TCM，一个端到端的多模态框架，模拟经验丰富的中医师的分阶段推理工作流程：记忆集成的舌体区域提取、结构化舌诊生成以及基于检索增强生成的处方生成，该生成将临床决策基于先例和证据。为了支持严格的评估和可重复性，我们构建了 MedTCM，一个反映真实临床多样性的多中心多模态语料库，并引入了 TDEU，一个领域感知的评估指标，旨在评估舌诊输出，同时关注语义保真度和临床重要性。这些组件共同构建了一个系统，不仅能够准确预测舌诊结果，还能将这些预测与可验证的、基于证据的临床建议联系起来。通过将生成过程基于检索到的临床先例和记录的方剂原理，系统提高了事实性、可解释性和临床可审计性，这对于安全的临床部署至关重要。

总之，本工作的主要贡献如下：

1. 1. 我们提出 MMIR-TCM，一个记忆集成的多模态管道，用于中医临床决策支持，集成了免训练的舌体提取、属性级舌诊生成和检索增强的处方生成，以产生基于证据的临床决策支持。
2. 2. 我们构建了 MedTCM，一个大规模多模态中医数据集，包含从多家医院收集的舌象图像、诊断报告和临床处方，以确保多样性和临床相关性。该数据集将公开提供并持续维护。
3. 3. 我们开发了 TDEU，一个领域感知的评估指标，用于舌诊，结合了语义相似性和临床重要性，解决了传统文本匹配指标的限制。

参见图表 图 1：MMIR-TCM 的整体架构。基于 Memory-SAM 的舌体提取器，随后是 Qwen3-VL 舌诊生成器，再之后是基于 Qwen3 的 RAG 处方生成器，模拟专家中医临床工作流程。

## 2 相关工作

### 2.1 中医专用大语言模型

近期的工作通过领域特定的预训练和对齐，使大语言模型适应中医领域。TCMChat[9 (https://arxiv.org/html/2607.01814#bib.bib9)] 证明了在中医语料上持续预训练后进行监督微调，相比通用大语言模型能改善知识回忆和问答表现。互补的基准测试工作已出现以标准化评估：TCMBench[10 (https://arxiv.org/html/2607.01814#bib.bib10)] 整理了 5,473 道执照考试题，并使用 TCMScore 指标评估中医语义一致性（超越表面准确性），揭示当前模型仍有相当大的改进空间。TCMD[11 (https://arxiv.org/html/2607.01814#bib.bib11)] 提供了大规模带标注的问答数据及鲁棒性分析，暴露了在随机扰动下的不一致性。BianCang[12 (https://arxiv.org/html/2607.01814#bib.bib12)] 使用《中国药典》和医院记录实现了一个两阶段学习管道（知识注入后跟目标对齐），展示了在辨证分型任务中的优越性能。这些工作强调了中医特定对齐的价值，尽管过度微调可能损害通用语言能力[10 (https://arxiv.org/html/2607.01814#bib.bib10)]。

对于临床处方推荐，近期工作已从纯粹的 LLM 生成转向知识增强方法。TCM-FTP[13 (https://arxiv.org/html/2607.01814#bib.bib13)] 微调 LLM 用于草药处方预测，并引入了归一化均方误差指标用于剂量预测，直接解决了方剂生成中的量化难题。TCM-KLLaMA[14 (https://arxiv.org/html/2607.01814#bib.bib14)] 将编码草药-症状-禁忌关系的知识图谱与 LLM 生成相结合，使用结构化知识约束来抑制交互风险并提高基础性。

### 2.2 多模态舌诊

舌诊在中医四诊（望、闻、问、切）中占据核心地位，因为舌体的性质（颜色、形状）和舌苔（颜色、厚薄、质地、分布）直接指导辨证分型。早期的计算方法集中于使用传统计算机视觉或深度学习进行分割和属性分类[5 (https://arxiv.org/html/2607.01814#bib.bib5)]，但近期工作已转向多模态融合，共同推理图像和文本临床信息。TongueNet[15 (https://arxiv.org/html/2607.01814#bib.bib15)] 引入了图像-文本融合，在表示空间中施加一致性和互补性约束，实现了病理属性和解剖位置的同时多标签预测。跨模态注意力架构[16 (https://arxiv.org/html/2607.01814#bib.bib16)] 已将其扩展到器官级病理分类，弥合了视觉特征与高级临床推理之间的差距。然而，对这些框架中对采集变化（光照变化、颜色偏差、部分遮挡）的鲁棒性研究仍不充分。

数据集标准化已成为可重复评估的关键推动因素。TCM-Tongue[17 (https://arxiv.org/html/2607.01814#bib.bib17)] 提供了 6,719 张高质量图像，在受控采集条件下带有 20 种病理标注，而 TCMEval-SDT[18 (https://arxiv.org/html/2607.01814#bib.bib18)] 提供了一个辨证分型能力的基准。这些资源有助于多模态模型的系统比较，尽管在光照、压缩和遮挡压力因素下的全面鲁棒性分析仍然有限。

##### 分割对下游诊断的影响。

精确的舌-背景分离被广泛报道可改善经典视觉管道中的下游性能。例如，Xian 等人[19 (https://arxiv.org/html/2607.01814#bib.bib19)] 表明，使用分割作为辅助损失可以增强质量评估和后续诊断阶段。对于细粒度结构，基于分割的方法[20 (https://arxiv.org/html/2607.01814#bib.bib20)] 能够实现稳定的裂纹检测，改进的 TransUNet 变体[21 (https://arxiv.org/html/2607.01814#bib.bib21)] 实现了精确的舌苔分割，从而稳定了特征提取。此外，将质量控制与分割相结合可以在分析之前过滤低质量图像，从而减少变异并提高可重复性。最近的零样本方法如 TongueSAM[22 (https://arxiv.org/html/2607.01814#bib.bib22)] 利用 Segment Anything 模型，无需重新训练即可泛化到不同的采集条件。

### 2.3 用于临床决策支持的检索增强生成

检索增强生成已成为将医学 LLM 输出基于外部知识源的标准方法。通用 RAG 框架[23 (https://arxiv.org/html/2607.01814#bib.bib23)] 检索相关文档以增强生成上下文，提高事实准确性并减少幻觉。在医学领域，出现了专门的架构：ClinicalRAG[8 (https://arxiv.org/html/2607.01814#bib.bib8)] 实现了多智能体工作流程，动态集成结构化代码和非结构化临床笔记；而 LINS[24 (https://arxiv.org/html/2607.01814#bib.bib24)] 通过引用一致性指标增强了循证医学。GraphRAG[25 (https://arxiv.org/html/2607.01814#bib.bib25)] 将检索扩展到图结构知识，支持多跳推理和针对大型私有语料库的查询聚焦摘要。最近的评估[26 (https://arxiv.org/html/2607.01814#bib.bib26)] 确认 RAG 工作流程在临床适当性和紧迫性评估任务中优于纯 LLM。

在中医中，知识源分为经验案例知识（现代电子病历）和规范原则知识（经典文本如*黄帝内经*、*伤寒论*、*本草纲目*）[27 (https://arxiv.org/html/2607.01814#bib.bib27)]。这些来源存在表示不匹配——现代白话与古汉语、症状-证候-方剂分类法——这使统一索引复杂化。PreGenerator[6 (https://arxiv.org/html/2607.01814#bib.bib6)] 通过一个检索→生成的混合体解决了这个问题，首先回忆相似的处方和案例，然后将它们与生成...