从ML预测到基于Toulmin论证模型的知情诊断辅助

# 从机器学习预测到基于图尔敏论证模型的有依据诊断辅助

来源：https://arxiv.org/html/2607.09664
安卡·马尔吉内安 ORCID: 0000-0001-8426-588X (https://orcid.org/0000-0001-8426-588X)
阿德里安·格罗扎 ORCID: 0000-0003-0143-5631 (https://orcid.org/0000-0003-0143-5631)
罗马尼亚克卢日-纳波卡技术大学人工智能研究所 AIRi@UTCN

###### 摘要

为提供结构化且可解释的评估，我们将基于图像的诊断分解为遵循图尔敏论证模型的各个组成部分。该模型包含主张、依据、保证、限定词、反驳和佐证。以机器学习模型生成的视网膜诊断主张为例，与其直接接受该主张，我们可以选择应用可解释人工智能方法，或采用基于论证的方法。在我们的框架中，专门从图像中提取生物标志物的模型提供依据。保证——将依据与主张联系起来的部分——由具备医学知识的智能体进行分析；在我们的架构中，这一角色由 MedGemma 智能体承担。限定词则基于对保证模型和依据模型的整体定量评估来确定。最后，利用 MedSigLip 计算的图像相似度度量构建反驳。所有这些组成部分均呈现给人类专家，使其能够对机器学习生成的诊断进行更具信息量和批判性的评估。

关键词：图尔敏论证模型；MedGemma；视网膜诊断；目标检测

## 1 引言

人们对能够提供透明且基于证据的推理的人工智能方法的兴趣日益增长。论证框架非常适合这一目标，因为它明确连接了观察、假设和结论，同时还能表示不确定性和反证。图尔敏论证模型尤为相关，它通过主张、依据、保证、限定词、反驳和佐证等组成部分来结构化推理。

在本工作中，我们探索将图尔敏模型应用于多模态视网膜图像评估系统。我们的方法结合了从 OCT 扫描中自动提取生物标志物、检索视觉上相似的参考案例，以及由医学大语言模型执行的推理。通过将这些异构信息源组织成连贯的论证结构，该系统旨在为临床医生提供更具可解释性的评估过程。我们在两个任务上评估了所提出的系统：T1) 给定 OCT 图像，判断患者是否患有年龄相关性黄斑变性；T2) 给定来自 AMD 患者的 OCT 图像，识别疾病分期。

## 2 参考案例

为了构建我们的参考案例集，我们使用了 OCT 采集设备制造商 Heidelberg 提供的 OCT 培训手册中的案例。

每个案例包括一张眼底图像、一张 OCT 图像、一份与结构化 OCT 评估相对应的发现列表、一份临床解释，以及一张突出显示检测到的改变的视觉注释图像。这些改变可能位于视网膜的不同区域：RPE 下、视网膜下、视网膜内以及视网膜上/前视网膜区域。对于每个识别出的改变，都提供了文本描述。图1 (https://arxiv.org/html/2607.09664#S2.F1) 展示了这样一个案例（案例3）的示例。

我们提取了所有案例，并构建了包含 93 个案例的 *RefC\_\_dataset* 数据集。我们选择 OCT 培训手册，是因为它作为 OCT 评估的参考指南，并不专注于任何单一的视网膜疾病。此外，与大多数公开可用的 OCT 数据集不同，这些案例提供了关于改变外观的详细信息，以及清晰的视觉注释表明其定位和解释。这些信息共同对人类专家非常有帮助。该数据集的目的是在两个方面支持诊断过程：首先，帮助验证或细化生物标志物识别；其次，支持将生物标志物与诊断或分期信息联系起来的推理。

参见图注

参见图注

参见图注

参见图注

图1：OCT 培训文档中包含的案例3：原始 OCT 图像、结构化的发现结果、改变的可视化以及解释。

## 3 生物标志物提取模型

表1：来自 Ardelean 等人 (2025 (https://arxiv.org/html/2607.09664#bib.bib7)) 的 YOLOE 模型评估子集

我们使用两个公开可用的生物标志物提取模型 Ardelean 等人 (2025 (https://arxiv.org/html/2607.09664#bib.bib7))。这两个模型都基于 YOLOE，并在两个不同的 OCT 数据集上进行了训练：AROI Melinščak 等人 (2021 (https://arxiv.org/html/2607.09664#bib.bib4)) 和 OCT5K Arikan 等人 (2025 (https://arxiv.org/html/2607.09664#bib.bib6))。

AROI 数据集包含来自 AMD 患者的 OCT 扫描，而 OCT5k 涵盖了更广泛的视网膜病理，包括 AMD 和 DME（糖尿病性黄斑水肿）。在 AROI 上训练的 YOLOE 检测三种生物标志物：SRF（视网膜下液）、IRF（视网膜内液）和 PED（色素上皮脱离）。在 OCT5k 上训练的模型针对九种生物标志物，包括软性玻璃膜疣、硬性玻璃膜疣、视网膜液、地理萎缩和脉络膜皱褶。根据 Ardelean 等人 (2025 (https://arxiv.org/html/2607.09664#bib.bib7)) 报告中评估（表1 (https://arxiv.org/html/2607.09664#S3.T1)），在 AROI 上训练的 YOLOE 在 PED、SRF 和 IRF 检测上取得了良好性能，尽管非常小的 IRF 区域有时可能被遗漏。相比之下，在 OCT5k 上训练的模型整体性能较低。

一个重要观察是 PED 与玻璃膜疣之间的关系：一旦玻璃膜疣大小急剧增加，或多个玻璃膜疣融合，产生的改变称为玻璃膜疣样 PED。还有另外两种类型的 PED：纤维血管性 F-PED 和浆液性 S-PED。因此，AROI 数据集和 AROI 模型并不区分 PED 类型，倾向于将任何大小的玻璃膜疣视为 PED。这一观察非常重要，因为 AMD 的分期取决于 PED 的存在与否。图2 (https://arxiv.org/html/2607.09664#S3.F2) 显示了 YOLOE AROI 和 OCT5k 模型在图1 (https://arxiv.org/html/2607.09664#S2.F1) 中包含的案例上的检测结果。可以观察到，OCT5k 模型正确识别了玻璃膜疣（硬性或软性），而 AROI 模型将所有玻璃膜疣视为 PED。

参见图注

图2：YOLOE 模型（左：AROI，右：OCT5k）对案例3（图1 (https://arxiv.org/html/2607.09664#S2.F1)）的检测结果。对于 AROI 模型，红色 = PED。对于 OCT5k 模型，蓝色 = 硬性玻璃膜疣，红色 = 软性玻璃膜疣。

我们在参考案例上评估了 YOLOE AROI 模型。在我们的参考案例中，没有可用的注释边界框。因此，每当在给定的发现中提及相应的生物标志物时，我们认为存在 PED、IRF、SRF。图像级别的精确率和召回率报告在表3 (https://arxiv.org/html/2607.09664#S3) 中。正如预期，PED 显示出低精确率但高召回率。该模型经常将玻璃膜疣或其他 RPE 变化与 PED 混淆，这在解剖学上是合理的，因为两者都涉及 RPE 抬高，并且 AROI 数据集没有明确强调玻璃膜疣与 PED 之间的区别。我们还观察到，在阈值 0.5 下，PED 假阴性数量相较于阈值 0.25 大幅增加。对这些 FN 样本的手动审查显示，PED 始终与其他位于 RPE 附近的改变一起出现。这些观察随后被纳入我们限定词的构建中。

表2：YOLOE AROI 模型在参考案例 *RefC\_\_Dataset* 上的图像级别评估

![未标注图像](https://arxiv.org/html/2607.09664v1/fig/case28_1.png)

![未标注图像](https://arxiv.org/html/2607.09664v1/fig/case13_1.png)

图3：与案例3最接近的案例：案例28（左）相似度 0.955。案例13（右）相似度 0.954。

## 4 系统架构

我们提出了一个系统（图4 (https://arxiv.org/html/2607.09664#S4.F4)），该系统 (i) 检测输入图像中的证据并总结检测结果（依据），(ii) 从参考案例数据集中检索视觉上相似的案例（反驳），(iii) 基于对检测和检索模块的整体评估提供文本限定词。然后将这些信息提供给 MedGemma 进行推理。提取的证据和生成的推理都呈现给人类专家。

MedGemma 是 Gemma 大语言模型的医学适配版本。多模态变体包括一个在医学数据（包括眼科图像，主要是眼底图像）上预训练的 SigLIP 图像编码器。大语言模型组件不仅在医学问答对上进行了训练，还在医学文本、健康记录和医疗记录理解任务上进行了训练。我们使用来自 Huggingface 的多模态变体 27B 的 4 位量化，无需任何额外微调。

参见图注

图4：系统架构

### 4.1 依据 - 生物标志物检测模型

我们推理的依据通过两个 YOLOE 检测模型提取。原始 YOLOE 检测结果（边界框、置信度、类别和计算面积）通过 Claude Opus 4.7 转换为简洁、对医生友好的语言，基于数量、相对位置、置信度解释。例如，来自图2 (https://arxiv.org/html/2607.09664#S3.F2) 的 AROI 模型检测结果被总结为“视网膜中部有九个 PED（一个大的，几个中等大小，几个小的），大多数在中央区域高置信度，周边区域低置信度。”提供给 MedGemma 的文本包括原始检测结果和总结后的结果。

### 4.2 反驳 - 相似性案例检索 (MedSigLIP)

MedSigLIP 是 SigLIP 视觉-语言模型的医学领域适配版本，旨在将医学图像和文本对齐到共享嵌入空间中。它并非专门在 OCT 图像上训练。我们使用 MedSigLIP 检索与查询扫描视觉相似的 OCT 参考案例。对于每个参考案例，MedSigLIP 图像嵌入、发现结果和解释都存储在 OpenSearch 中。使用 OpenSearch 的优势在于可以实现三种检索模型：仅向量、仅文本和混合检索。

例如，当我们从 *RefC\_\_dataset* 中对案例3（图1 (https://arxiv.org/html/2607.09664#S2.F1)）使用仅向量检索时，最接近的2张图像对应于案例28和案例13（图3 (https://arxiv.org/html/2607.09664#S3.F3)）。可以观察到发现结果是相似的。然而，当分析解释时，很明显图像中的微小差异对应着解释上的显著差异。三个案例的诊断都是 AMD，但案例3和案例13的疾病分期可能是“晚期”，而案例28是“中期”。

### 4.3 限定词 - 整体性能评估

作为我们论证的限定词组成部分，我们考虑以下观察。
O1：*AROI 模型不区分 SRF 和 SRHM（视网膜下高反射物质），因此它们被共同标注为 SRF。*
O2：*AROI 模型具有以下性能...*（来自表3 (https://arxiv.org/html/2607.09664#S3) 的值）。*因此，该模型将玻璃膜疣/RPE 变化与 PED 混淆。IRF 的预测质量非常好。*
O3：*OCT5k 模型在软性玻璃膜疣和软性玻璃膜疣 PED 上具有非常好的精确率，但召回率较低。*
O4：*给出的相似案例可能不正确，因为案例集很小。主要使用给出的相似案例来纠正提取的生物标志物列表；不要过分依赖相似案例的解释。*

## 5 实验与评估

为了对我们的框架进行自动定量评估，我们在从 OCTDL 数据集 Kulyabin 等人 (2024 (https://arxiv.org/html/2607.09664#bib.bib5)) 中提取的 200 个案例上进行了五项实验。我们使用了来自 AMD 类别的 100 张图像和来自 DME 类别的 100 张图像。对于 AMD 诊断，OCTDL 还包括分期注释：早期、中期和晚期。

第一个实验 (Exp0) 测量了 MedGemma 在除 OCT 扫描外没有额外信息的情况下解决 T1 和 T2 的能力。接下来的四个实验在反驳和限定词方面有所不同。在 Exp1 中，反驳包括排名前三的检索案例，但仅在相似度高于 0.93 时才包含。不包含限定词。在 Exp2 中，反驳与 Exp1 类似，但我们为限定词包含了前三个观察。在 Exp3 中，限定词与 Exp2 相同，但未提供相似案例（因此无反驳）。在 Exp4 中，反驳包括排名前三的案例，无基于阈值的条件。限定词包括所有四个观察。

表3 (https://arxiv.org/html/2607.09664#S5.T3) 报告了 T1 和 T2 的精确率和召回率。可以观察到，仅 MedGemma 在 T0 和 T1 上都获得了最弱的整体性能，表明提供外部提取的信息是必要的。检索到的相似案例的贡献表明还有改进空间。对于 T1，Exp1 和 Exp3（其中相似案例受到限制或不存在）在精确率和召回率之间取得了最佳平衡。然而，对于 T2，结合谨慎限定词的反驳似乎对晚期 AMD 特别有益。早期 AMD 获得最弱的性能，这是因为 AROI 模型不区分玻璃膜疣和 PED，而在 AMD 中，PED 是一个重要的发现，会使诊断超出早期 AMD 的范围。

表3：系统在 T1 和 T2 上的定量评估

## 6 讨论与结论

论证、正当理由和解释的概念是相关的，但并不相同。论证是在可能存在分歧的情况下捍卫某一立场的更广泛过程。正当理由更窄：它为接受某一立场提供支持，而解释则增加对某一立场、过程或事件的理解。

论证与解释之间的互补性体现在临床医生同时基于证据和理解来做决定 Letia 和 Groza (2012 (https://arxiv.org/html/2607.09664#bib.bib2))。例如，图像衍生的生物标志物为诊断主张提供了证据，但当这些发现如何与潜在视网膜病理相关的解释相伴时，这些证据更有意义。反之，仅有疾病机制的解释而没有合理的视觉证据也是不够的。Zhan 等人 Zhan 等人 (2026 (https://arxiv.org/html/2607.09664#bib.bib1)) 提出了一种训练流程，其中课程目标条件学习训练大语言模型以明确遵循这种图尔敏结构生成诊断论证。然而，它主要关注基于文本的临床推理和大语言模型训练。

相比之下，我们认为不仅输出的推理，对于给定案例提供给大语言模型的信息也应该按照图尔敏结构组织。通过采用这样的框架，外部模型可以作为互补的证据源被集成，用基于图像的发现和其他专门分析来扩展大语言模型的内部知识。在我们的案例中，多模态大语言模型（MedGemma）并未专门在 OCT 扫描上进行训练，但它拥有视网膜解剖学知识。