MedGuards：用于可靠医疗错误检测与纠正的多智能体系统

# MedGuards：用于可靠医疗错误检测与纠正的多智能体系统  
来源：https://arxiv.org/html/2606.25651  

Congbo Ma 纽约大学阿布扎比分校 & Hu Wang 哈利法大学 & Yichun Zhang 纽约大学 & Farah E. Shamout 纽约大学阿布扎比分校  

###### 摘要  

随着大型语言模型（LLMs）在医疗场景中的部署日益增多，对生成或现有文本进行准确的错误检测与纠正变得至关重要，因为即使是微小错误也可能危及患者安全。现有的错误检测与纠正方法（包括自动检查和基于启发式的方法）在未见过的数据集上泛化能力不足。本文提出**MedGuards**作为医疗安全护栏，这是一个将医疗错误检测与纠正视为多智能体上下文学习任务的新框架。专门化的智能体分别负责检测、定位和纠正错误，同时一个置信度引导的仲裁机制利用推理轨迹和置信度分数解决分歧。该设计增强了可解释性、鲁棒性和适应性，且无需对基础LLMs进行额外训练。此外，我们引入了关键词优先纠正得分（KPCS），这是一种新的评估指标，它考虑参考文本中的关键关键词是否被正确生成，从而提供比传统指标更全面的评估。在四个由临床笔记组成的多语言医疗数据集上的实验表明，所提出的框架在多个指标和模型上均取得了显著改进。我们的目标是使LLMs在真实世界医疗应用中更安全地部署。为便于复现，我们在 https://github.com/congboma/MedErrBench 公开了代码。  

## 1 引言  

大型语言模型（LLMs）在多个医疗领域展现出巨大潜力，包括临床文档（Han 等，2024 (https://arxiv.org/html/2606.25651#bib.bib23)；Williams 等，2025 (https://arxiv.org/html/2606.25651#bib.bib22)）、诊断辅助（Yang 等，2024a (https://arxiv.org/html/2606.25651#bib.bib24)；Liu 等，2025 (https://arxiv.org/html/2606.25651#bib.bib25)）以及个性化治疗建议（Yang 等，2024b (https://arxiv.org/html/2606.25651#bib.bib20)；Aththanagoda 等，2025 (https://arxiv.org/html/2606.25651#bib.bib21)）。它们生成连贯且语境相关的医疗文本的能力引起了人们对辅助医疗服务的浓厚兴趣（Yang 等，2022 (https://arxiv.org/html/2606.25651#bib.bib17)；Thirunavukarasu 等，2023 (https://arxiv.org/html/2606.25651#bib.bib18)；Naveed 等，2025 (https://arxiv.org/html/2606.25651#bib.bib19)）。现有的LLMs应用通常缺乏专门的错误检测与纠正机制，这一缺陷在高风险临床环境中尤为关键（Abacha 等，2025 (https://arxiv.org/html/2606.25651#bib.bib55)）。确保现有或生成内容的临床正确性和安全性仍然是一个紧迫且尚未解决的挑战。当前的质量控制方法侧重于在语义层面评估输出，这对于需要深层结构理解和临床推理的错误来说是不够的（de Hond 等，2024 (https://arxiv.org/html/2606.25651#bib.bib9)；Strong 等，2025 (https://arxiv.org/html/2606.25651#bib.bib10)）。  

为解决上述问题，我们将医疗错误检测与纠正构建为一个多智能体上下文学习问题。我们的动机来自两方面。首先，错误纠正过程包含检测、定位和纠正的逐步推理。这种结构很好地契合了情景范式以及思维链（CoT）推理（Wei 等，2022 (https://arxiv.org/html/2606.25651#bib.bib69)），两者都将复杂推理分解为可解释的、上下文感知的步骤。其次，医疗应用要求高可靠性，而依赖单一模型在分布外场景中可能难以确保，因为单一模型容易受到不确定性、偏差或失败的影响（Hong 等，2024 (https://arxiv.org/html/2606.25651#bib.bib4)；Atf 等，2025 (https://arxiv.org/html/2606.25651#bib.bib3)）。受自一致性（Wang 等，2023 (https://arxiv.org/html/2606.25651#bib.bib28)）的启发，我们提出多个专门化智能体分别计算预测，然后在必要时聚合它们的输出，从而降低预测方差并提高鲁棒性。我们还利用了上下文学习（ICL）（Xu 等，2024 (https://arxiv.org/html/2606.25651#bib.bib11)），允许智能体将同伴智能体的推理轨迹和置信度分数直接纳入其提示中。通过结合这三个原则——用于任务分解的CoT、用于性能鲁棒性的自一致性、以及用于自适应决策的ICL——我们设计了一个既有可解释性又在医疗错误检测与纠正中实际有效的原则性框架。  

在评估方面，现有的自然语言处理指标（如BLEU（Papineni 等，2002 (https://arxiv.org/html/2606.25651#bib.bib41)）、ROUGE（Lin，2004 (https://arxiv.org/html/2606.25651#bib.bib42)）和BERTScore（Zhang 等，2020 (https://arxiv.org/html/2606.25651#bib.bib43)））在计算生成文本与参考文本的相似度时平等对待每个词元。然而，这种词元级别的平等假设引入了一个关键限制：这些指标未能考虑不同词元的重要性差异，尤其是那些代表参考文本中关键临床实体的词元。因此，即使整体相似度分数很高，也可能忽略重要术语的生成错误。例如，一个模型可能会根据患者症状生成怀疑的病原体为：“患者的症状疑似由甲型肝炎引起”，而参考文本是“患者的症状疑似由曼氏血吸虫引起”。尽管周围句子基本未变，但诊断实体本身截然不同。这些临床关键实体（如病原体或诊断）在决定纠正是否具有临床意义方面起着决定性作用。因此，将每个词元同等对待可能不足以可靠地评估生成的临床笔记的质量。  

本文提出了一种系统的错误检测与纠正方法，旨在提高可靠性并促进LLMs在临床环境中的更安全部署。我们还提出了一种新的评估指标，该指标强调参考文本中关键临床实体的识别与验证。我们的主要贡献可总结如下：  

- • 我们设计了**MedGuards**，这是首个专门用于医疗错误检测与纠正的多智能体系统。**MedGuards**由三个协作模块组成：检测、定位和纠正。每个智能体专攻一个子任务，系统即插即用、高度灵活，易于与现有的基于LLM的医疗智能体集成，无需额外重新训练。该设计还提供了细粒度的可解释性，并支持在多样化医疗领域进行可扩展部署。  
- • 我们提出了一种置信度引导的ICL框架，用于在出现分歧时达成共识。具体而言，当两个智能体输出冲突的预测时，它们的推理步骤和置信度分数被传递给第三个决策智能体，由该仲裁智能体裁决冲突。这提高了不确定场景下的鲁棒性，从而实现更可靠的错误纠正。  
- • 我们引入了一个新的评估指标，该指标优先考虑领域关键的医疗关键词。与传统指标平等对待所有词元不同，所提出的指标检查参考文本中的关键关键词是否被正确生成，并评估整体语义。这种平衡设计更好地反映了医疗错误纠正的临床安全性和可靠性要求。  
- • 我们在四个数据集上对我们的系统进行了广泛评估，涵盖三种语言（英语、阿拉伯语和中文），并显示与强基线相比的一致改进，证明了该方法在多样化医疗场景中的泛化能力和鲁棒性。  

## 2 相关工作  

### 2.1 医疗错误检测、纠正与评估  

MEDIQA-CORR 2024 共享任务（Abacha 等，2024 (https://arxiv.org/html/2606.25651#bib.bib38)）的发布为医疗错误检测与纠正提供了第一个基准。提交的系统包括基于提示的LLM（结合少样本ICL和CoT推理）（Wu 等，2024b (https://arxiv.org/html/2606.25651#bib.bib64)；Rajwal 等，2024 (https://arxiv.org/html/2606.25651#bib.bib65)）以及检索增强的管线（将纠正基于外部知识）（Lewis 等，2020 (https://arxiv.org/html/2606.25651#bib.bib39)）。一项研究提出了一个将分类器与问答（QA）风格模块相结合的混合框架（Saeed，2024 (https://arxiv.org/html/2606.25651#bib.bib66)），而另一项研究的作者利用多个专家提示和自一致性来提高鲁棒性（Wang 等，2022 (https://arxiv.org/html/2606.25651#bib.bib40)）。该共享任务中的评估依赖于BLEU（Papineni 等，2002 (https://arxiv.org/html/2606.25651#bib.bib41)）、ROUGE（Lin，2004 (https://arxiv.org/html/2606.25651#bib.bib42)）以及基于嵌入的指标（如BERTScore（Zhang 等，2020 (https://arxiv.org/html/2606.25651#bib.bib43)））。然而，当事实准确性和领域特定术语至关重要时，这些指标与专家判断的一致性较弱（Novikova 等，2017 (https://arxiv.org/html/2606.25651#bib.bib44)；Maynez 等，2020 (https://arxiv.org/html/2606.25651#bib.bib45)；Fabbri 等，2021 (https://arxiv.org/html/2606.25651#bib.bib46)）。领域适应指标弥补了这一差距。CUI F值衡量UMLS概念的重叠（Gao 等，2022 (https://arxiv.org/html/2606.25651#bib.bib47)），SapBERTScore利用生物医学嵌入捕捉术语相似度（Liu 等，2020 (https://arxiv.org/html/2606.25651#bib.bib48)），而Clinical-BLEURT将BLEURT适应于临床摘要和对话（Croxford 等，2024 (https://arxiv.org/html/2606.25651#bib.bib49)）。总体而言，这些指标是为更广泛的临床NLP开发的，而非专门针对错误检测与纠正，目前尚缺乏一个标准化的框架来优先考虑领域关键实体。  

### 2.2 医疗多智能体系统  

多智能体系统已被研究作为改进LLM推理、可靠性和可解释性的一种方式。通用框架将任务分解、实现辩论或使用仲裁来聚合推理轨迹（Wu 等，2024a (https://arxiv.org/html/2606.25651#bib.bib53)；Li 等，2023 (https://arxiv.org/html/2606.25651#bib.bib54)；Yao 等，2023 (https://arxiv.org/html/2606.25651#bib.bib52)；Wang 等，2022 (https://arxiv.org/html/2606.25651#bib.bib40)）。最近的工作将这些思想适应临床环境，设计用于诊断和决策支持的智能体团队（Yue 等，2024 (https://arxiv.org/html/2606.25651#bib.bib56)；Kim 等，2024 (https://arxiv.org/html/2606.25651#bib.bib57)）、临床模拟与评估（Schmidgall 等，2024 (https://arxiv.org/html/2606.25651#bib.bib58)）、罕见病或知识图谱感知的鉴别诊断（Zuo 等，2025 (https://arxiv.org/html/2606.25651#bib.bib59)；Chen 等，2024 (https://arxiv.org/html/2606.25651#bib.bib60)），以及放射学报告生成（包含放射科医生在环的智能体）（Yi 等，2025 (https://arxiv.org/html/2606.25651#bib.bib61)）。这些方法凸显了多智能体协调在临床NLP中的前景，但尚无专门为医疗错误检测与纠正设计。系统性地使用仲裁来识别、定位和纠正错误仍未得到充分探索。  

参见图注  

图1：MedGuards高级概览。  

## 3 方法  

我们将医疗错误检测与纠正构建为一个多智能体推理问题，其中多个专门化智能体协作分析、辩论并改进解决方案。我们的系统不仅仅是顺序管线，而是基于我们认为对使用LLM的多智能体系统至关重要的三个核心原则：  

- **原则1**：CoT分解更明确地阐述中间推理步骤，模拟临床推理过程。  
- **原则2**：多智能体自一致性利用多个智能体，其输出可以比较、辩论，从而减少依赖单一智能体预测的脆弱性。  
- **原则3**：基于ICL的仲裁使智能体能够根据其他智能体的推理轨迹和置信度分数来调整判断，从而促进更稳健的决策。  

我们假设这三个原则能够在无需额外模型训练的情况下实现元级别推理。通过结合这些原则，我们不仅将医疗错误纠正视为一个实用系统，也将其视为LLM研究中可泛化推理范式的实例。以下各节详细阐述方法细节。MedGuards的高层概览和完整算法如图1 (https://arxiv.org/html/2606.25651#S2.F1) 和算法1 (https://arxiv.org/html/2606.25651#alg1) 所示。  

### 3.1 CoT引导的任务分解  

遵循CoT范式，我们将整体任务分解为三个推理阶段。  

##### 错误检测。  
第一步，记为 \( f^{\text{Det}} \)，多个智能体协作检测输入临床笔记 \( x \) 中是否存在错误，即 \( d = f^{\text{Det}} \)，其中 \( d \in \{0,1\} \) 表示是否存在错误。  

##### 错误定位。  
第二步，多智能体系统的目标是利用多智能体错误定位函数 \( f^{\text{Loc}} \) 识别包含错误的句子 \( s \subset x \)，即 \( s = f^{\text{Loc}}(x \mid d) \)。  

##### 错误纠正。  
最后一步，智能体需要生成错误句子的纠正版本 \( \hat{s} \)。一旦定位到错误句子集 \( s \)，专门的纠正智能体（函数 \( f^{\text{Corr}} \)）将生成纠正版本 \( \hat{s} \)，即 \( \hat{s} = f^{\text{Corr}}(s \mid x) \)。正式地：  

\[
d = f^{\text{Det}}(x), \quad s = f^{\text{Loc}}(x \mid d), \quad \hat{s} = f^{\text{Corr}}(s \mid x).
\]  

(1)  

这种分解将任务结构与CoT推理对齐，确保明确的中间步骤。  

**输入：** 临床笔记 \( x \)  
**输出：** 纠正后的句子集 \( \hat{s} \)（如果存在错误）  

初始化错误检测智能体 \( \text{Agent}_i^{\text{Det}} \)，其中 \( i \in \{1,2\} \)  

1. **错误检测步骤 (\( f^{\text{Det}} \))**   \(\triangleright\) 智能体处理输入文本  
   \[
   (d_i, r_i^{\text{Det}}, c_i^{\text{Det}}) \leftarrow \text{Agent}_i^{\text{Det}}(x), \quad i \in \{1,2\}
   \]  
   如果 \( d_1 == d_2 \):  
   \[
   d \leftarrow d_1
   \]  
   否则，初始化并调用仲裁智能体：  
   \[
   d \leftarrow \text{Agent}_3^{\text{Det}}\big(x \,\|\, (d_1, r_1^{\text{Det}}, c_1^{\text{Det}}), (d_2, r_2^{\text{Det}}, c_2^{\text{Det}})\big)
   \]  

2. **错误定位步骤 (\( f^{\text{Loc}} \))**   \(\triangleright\) 如果 \( d=1 \) 则初始化  
   \[
   (s_i, r_i^{\text{Loc}}, c_i^{\text{Loc}}) \leftarrow \text{Agent}_i^{\text{Loc}}(x), \quad i \in \{1,2\}
   \]