关注工具故障：实现医疗代理的协同工具增益

# 留意工具失败：为医疗智能体实现协同工具增益

**来源：** https://arxiv.org/html/2605.26691

Yunhui Gan¹,²,³, Tan Pan¹,²,⁵¹¹footnotemark:1, Kaiyu Guo⁴,², Limei Han¹,², Weimiao Yu⁵, Guangnan Ye¹,³, Chen Jiang¹,²²²footnotemark:2, Yuan Cheng¹,²,³²²footnotemark:2  
¹复旦大学  
²上海科学智能研究院  
³上海创新研究院  
⁴昆士兰大学  
⁵生物信息学研究所 (BII)，科技研究局 (A*STAR)  
\{yhgan23,pant23\}@m.fudan.edu.cn  
[email protected], [email protected], [email protected]

###### 摘要

医疗AI智能体越来越多地使用外部工具进行诊断、治疗推荐和证据检索，但大多数现有方法假设适用于任务的工具在其预期范围内是可靠的。这一假设在真实临床环境中是脆弱的，因为即使相关工具也可能在具有挑战性的实例上失败，并导致不安全的后续决策。为了解决这个问题，我们研究了在不完美工具设置下的医疗工具使用，以纠正被单个工具遗漏的失败实例。实例相关的失败模式在最佳固定单一工具和理想的实例级选择器之间产生了差距，我们将其称为单预言风险差距。核心挑战在于，传统的任务级工具选择无法实现这一差距，因为它本质上受限于最佳单一工具的性能。受此观察启发，我们因此考虑了实例级异质性，并将工具使用形式化为一个实例级选择问题。特别地，我们提出了一个基于GRPO的强化学习框架，其奖励设计用于概率风险最小化和分歧感知协同学习，从而促进对错误工具共识的实例级纠正。此外，采用了一种熵引导的采样策略，以增加高分歧实例的权重，这些实例为学习实例特定的工具协同提供了更强的信号。这两个组件在缓解实例级异质性和改进工具协同方面相互补充。在两个任务和七个医疗基准上的实验表明，我们的方法在广泛的基线上持续实现了稳健且稳定的改进，突显了协同感知工具使用对可靠医疗智能体系统的重要性。

## 1 引言

智能体系统的最新进展日益强调智能体使用、选择和进化外部工具的能力Yao等人 (2022 (https://arxiv.org/html/2605.26691#bib.bib28)); Schick等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib29)); Fallahpour等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib30))。现有研究Shen等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib31)); Qian等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib32)) 通常专注于为给定任务识别合适的工具，或将复杂任务分解为对具有不同功能角色的工具调用。这种范式使智能体能够扩展其能力，并解决需要外部计算、检索或专门操作的任务Paranjape等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib33)); Wang等人 (2025b (https://arxiv.org/html/2605.26691#bib.bib34))。虽然在许多设置中有效，但现有的工具使用范式通常假设工具在其预期范围内是可靠的，忽略了由实例级异质性引起的失败。这个问题在医疗智能体中尤为关键，因为工具失败可能导致不安全的后续决策Habli等人 (2020 (https://arxiv.org/html/2605.26691#bib.bib35)); Fallahpour等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib30))。例如，在胸部X光诊断中，检测心脏增大的工具可能在浑浊或胸腔积液上失败，而另一个工具可能表现出相反的模式。这种非重叠的失败源于异质的临床实例以及由不同架构和训练数据引入的工具特定偏差。因此，依赖单一工具是有风险的，但这些异质的失败模式也揭示了工具之间的潜在互补性。如图1 (https://arxiv.org/html/2605.26691#S1.F1)(a) 所示，每个工具都能独特地解决被其他工具遗漏的实例，这表明没有单一工具是普遍占优的，利用实例级互补性可以恢复超出最佳个体工具的额外正确预测。我们可视化了工具在数据集CheXpertIrvin等人 (2019 (https://arxiv.org/html/2605.26691#bib.bib2)) 和 MIMIC-CXRJohnson等人 (2019 (https://arxiv.org/html/2605.26691#bib.bib25)) 上的边际预言111预言是一个理想的评估者，知道正确答案，用于估计可用候选中最佳可能性能Malmas等人 (2015 (https://arxiv.org/html/2605.26691#bib.bib36))。准确率。如图1 (https://arxiv.org/html/2605.26691#S1.F1)(b) 所示，随着更多互补工具的加入，预言准确率稳步提升，显著超过最佳单一工具性能。这进一步表明工具集包含了实例级互补性，并且添加具有不同失败模式的工具可以逐步提高预言上限。

实例相关的失败模式在最佳固定单一工具和理想的实例级选择器之间产生了差距。先前的任务级工具选择方法Yao等人 (2022 (https://arxiv.org/html/2605.26691#bib.bib28)); Qian等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib32)); Fallahpour等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib30)) 关注聚合工具性能，忽视了任务分布内的实例级异质性。如图1 (https://arxiv.org/html/2605.26691#S1.F1) 所示，因此，它未能完全实现预言性能所指示的潜在增益，这促使我们开发一种实例级策略，为每个实例利用工具互补性。

基于这些观察，我们从聚合和实例两个层面分析了工具行为。我们定义了单预言风险差距来描述最佳单一工具策略与预言工具集之间的性能差异。受此风险差距的启发，我们提出了CSRL，一个基于GRPO Shao等人 (2024 (https://arxiv.org/html/2605.26691#bib.bib27)) 的协同强化学习框架。CSRL 优化了针对概率风险最小化和分歧感知协同学习设计的奖励。具体来说，我们引入了用于概率风险最小化（基于Brier损失）的Brier奖励，以及一个覆盖奖励，鼓励在分歧实例中做出正确决策并促进协同学习。此外，我们引入了熵引导采样，通过增加高分歧实例的权重来构建异质训练批次，从而为实例特定的协同提供更强的监督。CSRL的实验结果表明，构建的工具集可以实现超越最强独立工具的协同增益。性能较低的工具仍然可以通过覆盖被更强工具遗漏的实例，提供有价值的边际贡献。同时，随着工具集规模的增长，性能改进呈现出递减的效应，表明增益与推理成本之间存在权衡。

参见图例图 1：(a) 工具互补性分析，其中每个数字表示被相应工具正确识别的实例数量；(b) CheXpert 和 MIMIC-CXR 上的边际预言增益；(c) 任务级与实例级工具选择的差异。

我们的贡献可概括如下：
- • 我们研究了医疗智能体系统中的工具失败，并探讨如何构建一组具有协同作用的不完美工具。跨工具、模型和数据集的扩展性分析为工具、数据集和模型选择提供了实用指南。
- • 在单预言风险的指导下，我们开发了CSRL，一个协同强化学习框架，结合了熵引导采样以及用于概率风险最小化和分歧感知协同学习的奖励，实现了超越最佳单一工具的性能。
- • 在两个任务和七个数据集上，学习到的协同一致地优于独立工具、静态基线以及通用和专门的多模态大语言模型，在准确率上平均提升7.5%，在F1上平均提升6.8%。

## 2 相关工作

### 2.1 工具增强智能体与工具选择

智能体系统的最新进展使多模态大语言模型（MLLMs）能够与外部工具Schick等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib29)); Yao等人 (2022 (https://arxiv.org/html/2605.26691#bib.bib28))、APIs Patil等人 (2024 (https://arxiv.org/html/2605.26691#bib.bib37)); Li等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib38)) 和专门模型Shen等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib31)); Wu等人 (2023b (https://arxiv.org/html/2605.26691#bib.bib39)) 进行交互，以解决超出其参数化知识的任务。早期工作，如ReActYao等人 (2022 (https://arxiv.org/html/2605.26691#bib.bib28)) 和ToolformerSchick等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib29))，表明语言模型可以将推理与工具调用交织在一起，而后续系统，包括HuggingGPTShen等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib31))、ARTParanjape等人 (2023 (https://arxiv.org/html/2605.26691#bib.bib33))、Search-R1Jin等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib26)) 和ToolRLQian等人 (2025 (https://arxiv.org/html/2605.26691#bib.bib32))，进一步探索了工具规划、多步执行和强化学习用于工具使用。这些方法通常专注于决定为给定任务调用哪个工具，或者如何将复杂指令分解为一系列工具调用。

### 2.2 医疗视觉语言模型与诊断工具

医疗AI智能体越来越多地整合外部诊断模型、检索系统和领域特定推理模块，以支持临床问答、放射学解读、分诊和治疗推荐（Fallahpour等人, 2025 (https://arxiv.org/html/2605.26691#bib.bib30)）。在胸部X光分析中，专门模型如CheXzeroTiu等人 (2022 (https://arxiv.org/html/2605.26691#bib.bib9))、MedKLIPWu等人 (2023a (https://arxiv.org/html/2605.26691#bib.bib11))、CheXagentChen等人 (2024c (https://arxiv.org/html/2605.26691#bib.bib24)) 和有监督的DenseNet变体Cohen等人 (2020 (https://arxiv.org/html/2605.26691#bib.bib23)) 为不同疾病和数据集提供了有用的诊断信号Rajpurkar等人 (2017 (https://arxiv.org/html/2605.26691#bib.bib40))。最近，通用和医疗多模态大语言模型（MLLMs）在多模态医学推理任务上展示了有前景的性能（Chen等人, 2024b (https://arxiv.org/html/2605.26691#bib.bib41); Sellergren等人, 2025 (https://arxiv.org/html/2605.26691#bib.bib15); Xu等人, 2025 (https://arxiv.org/html/2605.26691#bib.bib16)）。

### 2.3 用于工具使用智能体的强化学习

强化学习最近被用于改善语言模型智能体在涉及离散动作、结构化输出、延迟反馈和不可微分外部环境设置中的决策行为。在搜索增强推理中，策略优化被用于训练智能体发出搜索查询、整合检索到的证据，并通过多步交互生成最终答案（Jin等人, 2025 (https://arxiv.org/html/2605.26691#bib.bib26)）。在工具使用设置中，奖励驱动的优化进一步使语言智能体能够根据任务反馈学习何时以及如何调用外部工具，而不是仅仅依赖监督演示或手工制作的工具使用轨迹（Qian等人, 2025 (https://arxiv.org/html/2605.26691#bib.bib32)）。除了工具调用本身，最近用于语言模型的强化学习方法探索了可扩展的策略优化算法，这些算法对同一输入的多个采样响应进行比较。近端策略优化（PPO）为稳定的策略梯度训练提供了广泛使用的基础（Schulman等人, 2017 (https://arxiv.org/html/2605.26691#bib.bib42)），而组相对策略优化（GRPO）通过从一组展开中的相对奖励估计优势，消除了学习价值模型的需要（Shao等人, 2024 (https://arxiv.org/html/2605.26691#bib.bib27)）。这一系列工作为使用基于规则或任务特定奖励训练语言智能体提供了实用的优化框架。

## 3 方法

参见图例图 2：CSRL 概览。(a) CSRL 推理执行实例特定的智能体工具使用。(b) CSRL 训练结合了熵引导采样与风险引导的强化学习。

### 3.1 初步问题形式化

给定一个诊断样本 \((x,q,y) \sim \mathcal{D}\)，其中 \(x \in \mathcal{X}\) 是输入图像，\(q \in \mathcal{Q}\) 是目标病理查询，\(y \in \mathcal{Y}\) 是真实标签。我们考虑一个由 \(K\) 个预训练诊断工具组成的固定池 \(\mathcal{T} = \{T_1, \ldots, T_K\}\)。对于某个病例，策略可能会从 \(\mathcal{T}\) 中调用一个子集。对于任何被调用的工具 \(T_k\)，每个工具的最终输出可以表示为 \(p_k = T_k(x,q) \in \mathcal{P}\)。由于模型架构和训练数据的异质性，这些输出可能表现出非重叠的错误模式。为了形式化这种互补性，我们首先定义最佳单一工具风险 \(\mathcal{R}_{\mathrm{single}}^{\star}\) 为：

\[
\mathcal{R}_{\mathrm{single}}^{\star} = \min_{k \in [K]} \mathbb{E}_{(x,q,y) \sim \mathcal{D}} \left[ \ell(p_k, y) \right],
\]
(1)

其中 \(\ell \in \mathcal{L}: \mathcal{P} \times \mathcal{Y} \rightarrow \mathbf{R}\) 是一个诊断损失，\(\mathcal{L}\) 是损失函数空间。正如我们上面讨论的，在现实场景中单个最佳工具是不完美的。因此，我们考虑发现案例级的工具选择。具体来说，给定 \(\Pi_{\mathcal{T}}\) 是工具集成策略 \(\pi: \mathcal{X} \times \mathcal{Q} \times \mathcal{P}^K \rightarrow \mathbf{R}\) 的空间，预言风险可以定义为：

\[
\mathcal{R}_{\mathrm{oracle}}^{\star} = \inf_{\pi \in \Pi_{\Theta}} \mathbb{E}_{(x,q,y) \sim \mathcal{D}} \left[ \ell\!\left( \pi(x,q,\mathbf{p}), y \right) \right].
\]
(2)

由于单一工具策略 \(\pi_k(x,q,\mathbf{p}) = p_k\) 是 \(\Pi_{\mathcal{T}}\) 中的一个特例，显然我们可以定义单预言风险差距为：

\[
\Delta_{\mathcal{T}} = \mathcal{R}_{\mathrm{single}}^{\star} - \mathcal{R}_{\mathrm{oracle}}^{\star} \geq 0.
\]
(3)

正的 \(\Delta_{\mathcal{T}}\) 表明最强的个体工具并不是工具池的性能上限。如引言所示，性能增益 \(\Delta_{\mathcal{T}}\) 相当大，这支持了我们的假设。为了将模型优化到预言级性能，我们旨在学习一个参数化的工具使用策略 \(\pi_{\theta} \in \Pi_{\mathcal{T}}\)。给定 \(\hat{p} = \pi_{\theta}(x,q,\mathbf{p})\)