MedEvoEval：通过模拟临床病例评估医生代理的持续进化

# MedEvoEval: 通过模拟临床场景评估医生智能体的持续演化

来源: https://arxiv.org/html/2606.28900

###### 摘要

医生智能体正从单轮答案生成向演化的临床决策系统转变。在一个门诊就诊中，它们获取证据、使用检查和咨询资源，并决定何时完成诊断和管理计划。跨就诊时，它们的行为可能通过记忆、检索、反思或其他更新机制而改变。当前的评估仅部分覆盖了这一场景。固定输入的医学问答基准从完整输入中评分最终答案，而许多交互式基准仍侧重于单个就诊或固定运行，对评估就诊级决策如何与跨就诊经验交互的支持有限。我们提出 **MedEvoEval**，一个基于动作门控模拟门诊就诊的可执行纵向评估框架。每个源病例被转化为角色特定的患者、检查和管理员视图；证据仅通过有效动作揭示；每个就诊记录一个结构化轨迹，链接观察、动作、最终输出、管理员得分和可选的经验回写。我们发布一个可运行的 E&D 工件，包含 700 个已处理就诊、来源说明、模式、就诊运行器、评分脚本、配置、示例日志、分析代码以及轨迹级和步骤级衍生数据。实验表明，就诊轨迹揭示了最终答案评分隐藏的过程成本，展示了 MDT 式会诊如何重新分配资源，并支持对记忆成熟度、保留集迁移、更新阶段响应和反向保留的纵向分析。这些结果共同表明，**MedEvoEval** 为评估医生智能体是否通过经验改进、迁移有用行为以及随时间保留早期能力提供了具体基础。

## 1 引言

医生智能体越来越多地被评估为临床决策系统，而非单轮答案生成器。在一个门诊就诊中，智能体必须决定问什么、要求哪些检查、何时寻求会诊，以及可用证据何时足以支持诊断和管理计划。当启用记忆、检索、反思或其他更新机制时，后续决策也可能依赖于之前的就诊。因此，评估目标从单一的医学答案转向一个演化的临床决策过程。

当前的评估实践仅部分覆盖了这一目标。固定输入的医学问答基准预先提供完整的临床摘要，并将最终答案与参考答案进行评分[6](https://arxiv.org/html/2606.28900#bib.bib6), [17](https://arxiv.org/html/2606.28900#bib.bib17), [25](https://arxiv.org/html/2606.28900#bib.bib25)。这种格式在衡量医学知识方面仍然有用，但它将证据获取、动作有效性和资源使用排除在评估之外。最近的基准通过评估交互推理、模拟会诊、工具使用和医学智能体环境，更接近临床工作流[26](https://arxiv.org/html/2606.28900#bib.bib26), [13](https://arxiv.org/html/2606.28900#bib.bib13), [1](https://arxiv.org/html/2606.28900#bib.bib1), [5](https://arxiv.org/html/2606.28900#bib.bib5), [16](https://arxiv.org/html/2606.28900#bib.bib16)。然而，这些设置中有许多仍然评估单个就诊或固定基准运行。一旦先前的就诊可以通过记忆或其他更新影响后续决策，评估还必须衡量跨就诊的由经验驱动的行为变化。

这个评估问题有两个耦合的层面。在一个就诊内，评估者必须观察智能体如何获取证据、使用资源、处理无效或不可用动作，并最终得出诊断。跨就诊时，评估者必须衡量经验是否改善了后续行为，这种改善是否迁移到未见过的病例，以及后续更新是否保留了早期阶段的性能。这两个层面在医生智能体评估中是相连的：解释一个就诊的轨迹也可以成为影响后续就诊的经验来源。

我们提出 **MedEvoEval**，一个用于医生智能体的可执行纵向评估框架。每个源病例被转化为角色特定的患者、检查和管理员视图。在一个门诊就诊中，证据仅通过询问和检查请求等有效动作揭示，每个动作都被记录在事件轨迹中。最终化后，管理员对诊断、支持证据和管理计划进行评分。可选的经验回写允许后续就诊在受控条件下检索紧凑的记忆记录，使经验复用成为可衡量的评估条件。

我们将此协议实例化为一个可运行的 E&D 工件，并用就诊级和纵向研究进行评估。实验表明，轨迹揭示了隐藏的过程成本，MDT 式会诊主要改变了资源分配，并且纵向设置支持在固定执行规则下对记忆成熟度、保留集迁移和反向保留的分析。

本文做出三项贡献。**MedEvoEval** 将医生智能体评估形式化为一个纵向就诊级问题，将就诊内决策轨迹与跨就诊行为变化联系起来。该协议定义了信息访问、有效动作、证据释放、评分、记忆回写和纵向分析的固定执行规则，使经验复用和保留在受控条件下可测量。

我们还发布了一个实例化该协议的可运行 E&D 工件。该工件包括一个 700 就诊的已处理门诊语料库、来源归属和来源说明、模式、就诊运行器、配置模板、评分脚本、事件日志、分析代码以及用于智能体策略研究的轨迹级和步骤级衍生数据。这些组件支持从已处理就诊字段到事件轨迹和聚合指标的检查。

经验上，**MedEvoEval** 捕捉了最终答案评分隐藏的评估现象。在模型比较、MDT 式会诊、记忆成熟度、保留集迁移和更新稳定性的研究中，该协议将临床输出质量与过程成本、资源使用、记忆成熟度、外部迁移和反向保留风险区分开来。

## 2 相关工作

#### 医学问答与固定输入评估。

医学问答基准如 MedQA 和 MedMCQA 评估考试形式的医学知识[6](https://arxiv.org/html/2606.28900#bib.bib6), [17](https://arxiv.org/html/2606.28900#bib.bib17)，而医学 LLM 研究如通用基础模型评估和 Med-PaLM 显示出向专家级医学问答的进展[25](https://arxiv.org/html/2606.28900#bib.bib25), [15](https://arxiv.org/html/2606.28900#bib.bib15)。最近的资源和研究将评估扩展到类似 EHR 的记录和序列诊断[7](https://arxiv.org/html/2606.28900#bib.bib7), [5](https://arxiv.org/html/2606.28900#bib.bib5), [16](https://arxiv.org/html/2606.28900#bib.bib16)，而医学 LLM 工作如 PMC-LLaMA 说明了日益增长的模型生态系统[30](https://arxiv.org/html/2606.28900#bib.bib30)。这些评估在衡量医学知识和最终响应质量方面仍然重要。然而，它们的固定输入格式预先提供了大部分证据，因此关于智能体如何获取其答案所用证据的信息有限。表 1 (https://arxiv.org/html/2606.28900#S3.T1) 稍后将固定输入医学问答与 **MedEvoEval** 暴露的信息访问、动作有效性、资源使用、记忆、稳定性和可审计性控制进行对比。

这种区别对于医生智能体评估很重要，因为两个具有相似最终答案准确性的系统可能遵循不同的临床路径。一个智能体可能提出有针对性的问题并请求少量鉴别性检查，而另一个可能依赖广泛测试、过早最终化或无根据的证据。**MedEvoEval** 不仅评估最终输出，还评估就诊轨迹，允许结果质量与证据获取和资源使用一起被解释。

#### 交互式智能体、工具与医学模拟。

通用 LLM 智能体研究探索了推理-动作循环、工具使用、模块化工具路由、多智能体通信和模拟社交行为[34](https://arxiv.org/html/2606.28900#bib.bib34), [20](https://arxiv.org/html/2606.28900#bib.bib20), [8](https://arxiv.org/html/2606.28900#bib.bib8), [21](https://arxiv.org/html/2606.28900#bib.bib21), [12](https://arxiv.org/html/2606.28900#bib.bib12), [31](https://arxiv.org/html/2606.28900#bib.bib31), [19](https://arxiv.org/html/2606.28900#bib.bib19), [27](https://arxiv.org/html/2606.28900#bib.bib27)。医学智能体系统将这些思想应用于诊断、会诊和临床工作流。MedAgents, MDAgents, MMedAgent, MedAide, AI Hospital, Agent Hospital, MedAgentBench 和 MedAgentSim 模拟了协作、工具使用、患者、检查、EHR 环境或类似医院的交互[26](https://arxiv.org/html/2606.28900#bib.bib26), [9](https://arxiv.org/html/2606.28900#bib.bib9), [11](https://arxiv.org/html/2606.28900#bib.bib11), [29](https://arxiv.org/html/2606.28900#bib.bib29), [3](https://arxiv.org/html/2606.28900#bib.bib3), [13](https://arxiv.org/html/2606.28900#bib.bib13), [5](https://arxiv.org/html/2606.28900#bib.bib5), [1](https://arxiv.org/html/2606.28900#bib.bib1)。MedAgentSim 进一步研究了具有医生、患者和测量智能体以及经验缓冲区的自我演进多智能体临床模拟[1](https://arxiv.org/html/2606.28900#bib.bib1)。

这些系统通过暴露就诊内决策过程的部分内容，使评估更接近临床工作流。一个剩余的挑战是衡量交互轨迹和经验机制如何影响后续决策。**MedEvoEval** 作为一个 E&D 评估工件解决了这一挑战：它提供了一个发布的已处理就诊语料库、构建文件、角色特定模式、门控证据释放、结构化事件日志、可复现评分、保留集迁移测试和更新-保留分析。

这种工件级控制对于医学智能体评估很重要。提示、状态转换、信息访问、动作有效性、会诊权限和记忆暴露都可能改变评估结果的解释。**MedEvoEval** 在基准接口中使这些组件明确，允许检查就诊执行、评分和纵向比较。

#### 高效适应与生物医学部署。

高效适应和推理方法构成了在资源约束下使医学和多模态智能体实用的互补工作线。最近的 LoRA 变体研究低负载敏感性微调和通过超网络的更快秩分配[36](https://arxiv.org/html/2606.28900#bib.bib36), [37](https://arxiv.org/html/2606.28900#bib.bib37)；视觉令牌剪枝方法减少大型视觉语言模型中的多模态上下文成本[39](https://arxiv.org/html/2606.28900#bib.bib39), [40](https://arxiv.org/html/2606.28900#bib.bib40)；而针对性的预填充-解码剪枝解决了推理过程中的服务效率问题[38](https://arxiv.org/html/2606.28900#bib.bib38)。生物医学模型开发还包括特定领域架构，如用于多中心重度抑郁症分类的分层多尺度 MRI 特征融合[2](https://arxiv.org/html/2606.28900#bib.bib2)。这些研究与 **MedEvoEval** 是正交的：它们提高了候选系统的效率或领域能力，而我们的基准评估了这些系统如何获取证据、使用资源并跨模拟临床就诊演化。

#### 记忆、检索与持续评估。

持续学习研究在序列数据下的适应，同时保留早期能力[14](https://arxiv.org/html/2606.28900#bib.bib14), [18](https://arxiv.org/html/2606.28900#bib.bib18), [28](https://arxiv.org/html/2606.28900#bib.bib28), [32](https://arxiv.org/html/2606.28900#bib.bib32), [22](https://arxiv.org/html/2606.28900#bib.bib22)。对于 LLM 智能体，轻量级适应通常依赖检索、反思、经验重放或规则积累，而非参数更新[10](https://arxiv.org/html/2606.28900#bib.bib10), [4](https://arxiv.org/html/2606.28900#bib.bib4), [24](https://arxiv.org/html/2606.28900#bib.bib24), [35](https://arxiv.org/html/2606.28900#bib.bib35), [23](https://arxiv.org/html/2606.28900#bib.bib23), [33](https://arxiv.org/html/2606.28900#bib.bib33)。医学模拟器已开始显示记忆可以改善平均性能[13](https://arxiv.org/html/2606.28900#bib.bib13), [1](https://arxiv.org/html/2606.28900#bib.bib1)。然而，对于医生智能体，平均改善只是评估问题的一部分。一个有用的协议还应测试经验是否降低了过程成本、是否迁移到未见过的病例、在更新后是否保持稳定，以及是否避免了反向退化。**MedEvoEval** 通过将就诊内受控证据访问与跨就诊由经验驱动变化的纵向测量相结合，将这些需求带入一个单一医学智能体评估设置中。

## 3 MedEvoEval: 一个可执行评估协议

**MedEvoEval** 通过标准化、可执行的门诊就诊评估医生智能体作为演化的临床决策系统。如图 1 (https://arxiv.org/html/2606.28900#S3.F1) 所示，一个源病例首先以结构化临床记录的形式进入系统，并被转化为角色特定的患者、检查和管理员视图。然后该病例作为一个动作门控的门诊就诊执行。运行时，医生从简短的主诉开始，而不是完整的患者视图，通过询问收集患者事实，通过受控的测试接口请求检查，可选地咨询 MDT 式顾问，最后提交诊断、支持证据、管理计划和随访。最终化后，管理员对输出进行评分，系统记录结构化事件日志，并且紧凑的经验记录可能被写回以供后续就诊使用。在由此产生的就诊序列中，**MedEvoEval** 分析改善、保留集迁移、更新保留和反向退化。

该协议将第 1 节 (https://arxiv.org/html/2606.28900#S1) 中介绍的两层评估问题转化为一个可执行过程。在每个就诊内，它控制医生可以观察到的信息以及哪些动作可以揭示新证据。跨就诊时，它记录轨迹、管理员反馈和可选的经验回写，以便后续行为可以作为先前经验的函数进行评估。环境模拟门诊首次就诊诊断场景，因为该设置具有清晰的临床边界，同时保留了固定输入 QA 所移除的关键属性：部分初始信息、主动证据获取、明确的资源使用和受控的经验更新。

参考图注图 1: MedEvoEval 概述。源病例被转化为角色特定的就诊视图，作为动作门控的临床就诊执行，由管理员评分，记录为包含记忆回写的事件日志，并进行纵向分析以评估改善、迁移、更新保留和反向退化。#### 设计目标。

该框架围绕角色特定的可观察性、门控证据释放、结果与过程的单独测量以及纵向适应分析构建。这些要求使得