一个知识引导的代理框架,用于减轻健康查询中的患者上下文歧义
摘要
本文介绍了一个知识引导的代理框架,该框架识别健康查询中缺失的患者上下文,并提出针对性的后续问题,以提高下游语言模型响应的准确性和一致性。
arXiv:2608.19875v1 公告类型:新
摘要:患者经常向医疗聊天机器人提交简短、未指定的查询,这些查询缺乏确定适当响应所需的患者特定信息。虽然这些查询在语言上可能清晰,但它们可能支持多个看似合理的答案,这取决于未披露的因素,如症状、诊断、药物、过敏或饮食限制。因此,语言模型直接回答此类查询可能依赖于对患者未经证实的假设。我们引入了一个知识引导的代理框架,用于在最终响应生成之前减轻患者上下文歧义。该框架在患者和未更改的下游语言模型之间运行。它解释初始查询,使用任务特定的知识图谱构建一组看似合理的假设,识别区分这些假设所需的缺失患者上下文变量,并提出针对性的后续问题。原始查询和获取的上下文随后组合成澄清后的提示,用于下游模型。我们使用两个受控的歧义缓解基准评估了该框架在五种语言模型上的性能:从1,034个症状查询中检索诊断,其中临床相关证据被系统性地屏蔽;以及从487个查询中进行饮食安全分类,其中决定性的健康上下文被省略。该框架与直接回答未指定查询和重新表述相同查询而不获取新患者信息进行了比较。在诊断检索中,与直接提示相比,它在所有五种评估模型中将整体精确Top-1准确率提高了至少57.1个百分点,选择性精确Recall@5提高了至少77.7个百分点。在饮食安全分类中,它在所有五种模型中都提高了准确率,并在四种模型中实现了最高的Matthews相关系数...
查看缓存全文
缓存时间: 2026/08/21 10:13
# 一个用于缓解健康查询中患者上下文歧义的知识引导型智能体框架 来源: https://arxiv.org/html/2608.19875 Saba A. Farahani, Arshia Ilaty, Hung Cao, Ramesh Jain, Amir M. Rahmani 2026年1月 ###### 摘要 患者经常向医疗聊天机器人提交简短、信息不足的查询,这些查询缺乏确定恰当回答所需的患者特定信息。尽管这些查询在语言上可能清晰,但根据未披露的因素(如症状、诊断、用药、过敏或饮食限制),它们可能支持多个看似合理的答案。因此,语言模型直接回答此类查询可能依赖于未经证实的患者假设。我们引入一个知识引导型智能体框架,用于在最终响应生成前缓解患者上下文歧义。该框架在患者和下游语言模型之间运作,且不改变后者本身。它解释初始查询,使用特定任务的知识图谱构建一组合理的假设,识别区分这些假设所需的缺失患者上下文变量,并提出有针对性的后续问题。然后,将原始查询和获取的上下文组合成澄清后的提示,供下游模型使用。我们在五种语言模型上,使用两个受控的歧义缓解基准评估了该框架:从1,034个系统性屏蔽了临床相关证据的症状查询中进行诊断检索,以及从487个省略了决定性健康上下文的查询中进行饮食安全分类。该框架与直接回答信息不足的查询以及在不获取新患者信息的情况下重新表述同一查询的方法进行了比较。在诊断检索任务中,与直接提示相比,该框架在评估的五个模型中,将整体精确Top-1准确率至少提高了57.1个百分点,将选择性精确Recall@5至少提高了77.7个百分点。在饮食安全分类任务中,它在所有五个模型中都提高了准确率,并在其中四个模型上达到了最高的马修斯相关系数。在重复生成分析中,与原始信息不足的查询相比,澄清后的提示也降低了下游语言模型的预测不确定性。这些发现表明,一个主动获取缺失患者上下文的中间智能体可以在不修改或微调最终模型的情况下,提高下游语言模型响应的准确性和预测一致性。 ## 1 引言 患者越来越多地使用通用医疗聊天机器人来寻求医疗信息和指导。与结构化的临床会面不同,这些交互通常以日常语言书写、简短、开放式的问题开始,且没有完整的病史。最近由医生主导的对患者提出的医疗问题的评估发现,公开可用的聊天机器人经常产生有问题的回答,其中信息缺失和未能获取适当病史是反复出现的问题[8]。挑战并不仅限于语言模型是否具备足够的医学知识。例如,患者可能会问:“头痛应该吃什么药?”这个问题在语言上很清晰,但恰当的回答可能取决于未披露的信息,例如怀孕、抗凝药物使用、肝病、过敏、症状严重程度或伴随的警示症状。没有这些上下文,对于不同的患者来说,多个答案可能都看似合理,但对于提问的患者,没有一个单一答案是充分支持的。表1说明了这个问题。查询的表面形式保持不变,但制定恰当响应所需的信息随着患者特定上下文的引入而变化。因此,歧义不一定源于表述不清。它源于查询不包含区分多个依赖于上下文的响应所需的个人信息。 表1:患者特定上下文对未改变的健康查询的说明性影响。示例是概念性的,展示了为什么同一个语言清晰的查询在获得额外的患者上下文后可能需要不同的响应策略。它们不旨在作为治疗建议或评估模型的输出。 | 患者查询 | 患者特定上下文 | 对响应的含义 | | :--- | :--- | :--- | | 头痛应该吃什么药? | 未提供 | 几种常见选项可能看起来合理,但区分它们所需的信息缺失。 | | 头痛应该吃什么药? | 怀孕 | 响应必须考虑与怀孕相关的用药限制,可能与一般的非处方指导不同。 | | 头痛应该吃什么药? | 使用抗凝药物 | 在建议选项之前,响应必须考虑药物相互作用和出血风险。 | | 头痛应该吃什么药? | 肝病 | 响应必须考虑鉴于肝功能受损,常用药物是否合适。 | | 头痛应该吃什么药? | 多种相关病症或警示症状 | 具体的药物建议可能不合适,响应可能需要转诊或专业评估。 | 这个问题代表了一种独特形式的歧义。语言歧义发生在查询的措辞允许多种解释时[25]。知识歧义发生在解决查询需要模型无法获取的外部事实信息时[23, 22, 28, 15, 10]。意图歧义发生在用户的根本目标不明确时[33, 11]。这些形式可以通过重述、外部检索、事实锚定或澄清意图任务来解决。相比之下,*患者上下文歧义*发生在查询可理解且相关的通用医学知识可能已经可用,但恰当的响应取决于未披露的患者特定变量时。该变量可能仅存在于患者身上,因此无法从语言模型的参数或外部语料库中恢复。解决这种歧义需要从用户那里获取新信息,而不是从原始查询中推断一个答案。这种区分也可以从医疗聊天机器人可用的知识角度来理解。首先,语言模型利用编码在预训练、指令调整或领域适应中的*参数知识*。其次,它可能利用*外部知识*,包括临床指南、生物医学文献、药物资源和结构化本体,通过检索或知识图谱锚定[19, 2, 26]。第三,恰当的响应可能需要*患者特定的上下文知识*,包括当前症状、诊断、用药、过敏、怀孕状况和饮食限制。尽管其中一些信息可能通过电子健康记录或连接系统获得,但大部分可能在面向患者的聊天机器人交互中缺失,只能通过询问患者来获取。图1对比了这两种交互模式。在直接聊天机器人交互中,下游语言模型可能拥有大量的参数知识和外部知识,但仍然没有获得关于决定哪个响应合适的患者特定因素的信息。所提出的框架在患者和下游语言模型之间引入了一个智能体层。这个中间件使用结构化的领域知识来识别未解决的假设,提出针对性的问题以获取缺失的上下文,并在最终响应生成前构建澄清后的提示。 图1:在下游语言模型生成前缓解患者上下文歧义。 a,在与医疗聊天机器人的直接交互中,下游大语言模型(LLM)可以利用训练期间编码的知识,并在可用时利用外部证据。然而,与决策相关的患者特定上下文可能仍然不可用,因为它没有被主动获取。因此,响应是根据不完整的患者上下文生成的。 b,知识图谱引导的歧义缓解框架在面向患者的界面和下游LLM之间运作(下游LLM本身未改变)。该框架将查询锚定在特定任务的知识图谱上,检索图谱支持的假设,并选择最具信息性的澄清问题。患者的答案用于更新活跃的假设,循环重复直到满足停止条件。由此产生的澄清记录随后传递给下游LLM,后者根据获取的上下文生成响应。 大多数改进医疗语言模型的方法侧重于增强参数知识或外部知识。医学指令调整和领域适应旨在改进模型参数中编码的临床知识,而检索增强生成和知识图谱锚定则提供了对原始提示中不可用的临床证据的访问[19, 2, 26]。这些方法可以减少事实错误和知识陈旧,但它们无法从未公开的过敏、诊断、用药、症状或个人约束中从外部知识源检索信息。其他方法作用于查询或模型的不确定性。重新表述并响应首先将问题重新表述为更清晰的形式,然后再生成答案[7]。当歧义是由措辞引起时,这可能会有所帮助,但重新表述保留了原始查询的信息内容,无法提供缺失的患者变量。不确定性估计和拒绝回答可以表明模型的输出可能不可靠,但它们不一定能识别应该提出哪个患者特定问题来解决根本的歧义[27, 20]。因此,更好的措辞、更丰富的事实知识和改进的不确定性估计本身并不能解决决定性证据从未被提供过的问题。交互式提问为获取缺失信息提供了更直接的机制。先前的工作已经研究了开放域问答、对话搜索和临床推理中的澄清问题[12, 14, 5, 16]。然而,直接提示语言模型来决定信息是否缺失、生成后续问题、解释响应以及确定何时停止,使得整个澄清过程完全依赖于最初收到信息不足查询的同一个模型。在MediQ临床基准测试中,提示语言模型提问并未持续提高性能,这表明有用的信息寻求并不能仅从提示中可靠地产生[16]。基于知识图谱的澄清提供了对候选实体和区分关系的更明确表示[31],但这项工作的大部分内容解决的是事实或实体歧义,其中缺失的信息涉及预期的指称或外部事实,而非必须从用户那里获取的患者特定上下文。为解决这一差距,我们引入一个知识引导型智能体框架,该框架在患者和下游语言模型之间运作(下游语言模型本身未改变)。该框架解释初始查询,并使用特定任务的知识图谱构建一组与可用信息一致的合理假设。当存在多个假设时,智能体识别一个能够区分它们的患者上下文变量,并选择一个有针对性的后续问题。患者的答案更新假设空间并指导后续问题。这个过程持续进行,直到可用信息支持一个特定的答案、支持一组临床连贯的答案,或仍然不足以支持一个响应。然后,原始查询和获取的上下文组合成一个澄清后的提示,供下游语言模型使用。因此,该框架将上下文获取与最终自然语言生成分离:智能体确定缺失什么信息并获取它,而下游模型从一个指定更明确的输入生成最终响应。 该框架使用两个代表不同形式患者上下文歧义的受控基准进行评估。在症状-诊断任务中,使用Synthea生成的完整合成患者记录建立了参考诊断,然后系统地屏蔽临床相关症状以创建信息不足的查询[30, 4]。从统一医学语言系统派生的症状-诊断知识图谱支持假设构建和问题选择[3]。在饮食安全任务中,可见的查询识别了一种食物,但省略了确定该食物是否合适所需的健康状况。在这两个任务中,对智能体后续问题的回答都来自隐藏的完整病例,从而允许根据已知的参考结果评估上下文获取的影响。相同的智能体架构在两个领域中都使用,但特定任务的知识图谱和输出表示发生了变化。 本研究做出三个主要贡献。首先,它将患者上下文歧义形式化为面向患者的医疗聊天机器人中的一个独特问题,将缺失的个人信息与不清晰的措辞、外部知识差距和不确定的用户意图区分开来。其次,它引入了一个知识引导型智能体中间件,该中间件主动获取与决策相关的患者上下文,并将信息不足的查询转化为澄清后的提示,而不修改或微调下游语言模型。第三,它评估了在两个医疗任务和五个下游语言模型中,重新表述现有信息与获取新信息之间的区别,评估了答案性能以及在重复生成下的下游预测不确定性。 ## 2 结果 ### 2.1 评估概述 评估包括两个具有不同输出结构的健康相关任务:基于症状的诊断检索和饮食安全分类。两个评估集的构建都使得预期的答案无法从最初呈现给模型的信息中唯一确定。缺失的患者特定信息被单独保留,只能通过澄清过程恢复。
相似文章
知识增强型智能体AI用于心理健康药物信息查询
本文提出了一种具有来源感知能力、基于知识图谱的多智能体框架,该框架整合了来自Reddit和WebMD的患者叙事以及FDA针对九种抗抑郁药的药物不良事件报告,利用大语言模型(LLM)实体识别流水线实现了高准确率,并能够提供可追踪的精神科药物安全信息。
ARCagent:面向临床问答的自适应检索校准智能体
本文提出了 ARCagent,一种面向 ME/CFS 临床问答的自适应检索校准智能体,在该领域中诊断指南之间存在明显相互矛盾。论文贡献了一个具备冲突感知能力的检索重排序流水线以及一个 LLM-as-Judge 基准,达到了 95.3% 的准确率,优于基础大模型的表现。
一种用于自主上下文感知数据质量评估的智能体检索框架
一篇研究论文,提出了一种统一的智能体检索框架,用于自主上下文感知数据质量评估。该框架解释自然语言使用描述,通过多智能体工作流生成可执行验证逻辑,并使用可行性验证来确保可靠性。
HypoAgent:一种面向知识图谱的交互式溯因假设生成的智能体框架
HypoAgent是一种面向知识图谱的交互式溯因假设生成的智能体框架,集成了三个智能体以处理不断变化的用户意图和细粒度诊断,实现了最先进的性能。
用ChatGPT解答健康疑问
OpenAI发布了关于如何使用ChatGPT处理健康相关问题的指南,阐述了用户如何在理解模型在医疗场景中的局限性的同时充分利用该模型。