评估药物安全推理中对患者信息的反事实敏感性

# 评估药物安全推理中对患者信息的反事实敏感性
来源：https://arxiv.org/html/2608.03028
侯志天1, 2，刘宇航1, 2，王鹏凯1，刘泽宇1，朱广浩1，刘铮1, 2，蔡烁1，谢丛楷2，桑志杰2，曾坤3，杨红霞1, 2\通讯作者

###### 摘要

当患者特定条件不满足时应用一条有效的药物安全规则，可能会产生错误的决策。现有的医学评估大多使用孤立且固定的场景。因此，模型可能通过回忆药物-风险关联而正确作答，却并未显示出其利用了患者信息来判断规则是否适用。为弥补这一不足，我们提出了MedPIC-Bench，一个包含来源可验证的建议和专家验证问题的基准，用于评估患者特定的药物安全推理。该基准将遵循指南的问题与配对的反事实问题相结合，在反事实问题中，患者信息的受控改变会改变规则是否适用。该基准包含467个问题，并沿六个临床与推理维度进行了标注。在28个医学专用、通用及专有LLM中，每个模型在反事实问题上的表现都更差，平均准确率从63.6%下降到45.1%。当明确的患者属性直接指向熟悉的禁忌症时，模型表现良好；但当患者信息需要收窄或撤销安全警告时，模型则表现挣扎。模型的推理过程常常承认患者信息已改变，但最终答案仍保留之前的安全判断。这一脆弱性在医学专用LLM中依然存在，其平均反事实表现落后于通用LLM。因此，MedPIC-Bench使条件性规则的应用变得可衡量，并突显了静态药物安全准确率在评估患者特定可靠性方面的局限性。

## 1 引言

参见图注图1：来自MedPIC-Bench的两个配对反事实示例。患者信息的改变使安全规则的适用性发生反转，然而强模型往往仍保留原有的风险判断。大型语言模型（LLMs）在医学决策方面的评估日益增多。现有基准涵盖从MultiMedQA（Singhal等，2023（https://arxiv.org/html/2608.03028#bib.bib1））和Med-PaLM（Singhal等，2025（https://arxiv.org/html/2608.03028#bib.bib2））等广泛医学问答场景，到开放式临床评估框架（Arora等，2025（https://arxiv.org/html/2608.03028#bib.bib3））。然而，大多数医学基准使用固定的患者场景。它们测试模型能否在给定病例中识别出有风险药物，但不测试当相关患者信息改变时模型是否会修正该判断。在实际处方中，年龄、综合征亚型或合并症等一个变量就可能改变应有的判断。因此，模型可能在静态问题上成功，却在该变量改变时无法修正其答案，如图1（https://arxiv.org/html/2608.03028#S1.F1）所示。

这一区别之所以重要，是因为药物安全规则是条件性的。一种药物可能在特定年龄范围内、低于某个肾脏阈值时，或存在特定临床状况时不适合使用。如果评估仅呈现一个固定场景，优异的表现可能反映的是记忆中的药物-风险关联，而非正确运用使规则适用的条件。最近的基准已超越了考试式医学问答。MedGuide（Li等，2025（https://arxiv.org/html/2608.03028#bib.bib5））评估基于指南的临床决策，RxSafeBench（Zhao等，2025a（https://arxiv.org/html/2608.03028#bib.bib9））在模拟咨询中测试用药危害，MedEinst（Chen等，2026b（https://arxiv.org/html/2608.03028#bib.bib13））则通过配对的临床证据变化来探究诊断固着。然而，它们并不测试当患者信息改变底层规则是否适用时，模型是否会修正其药物安全判断。

MedPIC-Bench通过来源可验证的建议和专家验证的问题来弥补这一空白，用于患者特定的药物安全推理。它将遵循指南（GF）问题与配对的反事实（CF）问题相结合。GF问题测试模型在固定患者病例中是否遵循适用的药物安全建议。在每个CF配对中，患者信息的受控改变会改变底层规则的适用性，同时尽可能保持其余病例细节和答案选项不变。MedPIC-Bench包含467个问题，涵盖9个器官系统、11个临床科室、66个药物类别、8种患者信息类型、3个特殊人群和5种推理操作，能够对模型的失败位置进行细粒度分析。

在28个医学专用、通用和专有LLM中，GF问题的平均准确率从63.6%下降到CF问题的45.1%，每个模型都有所下降。配对分析表明，这一缺陷并不局限于回忆药物风险。即使在模型的推理过程承认患者信息已改变的情况下，模型也常常在触发风险判断的患者信息被移除后仍保留该风险判断。家族内比较表明，医学适配可以提高绝对准确率，但持续存在的“去激活差距”表明它并未解决根本性失败。这些结果揭示了识别药物风险与控制该风险是否适用于当前患者之间的差距。

我们的主要贡献如下。

- •我们将对患者信息的反事实敏感性定义为药物安全推理的一个独立要求。在这一框架下，我们识别出一种反复出现的失败模式：模型能够识别相关患者信息，却无法让该信息约束或撤销熟悉的药物-风险判断。
- •我们提出MedRule2Pair，一个来源扎根的构建流程，将异构的临床建议转化为经过验证、可追溯的规则，以及受控的GF和CF问题变体，支持可复现的评估和扩展。
- •我们将此流程实例化为MedPIC-Bench，一个包含467个问题、沿六个维度标注的专家验证基准。在28个评估模型中，每个模型从GF到CF均出现下降。医学专用LLM在平均表现上也未超过通用LLM，其平均CF准确率为38.3%，而通用LLM为45.5%。

## 2 相关工作

医学LLM与基于指南的评估。医学LLM评估已从考试式问答扩展到更广泛的临床响应质量和决策评估。MultiMedQA（Singhal等，2023（https://arxiv.org/html/2608.03028#bib.bib1））和Med-PaLM系列研究（Singhal等，2025（https://arxiv.org/html/2608.03028#bib.bib2））在多种问答场景中评估医学知识和推理能力，而HealthBench（Arora等，2025（https://arxiv.org/html/2608.03028#bib.bib3））则评估对真实健康对话的开放式响应。MultifacetEval（Zhou等，2024（https://arxiv.org/html/2608.03028#bib.bib4））从多个互补角度探究医学知识，MedGuide（Li等，2025（https://arxiv.org/html/2608.03028#bib.bib5））则依据指南衍生标准评估临床决策。MedGuideX（Shen等，2026（https://arxiv.org/html/2608.03028#bib.bib6））更进一步，将可执行的指南逻辑转化为事实性和反事实性的监督信号，用于模型后训练。这些工作拓宽了医学评估和基于指南的推理，但并未提供一个专门基准来衡量来源扎根的药物安全规则是否在受控患者病例中得到适当应用和撤销。

药物安全与处方基准。最近的基准开始更直接地评估药物使用。Rx-LLM（Zhao等，2025b（https://arxiv.org/html/2608.03028#bib.bib8））引入了由临床医生标注的任务，涵盖药物知识和高安全性的药房操作。RxSafeBench（Zhao等，2025a（https://arxiv.org/html/2608.03028#bib.bib9））将禁忌症和药物相互作用嵌入模拟咨询场景中，以测试安全药物选择；RxEval（Chen等，2026a（https://arxiv.org/html/2608.03028#bib.bib10））则提供详细的患者档案和纵向临床轨迹，用于处方级药物推荐。这些工作超越了通用的医学问答，表明模型在将药物知识与患者信息整合方面可能存在困难。然而，它们的评估单元仍然是单个任务、咨询或处方。因此，一个正确响应本身并不能证明相关患者信息是否主导了决策。

临床推理中的反事实评估。CounterBench（Chen等，2026c（https://arxiv.org/html/2608.03028#bib.bib7））评估基于合成因果结构的形式化反事实推理。在医学领域，MediEval（Qu和Färber，2026（https://arxiv.org/html/2608.03028#bib.bib14））结合与患者记录链接的事实性和反事实性陈述，共同测试知识扎根和情境一致性。Counterfactual Patient Variations（Benkirane等，2025（https://arxiv.org/html/2608.03028#bib.bib11））和MEDEQUALQA（Ghosh等，2025（https://arxiv.org/html/2608.03028#bib.bib12））使用受控的人口统计学变化来审计偏差和推理稳定性，而MedEinst（Chen等，2026b（https://arxiv.org/html/2608.03028#bib.bib13））则通过配对病例中的判别性证据变化来揭示诊断固着。MedPIC-Bench则不同，它关注的是当患者信息改变已验证处方规则的适用性时，模型是否会更新药物安全判断。通过将遵循指南评估与受控反事实配对相结合，它既衡量单个病例中的规则应用，也衡量跨匹配病例的决策是否以正确方向改变。

## 3 MedPIC-Bench的构建

MedPIC-Bench围绕两个设计要求构建。首先，每个答案都必须可追溯到一条经过验证的药物安全建议。其次，每个反事实比较必须隔离患者信息中的一个目标变化。我们通过MedRule2Pair实现这些要求，这是一个如图2（https://arxiv.org/html/2608.03028#S3.F2）所示的两阶段构建流程。来源建议首先被转换为结构化规则并人工验证，然后使用验证后的规则进行问题生成和专家验证。

参见图注图2：MedRule2Pair概览，这是我们构建来源扎根药物安全问题的两阶段流程。首先，从权威来源收集的建议生成与明确患者信息相关联的原始规则。其次，这些规则被结构化，并对照来源进行人工验证，然后用于生成具有固定患者信息的GF问题和具有受控变化的CF问题，随后进行专家验证。该流程在隔离改变规则适用性的信息的同时，保持了来源可追溯性。

### 3.1 证据收集与原始规则

我们汇编来自权威资源的药物安全建议，包括美国老年医学会Beers标准（2023 AGS Beers Criteria Update Expert Panel，2023（https://arxiv.org/html/2608.03028#bib.bib16））、妊娠与哺乳期标签规则（PLLR）111https://www.fda.gov/drugs/labeling-information-drug-products/pregnancy-and-lactation-labeling-drugs-final-rule、澳大利亚治疗用品管理局（TGA）妊娠期处方药数据库222https://www.tga.gov.au/resources/health-professional-information-and-resources/australian-categorisation-system-prescribing-medicines-pregnancy/prescribing-medicines-pregnancy-database，以及2025年KIDs列表（McPherson等，2025（https://arxiv.org/html/2608.03028#bib.bib17））。从这些来源中，我们保留那些陈述了可验证药物安全决策且其适用性依赖于明确患者信息（如肾功能、合并用药、年龄或妊娠状态）的建议。

### 3.2 规则结构化与问题生成

参见图注图3：MedPIC-Bench问题在六个标注维度上的分布。该基准涵盖9个器官系统、11个临床科室、66个药物类别、8种患者信息类型、3个特殊人群和5种推理操作。百分比表示每个类别中问题的占比。基准规则扎根受控PI变化答案改变配对完全专家验证MedGUIDE（Li等，2025（https://arxiv.org/html/2608.03028#bib.bib5））✓\checkmark×\times×\times△\triangleRxSafeBench（Zhao等，2025a（https://arxiv.org/html/2608.03028#bib.bib9））✓\checkmark×\times×\times×\timesPsiBench（Proulx等，2026（https://arxiv.org/html/2608.03028#bib.bib15））✓\checkmark×\times×\times✓\checkmarkMediEval（Qu和Färber，2026（https://arxiv.org/html/2608.03028#bib.bib14））×\times×\times×\times△\triangleMEDEQUALQA（Ghosh等，2025（https://arxiv.org/html/2608.03028#bib.bib12））×\times✓\checkmark×\times×\timesMedEinst（Chen等，2026b（https://arxiv.org/html/2608.03028#bib.bib13））×\times✓\checkmark✓\checkmark△\triangleMedPIC-Bench✓\checkmark✓\checkmark✓\checkmark✓\checkmark表1：MedPIC-Bench与代表性医学基准的比较。对勾、叉号和三角形分别表示完全支持、不支持和不完全支持。PI指患者信息。规则扎根表示金标准决策来自明确的临床指南或药物安全规则。答案改变配对是指金标准答案会发生改变的关联病例。完全专家验证表示对完整基准进行逐项审查；部分验证表示子集或间接审查。

我们将收集到的建议转换为一个通用规则模式，该模式记录药物或类别、目标人群、相关患者信息、推荐行动和适用的例外情况。候选规则字段首先在LLM辅助下从来源表格、PDF和自然语言建议中起草。然后，每个草稿都对照原始来源逐字段验证，并人工定稿。最终记录保留了每个来源建议所指定的行动，例如避免某种药物或组合、调整剂量，或选择替代治疗。这一过程为每个生成的问题提供了来源可追溯的金标准。

我们使用确定性生成脚本从验证后的规则构建问题。临床场景和问题措辞在不同条目之间有所变化，以反映来源建议和决策类型，而规则相关的患者信息和金标准则保持受控。每个条目包含一个患者案例、一个药物安全问题和一组答案选项。干扰项选自来源表格中的其他药物，或在所述情境中不触发目标规则的常用药物。适当时包含“以上都不是”选项。

GF问题呈现一个固定的患者病例，并询问哪条建议适用。它们涵盖药物避免、相互作用检查、肾脏剂量调整和治疗选择决策。CF问题由相同的规则表示生成，但改变目标患者信息，如年龄、妊娠状态、肾功能、疾病存在或适应症特定例外。在每个关联比较中，