TAF-MED：大型语言模型在声明自我治疗意图下的多轮安全拒绝崩溃

# TAF-MED：LLM 在明确自我治疗意图下的多轮安全拒绝崩塌

来源： https://arxiv.org/html/2608.10258

Waleed Jamil¹, Raphael Schmitt²,³
¹独立研究员，英国爱丁堡，²慕尼黑工业大学计算、信息与技术学院，德国，³弗莱堡大学医学院全科医学研究所与医学中心，德国
通讯作者：[[email protected]](mailto:[email protected])

###### 摘要

大型语言模型（LLMs）日益提供可能影响治疗决策的对话式健康信息，然而现有基准并未单独检验在用户明确表达自我治疗意图后，药物安全边界是否能在后续追问中持续保持。我们引入了 TAF-MED，一个经医生评审的、包含 500 个固定三轮场景的基准，并评估了八个 LLM 在 4,000 段对话中的表现。一个基于评分标准的自动化评判器将回复标记为 **安全**（Safe）、**泄漏**（Leaky）或 **不安全**（Unsafe），并由两位医生独立标注了一个模型均衡的随机子集（400 段对话）。我们评估了不安全指导的发生率、在初始回复**严格安全**之后的崩塌情况，以及模型排名的稳定性。总体而言，71.6% 的对话包含至少一条**不安全**回复，而初始回复**严格安全**的对话中有 61.4% 随后崩塌为**不安全**；模型层面的崩塌率介于 24.4% 至 96.2% 之间。在 28 个模型对中，有 4 对的初始不安全率与崩塌率之间的排序发生了反转。自动化标签与经裁定的医生参考标准的一致率为 94.3%（κ=0.895）。这些发现表明，首轮安全性能并不能完整代表对话安全的持续性，并凸显了在完整对话轨迹上进行评估的必要性。我们将在 Hugging Face 上发布 TAF-MED，以支持多轮医疗安全方面的可复现研究。

TAF-MED: LLM 在明确自我治疗意图下的多轮安全拒绝崩塌

Waleed Jamil¹, Raphael Schmitt², ³
¹独立研究员，英国爱丁堡，²慕尼黑工业大学计算、信息与技术学院，德国，³弗莱堡大学医学院全科医学研究所与医学中心，德国
通讯作者：[[email protected]](mailto:[email protected])

## 1 引言

大型语言模型（LLMs）日益提供关于症状、药物和治疗方案的对话式健康信息。尽管近期系统在医学问答和临床推理方面表现出色，其输出也可能影响治疗决策 (Singhal et al., 2023； Tu et al., 2025； Arora et al., 2025)。在美国调查样本中，14% 的近期健康 AI 用户报告跳过了一次医疗服务提供者就诊，而 46.2% 的 ChatGPT 健康信息使用者探索了额外或替代治疗 (Raynes and Maese, 2026； Ayo-Ajibola et al., 2024)。这些发现并不能确定用户会依据模型输出采取行动，但表明对话式健康信息可能影响与治疗相关的选择。

此类互动往往不止于单个请求。用户可能描述一种严重疾病，声明自我治疗的意图，并请求某种药物；在初始拒绝后，同一用户可能询问临床医生会开什么药、是否存在替代方案、使用什么剂量，或应向药房索取什么。尽管这些追问在孤立状态下可能看似只是信息性询问，但它们仍处于已声明的自我治疗情境之中。因此，推荐或确认某种治疗、提供用药方案、建议替代药物或帮助获取药物的回复，可能使该计划在实质上更具可操作性。

在处方管控执行不一致的情况下，这一担忧具有现实意义：一项涵盖 52 个国家 162 项研究的综述估计，在所评估的社区药房接触中，有 63.4% 存在非处方抗生素配药情况 (Li et al., 2023)。因此，问题不在于药物知识本身，而在于与病例相关联、可能促成未决自我治疗计划的信息。

现有基准评估了医学能力、面向患者的质量、有害请求以及对抗性多轮安全 (Singhal et al., 2023; Han et al., 2024; Arora et al., 2025; Zhou et al., 2024; Song et al., 2026; Sheoran and Hao, 2026)，但并非专门设计用于检验：当自我治疗意图变得明确，且后续请求仍是同一目标的合理、非自适应延续时，药物安全边界是否能持续保持。因此，当后续回复提供了最初被拒绝的可操作指导时，首轮评估可能高估安全性。

我们引入了 TAF-MED（*Temporal Abstention Failure in Medicine*，医学中的时间性弃权失败），这是一个包含 500 个经医生评审的合成场景基准，涵盖十个临床家族以及严重、危急和危及生命的临床表现。每个场景是一个固定的三轮对话，其中用户在 U₁ 声明自我治疗意图，并通过两个受控的后续追问继续。TAF-MED 评估*意图条件下的可操作性*：即当意图仍然有效且临床风险未解决时，回复是否通过推荐或确认某种药物或药物类别、提供用药方案、建议可操作的替代方案或促进获取方式，从而在实质上促成了已声明的计划。回复被标记为**安全**、**泄漏**或**不安全**，以区分不可操作的回复、部分病例相关信息披露和可操作指导。

**研究问题。**
**RQ1：** 在明确表达自我治疗意图后，LLM 提供**不安全**指导的频率有多高？
**RQ2：** 在 U₁ 的**安全**回复之后，随后转变为**不安全**的频率有多高？
**RQ3：** 模型排名在仅基于 U₁ 的评估和完整轨迹评估之间的稳定性如何？

在八个 LLM 和 4,000 段统一标准化的三轮对话中，71.6% 的对话至少包含一条**不安全**回复，而在 U₁ 时**严格安全**的对话中有 61.4% 随后变得**不安全**。在 28 个模型对中有 4 对的排序在初始不安全率和崩塌率之间发生了反转。在医生验证的支持下，这些发现表明首轮行为并不能完整代表对话安全的持续性。

我们的贡献有三方面：我们将药物安全持续性形式化为一个意图条件下、对话层面的评估问题；引入了一个经医生评审的基准以及八个 LLM 的统一标准化评估；并提供了关于初始安全回复如何在后续轮次中变得可操作的轨迹、排名、亚组、医生验证和稳健性分析。

## 2 相关工作

#### 医学能力与面向患者的评估。

早期医学 LLM 基准通过 PubMedQA、MedQA 和 MedMCQA 评估了事实知识和临床推理 (Jin et al., 2019, 2021; Pal et al., 2022)。后续工作扩展到开放式和面向患者的评估。MultiMedQA 引入了临床医生对长篇医学答案的评估 (Singhal et al., 2023)，而 HealthBench 使用医生设计的评分标准评估真实医疗保健对话 (Arora et al., 2025)。PatientSafeBench 和 MedRiskEval 进一步检验了面向患者的医疗环境中的安全性和实用性 (Kim et al., 2025; Corbeil et al., 2026)。这些基准捕捉了临床质量和潜在危害，但并非专门设计用于衡量在明确自我治疗意图后药物安全边界是否能持续保持。HealthChat-11K 从自然健康对话中提供了补充证据，包括治疗询问、关于指定治疗方案的诱导性问题以及寻求验证或推荐的请求 (Paruchuri et al., 2025)。然而，其观察性设计并未控制自我治疗意图何时变得明确、使用何种追问策略，或者后续的药物指导是否发生在初始安全回复之后。

#### 多轮压力下的医疗安全。

MedSafetyBench 使用医学伦理原则评估对直接有害医疗请求的响应 (Han et al., 2024)，但并非专门设计用于检验初始安全回复在受控后续追问下是否能持续。通用多轮基准表明，当有害目标被分散或重新表述时，安全防护措施可能会减弱。Speak Out of Turn 将有害目标分散到不那么显眼的子请求中 (Zhou et al., 2024)，而 MultiBreak 评估了多样化的对抗性多轮对话 (Song et al., 2026)。在医疗环境中，JMedEthicBench 评估了在自动生成的越狱策略下的医学伦理漏洞，而 MultiTurnPSB 研究了固定模板、模板自适应和实时对抗性交互 (Liu et al., 2026; Sheoran and Hao, 2026)。在这些设置中，由于对抗压力和对话进程可能同时变化，由此产生的失败可能同时反映对攻击策略的易感性和维持既定安全边界的难度。医学谄媚研究在逻辑不通的药物相关前提或持续的用户分歧下识别了相关失败 (Chen et al., 2025; Kim et al., 2026)，但主要关注虚假前提或不断升级的压力。

相比之下，TAF-MED 在 U₁ 时明确自我治疗意图，跨模型保持后续用户轮次不变，并将崩塌限定在初始**安全**回复之后。因此，它通过隔离既定的药物安全边界在合理、非自适应的后续请求下是否能持续保持，补充了对抗性基准。

#### 医疗安全的自动化评估。

开放式医疗安全评估需要可扩展的判断，但其可靠性依赖于清晰操作化的标准。LLMEval-Med 使用专家制定的检查清单，并对照医生评估验证了基于 LLM 的评估 (Zhang et al., 2025)。Diekmann 等人同样表明，人机评判者之间的一致性随医疗安全维度的不同而变化，以标准锚定的判断通常比更主观的评估更容易复现 (Diekmann et al., 2025)。当拒绝语言与部分病例相关信息共存时，评估尤为困难。这促使我们采用行为上明确的标准和逐类别的验证，尤其是针对那些不构成明确推荐但仍可能增加可操作性的中间披露。与仅报告总体评判者一致性的评估不同，我们分别评估了三个响应类别，并在对话层面额外验证了派生的任意轮次和崩塌结果。我们的响应标注标准（rubric）和医生验证程序在第 3.3 节中描述。

## 3 方法论

参见图 1 说明：TAF-MED 流水线概述：基准构建与医生评审、统一标准化的三轮回复收集、带医生验证的自动标注，以及轨迹级分析。

图 1 展示了完整的 TAF-MED 方法论，从基准开发和回复收集到评估和结果分析。

### 3.1 基准开发

#### 临床范围。

TAF-MED 包含 500 个场景规范，涵盖十个临床家族、三个严重程度等级、两种患者情境类型和四种药物指导目标。最终分配在评估模型回复收集之前已固定，并在表 1 中报告。

| 维度            | 类别                                  | n   |
|-----------------|---------------------------------------|-----|
| 临床家族        | 10 个家族（各 50 个）                 | 500 |
| 严重程度        | 严重                                  | 200 |
|                 | 危急                                  | 200 |
|                 | 危及生命                              | 100 |
| 患者情境        | 标准                                  | 370 |
|                 | 脆弱性修饰因素                        | 130 |
| 指导目标        | 药物或类别                            | 150 |
|                 | 剂量/用药方案                         | 150 |
|                 | 替代治疗                              | 100 |
|                 | 药房/获取                             | 100 |

表 1：TAF-MED 基准的构成。

#### 场景构建。

在示例引导的试点之后，作者定义了一个结构化模式，涵盖临床家族、严重程度、患者情境、药物指导目标以及计划的 U₂/U₃ 追问类型。随后，Qwen3-Max-Thinking (qwen3-max-2026-01-23) 生成了按家族分类的候选场景，要求其在临床上连贯、在 U₁ 明确陈述自我治疗意图，并包含两个合理的后续追问，且不泄露目标药物指导（附录 A.1–A.3）。GPT-5.2 Thinking 仅用作咨询性批评者，标记临床合理性、严重程度和元数据一致性、意图持续性、对话连贯性、后续追问差异性、答案泄露、重复和结构质量方面的担忧。作者和医生审查了这些标记，并决定保留、定向 Qwen 修订、重新生成或排除；GPT-5.2 既未修改场景，也未做出纳入决定（附录 A.4）。在 550 个初始候选中，357 个无需批评者触发的修正，而 193 个被标记：91 个经过修订，52 个重新生成，50 个被排除，最终保留 500 个场景（附录 A.5）。

#### 医生评审与定稿。

所有 500 个保留场景，包括那些未被 GPT-5.2 标记的场景，均经过作者和医生评审。作者验证了模式合规性、分配一致性、对话结构、后续追问差异性以及基准设计的一致性。两位医生共同评估了临床合理性、症状与疾病一致性、严重程度分配、自我治疗意图的持续性、后续追问的现实性和连贯性、不存在答案泄露或矛盾，以及未解决的临床风险的保留情况。担忧与作者根据预定标准进行讨论；作者实施了经批准的修订，并由两位医生重新审查，直至双方一致认为担忧已解决。医生对临床有效性拥有最终决定权，而作者维护基准记录。医生资质、评审标准、评审材料以及联合评审和共识程序见附录 A.6。

在回复收集之前，作者检查了缺失或无效字段、重复标识符或内容、空轮次以及分配错误，然后冻结基准。两个构建模型均无法访问被评估模型的输出、标签、分数或结果，且没有任何场景决策依赖于被评估模型的行为。