诊断之前先询问：Safe-Psych，面向精神科领域大语言模型的序贯评估基准

# 先询问，再诊断：Safe-Psych——面向精神科大语言模型的序贯评估基准 来源：https://arxiv.org/html/2607.13036

Oriana Presacan¹, Andreea Grama², Larisa Irimină², Alireza Nik³, Jaya Ojha⁴, Vajira Thambawita⁵, Ciprian I. Băcilă⁶, Bogdan Ionescu¹, Michael A. Riegler⁵  
¹布加勒斯特理工大学，²格奥尔基·普雷达精神病医院，³奥斯陆城市大学，⁴克里斯蒂亚尼亚大学学院，⁵SimulaMet，⁶锡比乌卢奇安·布拉加大学

###### 摘要

大语言模型(LLMs)在医疗决策支持中的应用日益广泛，但临床证据往往不完整或处于演变之中。当现有信息不足以支持可靠回答时，模型应请求澄清或选择弃权，而非提供没有依据的回应。然而，现有的医疗基准通常假设完整信息事先已全部具备。我们提出 Safe-Psych，一个用于评估 LLMs 在临床精神病学中如何处理不断演变的诊断不确定性的序贯基准。Safe-Psych 包含超过 1,000 份真实世界的精神科临床笔记，这些笔记被分段以模拟逐步的信息披露，并在每个阶段附有精神科医生推导出的行为标签：诊断(DIAGNOSE)、澄清(CLARIFY)或弃权(ABSTAIN)。我们在全信息和序贯设置下评估了多个最先进的 LLMs。我们的研究表明，能力并不保证校准：即使强大的模型在不完整的临床信息下也会表现不佳，大多数模型的欠弃权率超过 60%，而安全感知提示仅在将错误转移到过度弃权后才减少过早决策。在序贯评估中，模型常常在证据不足时进行诊断，除非明确提示，否则很少寻求澄清；这些过早诊断的准确性低于按时诊断。总体而言，Safe-Psych 揭示了所有被评估模型的一个局限性：未能认识到临床证据不完整以及需要额外信息。我们发布 Safe-Psych 以支持改善 LLMs 在医疗领域安全性的研究。¹¹代码可在 Safe-Psych (https://anonymous.4open.science/status/Safe-Psych-32C1) 获取。

## 1 引言

在医疗领域，大语言模型(LLM)的安全性不容妥协。安全性不仅要求给出正确答案，还要求认识到何时不应作答。然而，大多数现有基准都是在假设正确答案始终存在的前提下评估 LLMs。但在真实的临床环境中，可用信息往往不完整或模棱两可。在这种情况下，正确的做法不是猜测，而是请求额外信息或弃权。

传统的医疗基准，如 MedMCQA[19 (https://arxiv.org/html/2607.13036#bib.bib15)] 和 PubMedQA[10 (https://arxiv.org/html/2607.13036#bib.bib16)]，主要通过问答来评估事实性医学知识。虽然这些形式有价值，但它们只捕捉了真实临床实践的一部分。最近的基准，包括 HealthBench[4 (https://arxiv.org/html/2607.13036#bib.bib17)] 和 MediQ[14 (https://arxiv.org/html/2607.13036#bib.bib2)]，通过强调对话和寻求澄清，向更真实的交互迈进一步。

聚焦弃权的评估也引起了关注。例如，AbstentionBench[13 (https://arxiv.org/html/2607.13036#bib.bib4)] 涵盖了多样化的弃权场景，包括未明确指定的上下文和模糊查询；其源自 MediQ 的医疗子集在弃权召回率上表现最低，凸显了医疗领域弃权的难度。类似地，MedAbstain[15 (https://arxiv.org/html/2607.13036#bib.bib19)] 引入了临床选择题的信息缺失变体，并表明模型在临床不确定性下往往保持过度自信。

然而，现有的弃权评估在两个方面仍然有限。首先，它们侧重于改善弃权，但忽略了过度弃权的互补风险，即模型在可能给出恰当答案时仍然拒绝回答。其次，它们将不确定性框定为二元的弃权或回答问题，忽略了寻求澄清这一在临床上重要的替代方案。在实践中，信息不完整时往往需要在诊断或弃权之前收集更多证据。静态的弃权或回答设置无法捕捉模型行为如何随证据积累而变化，包括模型是否寻求澄清、过早做出决定，或仅在不确定性持续存在时才弃权。这在临床环境中尤其重要，因为决策往往需要随着新证据的出现而修订。

请看图注Figure 1: 传统基准 vs. Safe-Psych. (a) 传统基准事先提供完整信息。 (b–c) Safe-Psych 逐步揭示信息，并评估模型是否在证据充分时进行澄清或诊断 (b)，或在信息仍然不完整时弃权 (c)。

精神病学是一个完美的例子：诊断判断在多个阶段进行，并且面临极大的不确定性。与其他医疗领域（如实验室测试或影像学可以提供相对直接的证据[11 (https://arxiv.org/html/2607.13036#bib.bib20)]）不同，精神病学诊断基于对行为、症状和患者报告体验的解释[2 (https://arxiv.org/html/2607.13036#bib.bib21)]。这些信号可能不一致、不完整或有选择性地披露，使得可靠评估变得困难。在实际医院实践中，精神科评估也是逐步进行的：临床医生从患者呈现的症状和观察到的行为开始，然后回顾精神病史，进行精神科和心理检查，收集侧面信息，并进行医学检查以排除其他疾病，最后完善诊断假设[17 (https://arxiv.org/html/2607.13036#bib.bib22)]。这些特征使精神病学成为评估模型如何处理随时间显现的临床不确定性的自然场景，尤其是考虑到最近的证据表明 LLMs 在直接提示下会在精神科背景下过度诊断[21 (https://arxiv.org/html/2607.13036#bib.bib8)]，并且在评估的临床领域中精神科表现最弱[5 (https://arxiv.org/html/2607.13036#bib.bib5)]。

在本文中，我们介绍 Safe-Psych，一个用于评估模型在精神科临床笔记中应对不断演变的诊断不确定性时的行为的序贯评估基准 (Figure1 (https://arxiv.org/html/2607.13036#S1.F1))。每份笔记被组织成五个部分：呈现症状、精神病史、精神科检查、心理检查以及其他诊断，从而能够评估信息逐步披露时模型的决策。所有笔记由两位精神科医生标注，争议由第三位仲裁精神科医生解决。他们的标注用于为每个部分推导逐阶段的行为标签：诊断、澄清和弃权。我们评估了九个最先进的 LLMs，包括闭源模型 (GPT-5.4、Claude-Opus-4.6 和 Gemini-2.5-Flash)、开源模型 (不同大小的 Gemma-3、Mistral-3.1-24B、Qwen-3-32B) 以及医学模型 (MedGemma-27B、Med42-v2-8B)，并采用多种提示策略。一个独立的评判模型随后将每个自由形式的回答映射到三个基准行为之一。这一设置共同实现了对以下方面的受控评估：模型在信息不完整时是否寻求澄清，在适合决策时是否进行诊断，以及在不确定性未解决时是否弃权。

我们的主要贡献如下：
- • 我们引入了一个公开可用的数据集，包含 1,048 份真实世界的精神科临床笔记，并附有 ground-truth ICD-10 诊断。²²数据可在 Hugging Face 获取：Safe-Psych (https://huggingface.co/datasets/safepsych/Safe-Psych)。
- • 我们提出了一种序贯评估协议，区分了三种临床决策模式：澄清、诊断和弃权；据我们所知，这是精神科诊断领域的首个此类基准。
- • 我们表明，SOTA LLMs 在不完整的临床信息下校准不良：它们常常过早进行诊断，而安全感知提示仅在以过度弃权为代价的情况下才减少过早决策。

## 2 数据

### 2.1 伦理考虑

本研究分析了来自罗马尼亚一家精神病医院的临床文本，并在正式机构监督下进行。医院伦理委员会批准了匿名化精神科临床笔记的使用和公开发布，详见附录 A.1 (https://arxiv.org/html/2607.13036#A1.SS1)。所有病例在分析前均在机构层面进行了匿名化处理：移除了直接和间接标识符，并应用了额外的数据最小化程序，通过删除或泛化准标识符来降低重新识别的风险。匿名化程序在附录 A.2 (https://arxiv.org/html/2607.13036#A1.SS2) 中描述。随后，数据集使用本地部署的 LLM 从罗马尼亚语翻译成英语，所有实验和分析均在英文版本上进行。仅公开发布英文版本；原始的罗马尼亚语笔记未用于实验，也不共享。翻译和评估的详细信息见附录 B.1 (https://arxiv.org/html/2607.13036#A2.SS1)。

### 2.2 数据描述

病例从大量医院笔记集合中选出，应用了成人精神科入院、诊断稳定以及足够的临床细节等过滤器 (附录 B.2 (https://arxiv.org/html/2607.13036#A2.SS2))。每份临床笔记被分为五个部分：(1) 呈现症状，包括患者自述的主诉和临床医生在入院时的初步观察；(2) 精神病史，指示患者是否曾有过精神科住院史，其他识别细节在匿名化过程中已移除；(3) 精神科检查，总结精神科医生基于访谈的精神状态评估；(4) 心理检查，由临床心理学家进行，通常包括标准化心理测试的评分，有助于描述病情的严重程度；(5) 与精神科状况相关的其他诊断，捕捉影响精神科表现的内科因素，如中风或癫痫，进一步细节因隐私原因被移除。因此，每个临床案例表示为 Ti 个文本部分的顺序序列，其中 3 ≤ Ti ≤ 5，取决于各部分的可用性。附录 B.3 (https://arxiv.org/html/2607.13036#A2.SS3) 提供了一个说明性示例。

我们未使用原始的医院诊断作为 ground truth，因为临床医生可以直接接触患者，可能依赖于未完全记录在书面笔记中的信息。匿名化可能也移除或泛化了临床相关细节，增加了临床医生可获取信息与模型可获取信息之间的差距。此外，保留原始诊断以及人口统计学和临床属性可能会增加重新识别的风险。因此，我们仅使用匿名化记录对所有病例进行了重新标注。

### 2.3 人工标注协议

两位精神科医生独立标注了所有临床笔记。每位标注者审阅了完整病例，如上所述被分段为最多五个部分。标注者首先确定病例是否包含足够的信息来支持诊断。对于判定为足够的病例，他们分配一个 ICD-10 诊断，并确定可用的信息最早在哪个部分就已足够支持该诊断。对于判定为不足的病例，他们记录了支持诊断所需的缺失信息。关于信息充分性或所分配诊断的任何分歧，均由一位资深精神科医生通过盲法仲裁解决，其决定作为最终的参考标签。

#### 2.3.1 标注一致性

##### 信息充分性

在由两位精神科医生独立标注的 1,048 个病例中，标注者在信息充分与不充分的判断上一致率达 90.4%。经机会校正的一致性，Cohen's κ 为中等水平 (κ=0.593)，而 Gwet's AC1 为高水平 (0.874)。这种差异在观察到的类别不平衡情况下是预期的：81% 的病例被标记为充分，9% 标记为不充分，其余 10% 是标注者之间的分歧 (参见混淆矩阵 1(a) (https://arxiv.org/html/2607.13036#A2.F1.sf1))。由于 Cohen's κ 对偏斜的标签分布敏感，我们在此情况下报告 Gwet's AC1 作为更稳定的一致性估计。分歧已通过仲裁解决。

##### 最早的诊断部分

在两位标注者都认为笔记足够的病例中，关于最早充分部分的一致性为 94.1%。在分歧的情况下，我们采用两个部分中较早的那个。这两个标签——信息充分与否的判断以及最早适合诊断的部分——构成了我们基准中评估的主要基础。

##### 诊断一致性

在两位标注者都认为可用信息足以进行诊断的病例中，我们在三个层面测量了诊断一致性：完整 ICD-10 代码 (例如，F32.1)、三位字符 ICD-10 类别 (例如，F32) 以及主要诊断组 (例如，F30–F39 代表情感障碍)。一致性从完整代码层面的 79.9% 增加到类别层面的 81.0% 和诊断组层面的 89.5%。这表明分歧更多地是关于相关疾病家族内的具体诊断，而非更广泛的临床综合征。这种模式与精神科诊断的结构一致，其中相关疾病之间的界限可能依赖于情境，并且不如以生物标志物锚定的医学领域那般明确[12 (https://arxiv.org/html/2607.13036#bib.bib11),1 (https://arxiv.org/html/2607.13036#bib.bib9)]。先前工作也表明诊断可靠性因诊断程序和疾病而异[20 (https://arxiv.org/html/2607.13036#bib.bib10)]。类似地，我们按诊断的分析发现，对于抑郁障碍的一致性较高，而对于较宽泛或较不具体的类别，如急性而短暂的精神病性障碍，则一致性较低 (附录表 3 (https://arxiv.org/html/2607.13036#A2.T3))。因此，分歧集中在特定的诊断类别，而非均匀分布在数据集中。由于精神科诊断可靠性本质上复杂，我们将诊断预测视为次要分析。诊断准确性以描述性方式报告，而 Safe-Psych 的主要焦点是决策行为：模型在临床信息展开时是进行诊断、寻求澄清还是弃权。

请看图注 Figure 2: 人工标注到行为管线的转换。精神科医生判断信息充分性、最早充分部分和诊断；这些被转换为澄清、诊断和弃权。

表 1: 评判验证 (n=149)。Fleiss' κ 用于 PrimaryAnswer (Ans.)、InfoRequest (Req.) 和最终 Action (Act.)。人类值基于三位标注者计算；GPT-5.4 通过将其添加为第四位评分者计算。宏观 F1 和候选评判结果见附录 4 (https://arxiv.org/html/2607.13036#A3.T4)。

## 3 Safe-Psych 基准

### 3.1 任务定义

我们为 LLMs 定义一个序贯评估协议，其中模型在每个步骤的行为决定了临床轨迹是否继续。