停止安全吗?序列临床诊断代理的风险约束停止机制
摘要
本文介绍了Cros,一种用于序列临床诊断代理的风险约束停止层,确保诊断错误和覆盖率的有限样本保证,并在源自MIMIC的基准上进行评估。
arXiv:2609.09678v1 公告类型:新
摘要:临床诊断代理不仅必须决定下一步请求什么测试,还需要决定何时诊断或推迟。现有代理基准主要评估固定或无约束交互后的准确性,隐式地忽略了自主停止的可靠性。我们提出Cros,一种风险约束停止层,结合了逐状态错误排序、在不相交开发分割上的策略设计,以及LTT风格的精确测试,用于选择性诊断错误和完整序列策略的最小自主覆盖率。其有限样本保证要求在访问校准标签之前冻结候选族、测试规则和任何随机化。在源自MIMIC的1834集腹部疼痛基准上,完整排序器实现了探索性状态错误AUROC为0.853,而最大类别概率为0.715,骨干网络的原始停止分数为0.552。在先前查看的367集评估分割上,分析平均冻结的Cros权重得出选择性错误为16.9%,覆盖率为78.8%,成本为5.57,测试次数为0.68,而原始停止下错误为30.8%,覆盖率为100%,成本为8.14,测试次数为1.53。强制继续是非单调的:仅HPI时错误为28.3%,完整检查后为34.3%。然而,均匀权重混合消融在这个查看的分割上更便宜,尽管缺少锁定的开发边界,并且Cros仅在20个开发重分割中的6个满足联合标准。由于评估标签在早期开发期间被检查,这些发现提供探索性可行性和审计证据,而非确认性安全证书。
查看缓存全文
缓存时间: 2026/09/11 08:39
# 安全停止?用于序列临床诊断智能体的风险约束停止策略
来源:https://arxiv.org/html/2609.09678
**余越新**
单位:计算机科学系
单位:孟菲斯大学
邮箱:[ywu10@memphis\.edu](mailto:)
**瓦西列·鲁斯**
单位:计算机科学系
单位:孟菲斯大学
邮箱:[vrus@memphis\.edu](mailto:)
###### 摘要
临床诊断智能体不仅需要决定接下来请求何种检查,还需决定何时进行诊断或暂缓。现有智能体基准测试主要在固定或无约束交互后评估准确性,使得自主停止的可靠性成为隐性指标。本文提出 **Cros**(临床风险约束最优停止),一种结合状态级误差排序、在不相交开发集上设计策略,以及对完整序列策略进行 **LTT** 风格的选择性诊断误差与最低自主覆盖率精确检验的风险约束停止层。其有限样本保证要求候选策略族、检验规则及任何随机化操作在校准标签获取前即已固定。在一个源自 **MIMIC** 的1,834集腹部疼痛基准测试中,完整排序器实现了0.853的探索性状态-误差AUROC,而最大类别概率和骨干网络原生停止分数分别为0.715和0.552。在之前审查过的367集评估子集上,对冻结的 **Cros-Mix** 权重进行解析平均,在78.8%的覆盖率下选择性误差为16.9%,成本为5.57,检查次数为0.68;相比之下,原生停止策略在100%覆盖率下误差为30.8%,成本为8.14,检查次数为1.53。强制继续并非单调:单独使用现病史(HPI)误差为28.3%,而完成全部检查后误差升至34.3%。然而,均匀权重混合消融实验在此审查过的子集中成本更低,尽管它未满足锁定的开发集裕度要求,并且 **Cros-Mix** 仅在20次开发重划分中的6次名义上满足联合标准。由于评估标签在早期开发阶段已被检查,这些发现仅提供探索性可行性与审计证据,而非确认性安全证书。
## 1 引言
语言模型智能体能够生成鉴别诊断、请求检查、读取新发现并修正其假设。近期系统和基准测试已使此类交互愈发真实(Hager et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib1); Schmidgall et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib3); Liu et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib4); Bani-Harouni et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib2))。然而,一个核心决策仍定义模糊:智能体应在何时停止获取信息并承诺自主诊断?停止过早可能遗漏重大疾病;停止过晚则浪费检查,并可能使患者暴露于可避免的程序。未校准的置信度阈值不提供有限样本联合风险-覆盖率保证,而无约束的经验成本最小化可能对选择样本过拟合(Angelopoulos et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib8); Laufer-Goldshtein et al., 2023 (https://arxiv.org/html/2609.09678#bib.bib16))。
我们将序列诊断表述为选择性、风险约束的停止问题。在每个阶段,智能体观察历史记录,提出诊断和下一项检查,而停止层或接受诊断、继续共享采集轨迹,或暂缓。所需策略在满足两个群体约束条件下最小化资源成本:自主决策中的条件诊断误差不超过α,且自主覆盖率不低于γ。这不同于普通选择性分类(Geifman and El-Yaniv, 2017 (https://arxiv.org/html/2609.09678#bib.bib10); Geifman and El-Yaniv, 2019 (https://arxiv.org/html/2609.09678#bib.bib11)):预测质量和信息状态都会在智能体轨迹中演变。
我们的方法 **Cros**(临床风险约束最优停止)将表示、设计和校准分离。此处,“最优”指在有限、选择已冻结的阈值-时界策略族内实现成本最小化;Cros 并非求解无约束贝尔曼最优停止或优化骨干网络的检查采集策略。首先,风险排序器对骨干网络当前诊断错误的可能性进行评分。其次,选择集划分冻结候选策略族,并可选随机化混合以最小化期望成本。第三,前瞻性新鲜校准集可提供误差与覆盖率的精确二项 p 值。来自学习-然后-测试(LTT)的多重检验程序(Angelopoulos et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib8))将候选策略检验转换为有限样本保证。停止层与骨干网络无关且可审计:每个动作、观测、风险分数、停止/继续/暂缓结果及校准统计量均被记录。在本研究中,先前公开的标签意味着相同计算属于探索性校准检查,而非已实现的前瞻性保证。
我们做出四项贡献:
1. 1. 我们调整并实现了 LTT 风格的联合检验,针对完整序列停止策略的选择性诊断误差与最低自主覆盖率,在确定性或按集随机化策略在校准前冻结时获得精确有限样本保证。
2. 2. 我们实例化了按集随机化的确定性停止策略混合;命题1(https://arxiv.org/html/2609.09678#Thmproposition1)表明最优基本可行混合最多需要三个组成策略,并且在按集独立随机化时仍与精确校准兼容。
3. 3. 我们构建了一个可审计的回顾性基准,包含1,834个源自MICIC的急诊集、12种非均匀成本动作、记录结果缺失,以及通过常见骨干网络比较以隔离停止与诊断及检查提议质量。
4. 4. 我们报告了有利与不利证据:完整排序器优于简单分数但在诊断语言掩蔽下性能下降,强制继续非单调,优化混合在评估中未优于均匀混合,20次重划分可行性不稳定,且整体控制不确保子组安全。
## 2 相关工作
#### 临床决策智能体。
MIMIC-CDM 评估大语言模型在序列临床决策中的表现,并揭示了诊断推理与工具使用方面的局限(Hager et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib1))。AgentClinic 提供多模态模拟临床环境(Schmidgall et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib3));MedChain 强调交互式、序列临床基准(Liu et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib4));DxChain 使用全景分析与对抗辩论(Lv et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib5))。LA-CDM 使用强化学习训练假设与决策智能体,以选择检查并更新诊断(Bani-Harouni et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib2))。这些系统激发了与本基准相同的采集循环。我们的目标是互补的:在可能时固定诊断骨干网络及其动作轨迹,然后评估停止控制器能否提供可检验的群体保证。
#### 资源感知序列诊断。
MAI-DxO 评估诊断准确性并联合考虑适应性请求检查的成本(Nori et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib25))。ACTMED 使用贝叶斯实验设计选择下一项检查(Ruhrberg Estévez et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib26)),成本敏感强化学习学习适应性检查面板策略(Yu et al., 2023 (https://arxiv.org/html/2609.09678#bib.bib30)),而潜在诊断轨迹学习训练规划与诊断智能体沿学习路径获取证据(Shen et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib27))。这些方法可改变所选检查,从而改变轨迹。Cros 并非端到端采集方法:其共同路径设计固定骨干网络诊断、检查提议与强制继续轨迹,以隔离控制器是停止、继续执行骨干提议检查,还是暂缓。
#### 选择性预测与风险控制。
选择性分类器在不确定样本上拒绝,以覆盖率交换条件误差(Geifman and El-Yaniv, 2017 (https://arxiv.org/html/2609.09678#bib.bib10); Geifman and El-Yaniv, 2019 (https://arxiv.org/html/2609.09678#bib.bib11))。分布无关风险控制预测集与共形风险控制扩展了超出边际覆盖率的校准(Bates et al., 2021 (https://arxiv.org/html/2609.09678#bib.bib12); Angelopoulos et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib9))。LTT 将风险约束转化为假设检验,并控制从有限族中选择无效程序的概率(Angelopoulos et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib8))。几何校准共形拒绝为语言模型生成的开放式响应的参与度与正确性提供有限样本保证(Xu et al., 2026b (https://arxiv.org/html/2609.09678#bib.bib23)),而 SCoRE 使用共形 e 值控制所选输出的一般有界风险(Bai and Jin, 2026 (https://arxiv.org/html/2609.09678#bib.bib24))。因此,选择性风险控制或参与度保证本身并非新概念。我们将这些思想应用于一个有状态的临床停止问题,其中完整的、冻结的策略接受条件诊断误差与自主覆盖率下限的联合检验,资源成本用于策略设计与比较而非包含在有效性声明中。精确保证针对校准前选定的策略,而非所学风险分数的准确性。
#### 临床停止与拒绝。
不确定性感知拒绝已在静态医学文本预测中得到研究(Vazhentsev et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib29)),而 Safe-Psych 评估随着精神病学证据逐步揭示时的诊断、澄清与拒绝决策(Presacan et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib28))。MediQ 研究交互式临床诊断,模型在信息不足时不诊断并询问后续问题,但不提供选择性诊断误差与自主覆盖率的有限样本联合控制(Li et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib31))。Foo 和 Chang 将阶段性临床预测表述为具有显式决策与测试成本以及贝尔曼递归的期望损失最优停止问题(Foo and Chang, 2026 (https://arxiv.org/html/2609.09678#bib.bib21))。其目标优化期望决策价值是否值得进一步测试;它不提供 Cros 对条件诊断误差与最低自主覆盖率的精确联合检验。Cros 则冻结在不相交开发数据上选定的完整序列策略,然后对该策略进行联合检验。此区别是方法论上的,而非声称贝尔曼停止、交互式临床诊断或临床拒绝是新颖的。
#### 校准序列停止与采集。
LTT 风格的有限样本风险控制并非本工作的创新。Pareto Testing 结合多目标设计与多重检验(Laufer-Goldshtein et al., 2023 (https://arxiv.org/html/2609.09678#bib.bib16)),而累积精度间隙控制为早期时间分类提供分布无关停止规则(Ringel et al., 2024 (https://arxiv.org/html/2609.09678#bib.bib17))。MiCP 在检索、工具使用与推理工作流的轮次中分配误差预算,在实现整体共形覆盖率的同时,通过适应性提前停止减少轮次与推理成本(Zhou et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib22))。其保证涉及多轮推理中最终预测集的覆盖率;而 Cros 检验的是冻结的停止-继续-暂缓控制器在共同临床轨迹上的选择性诊断误差与最低自主覆盖率。其他近期工作研究选择性共形风险控制(Xu et al., 2025 (https://arxiv.org/html/2609.09678#bib.bib18))、计算预算下的推理时推理(Wang et al., 2026 (https://arxiv.org/html/2609.09678#bib.bib19)),以及当可请求额外证据时的采集后重新校准(Xu et al., 2026a (https://arxiv.org/html/2609.09678#bib.bib20))。这些研究已建立了序列校准、联合效用-风险设计或成本感知采集的重要形式。我们更窄的贡献是将它们整合到序列临床诊断中:状态级临床风险排序器、最低自主覆盖率约束、共同路径 MIMIC 基准测试以及按集混合。混合的稀疏性是标准线性规划结果,而非新的优化定理。
## 3 风险约束序列诊断
### 3.1 问题设定
一个医疗集 \(Z = (X_0, Y, O_{1:H})\) 包含初始表现 \(X_0\)、参考诊断 \(Y \in \{1, \ldots, K\}\),以及沿最大时界 \(H\) 的潜在记录观测。此处 \(H\) 是一个医疗集中可用的最大检查采集阶段数(在我们的基准中 \(H = 12\))。特定策略的时界 \(h \leq H\) 决定了该策略必须停止或暂缓的最晚阶段。在阶段 \(t\),骨干网络拥有历史 \(S_t = (X_0, A_{1:t}, O_{1:t})\),产生诊断 \(\widehat{Y}_t\),并提议下一项检查 \(A_{t+1} \in \mathcal{A}\)。停止控制器 \(\pi\) 将观测到的历史与骨干网络当前提议映射为停止、继续或暂缓。继续将揭示骨干提议轨迹上的下一个记录结果;Cros 控制该提议是否执行,但从不替换为不同的检查。此共同路径交互总结于图1(https://arxiv.org/html/2609.09678#S3.F1)。
令 \(T_\pi\) 表示控制器接受诊断或暂缓的终止阶段,并令若返回自主诊断则 \(D_\pi(Z) = 1\),若暂缓则 \(D_\pi(Z) = 0\)。定义:
\[
\mathcal{R}(\pi) = \Pr\left(\widehat{Y}_{T_\pi} \neq Y \mid D_\pi = 1\right), \tag{1}
\]
\[
\mathcal{C}(\pi) = \Pr(D_\pi = 1), \tag{2}
\]
\[
\mathcal{J}(\pi) = \mathbb{E}\left[\sum_{t=1}^{T_\pi} M_{\text{test},t} \cdot \mathbb{I}(D_\pi = 1)\right], \tag{3}
\]
其中 \(\mathcal{R}(\pi)\) 是条件诊断误差,\(\mathcal{C}(\pi)\) 是自主覆盖率,\(\mathcal{J}(\pi)\) 是期望检查成本,\(M_{\text{test},t}\) 是阶段 \(t\) 的检查成本,\(\mathbb{I}\) 是指示函数。我们希望找到策略 \(\pi\),在满足 \(\mathcal{R}(\pi) \leq \alpha\) 和 \(\mathcal{C}(\pi) \geq \gamma\) 的约束下,最小化 \(\mathcal{J}(\pi)\)。
### 3.2 候选策略族与选择
考虑有限策略族 \(\Pi = \{\pi_j\}_{j=1}^J\),其中每个 \(\pi_j\) 由阈值 \(\tau_j\) 与时界 \(h_j\) 定义:若风险排序器分数超过 \(\tau_j\) 或在阶段 \(h_j\) 未停止,则暂缓;否则在阶段 \(h_j\) 停止并诊断。在选择阶段,我们使用开发集上的数据为每个 \(\pi_j\) 估计经验误差 \(\widehat{\mathcal{R}}_j = E_j / M_j\) 与覆盖率 \(\widehat{\mathcal{C}}_j = M_j / n\),其中 \(M_j\) 是自主决策数,\(E_j\) 是其中错误数,\(n\) 是开发集大小。若 \(M_j > 0\),则 \(E_j / M_j\) 是经验选择性诊断误差。若某候选策略的群体风险超过 \(\alpha\) 或群体覆盖率低于 \(\gamma\),则其无效。
### 3.3 联合检验与保证
我们检验联合原假设 \(H_j: \{\mathcal{R}(\pi_j) > \alpha\} \cup \{\mathcal{C}(\pi_j) < \gamma\}\)。拒绝 \(H_j\) 需要同时反驳两种失效模式:策略必须具有足够少的自主错误和足够多的自主诊断。令 \(F_{\text{Bin}}(k; m, p)\) 表示二项随机变量 \(\text{Binomial}(m, p)\) 不超过 \(k\) 的概率。对应的一侧精确分量 p 值为:
\[
p_{R,j} = F_{\text{Bin}}(E_j; M_j, \alpha), \quad p_{C,j} = 1 - F_{\text{Bin}}(M_j - 1; n, \gamma). \tag{4}
\]
当策略错误数异常少于预期时,风险 p 值变小;当自主诊断数异常少时,覆盖率 p 值变小。然后,我们应用多重检验程序(如 Benjamini-Hochberg 或 Bonferroni)来控制族错误率(FER)。具体地,若对于所有 \(j\) 有 \(\min(p_{R,j}, p_{C,j}) \leq \delta_j\),则拒绝 \(H_j\),其中 \(\delta_j\) 是根据所需 FER 与方法确定的调整后阈值。若我们拒绝所有 \(H_j\),则剩余未拒绝的候选策略构成一个有限样本保证集合,其联合风险与覆盖率满足约束的概率至少为 \(1 - \text{FER}\)。相似文章
CDPR:基于反事实优势的信用分配方法在成本感知序列医疗诊断中的应用
CDPR是一种基于反事实优势的信用分配方法,用于通过强化学习训练成本感知的序列医疗诊断模型,在提高诊断准确性的同时减少检查成本和数量。
通过反事实临床审计揭示ICU脓毒症管理中医学离线强化学习的毒性模仿
本文介绍了反事实临床审计(CCA)框架,用于评估ICU脓毒症管理的离线强化学习智能体,揭示了‘毒性模仿’——智能体复制标准指标无法检测的有害治疗模式。使用MIMIC-III数据,表明医学决策Transformer在乳酸升高时未能升级血管加压药,而因果Transformer表现安全。
MedDDC-Eval: 多轮医疗咨询智能体的诊断解耦评估
MedDDC-Eval引入了一个针对多轮医疗咨询智能体的诊断解耦评估测试平台,将策略引导的对话历史与诊断生成分离,以实现对证据获取和诊断有用性的更清晰测量。
ClinLens:面向纵向多模态临床数据科学的长期编码智能体
ClinLens是一个新的基准,包含200个可执行的临床数据科学任务,涵盖五个相互关联的MIMIC资源,评估长期编码智能体在纵向多模态数据上的表现。结果显示代码执行能力强,但临床分析正确性较差,凸显了可运行提交与有效分析之间的差距。
诊断之前先询问:Safe-Psych,面向精神科领域大语言模型的序贯评估基准
介绍了Safe-Psych,一个用于评估大语言模型如何在精神科处理诊断不确定性的序贯基准,结果显示即使是强大的模型在临床证据不完整时也常常无法放弃诊断或寻求澄清。