临床访谈抑郁检测基准的多探针审计

arXiv cs.CL 论文
depression-detection clinical-interviews benchmark-audit multi-probe evaluation daic cmdc

摘要

本文通过四个互补探针对五个数据集（DAIC/E-DAIC、CMDC、ANDROIDS、MODMA和PDCH）中的临床访谈抑郁检测基准评估进行审计，发现标准评估协议可能高估模型性能，且排行榜排名缺乏稳定性。

arXiv:2605.23977v1 公告类型: 新 摘要: 本文通过四个互补探针对DAIC/E-DAIC、CMDC、ANDROIDS、MODMA和PDCH五个数据集中的临床访谈抑郁检测基准评估进行审计。首先，我们在严格的受试者不重叠的留一受试者交叉验证下重新评估E-DAIC。一个轻量级的文本加LLM分数混合模型达到macro-F1=0.723——据我们所知，这是该协议下报告的最高值——提供了一个保守的折叠外参考点，且不依赖于特权的官方保留集。其次，我们通过扫描跨模态组合、池化策略和学习器的96种模型配置，测试E-DAIC官方分割是否支持细粒度的排行榜排名。开发侧交叉验证和官方测试排名仅中等程度一致：最佳交叉验证配置在官方测试中排名第20，官方测试赢家在交叉验证中排名第41，前3名重叠为零，且明显赢家仅在32.3%的受试者自举中排名第一。第三，我们外部验证了在领域内达到接近天花板性能的强公共CMDC和ANDROIDS基线。对外部语料的零样本迁移明显较弱。最后，我们使用由SRDS标注器定义的配对症状密集与症状稀疏访谈片段，对E-DAIC文本和音频模型进行压力测试。文本得分在症状密集片段上急剧上升，而音频得分几乎持平；在所有五个种子中，文本减音频的差距均为正。
查看原文
查看缓存全文

缓存时间: 2026/05/26 09:00 

# 临床访谈抑郁症检测基准的多探针审计
来源：https://arxiv.org/abs/2605.23977
查看 PDF (https://arxiv.org/pdf/2605.23977)

> **摘要：**本文通过四个互补探针对 DAIC/E-DAIC、CMDC、ANDROIDS、MODMA 和 PDCH 的临床访谈抑郁症检测基准评估进行审计。首先，我们在严格的受试者分离的留一受试者交叉验证下重新评估 E-DAIC。一个轻量级混合文本加 LLM 分数模型达到了 macro-F1 = 0.723——据我们所知，这是该协议下报告的最高结果——提供了一个保守的折外参考点，不依赖于特权官方保留集。其次，我们通过横跨模态捆绑、池化策略和学习器的 96 种模型配置，测试 E-DAIC 官方划分是否支持细粒度排行榜排名。开发侧交叉验证和官方测试排名仅中等一致：最佳交叉验证配置在官方测试中排名第 20，官方测试获胜者按交叉验证排名第 41，前三重叠为零，且明显获胜者在受试者自助抽样中仅有 32.3% 的概率排名第一。第三，我们外部验证了在领域内达到接近天花板性能的强公共 CMDC 和 ANDROIDS 基线。向外部语料库的零样本迁移则明显较弱。最后，我们使用基于 SRDS 的标注器定义的症状密集与症状稀疏访谈片段对，对 E-DAIC 文本和音频模型进行压力测试。文本分数在症状密集片段上显著上升，而音频分数几乎持平；文本减音频差距在所有五个种子中均为正。

## 提交历史

来自：Takehiro Ishikawa \[查看邮件 (https://arxiv.org/show-email/0f13edff/2605.23977)\] **\[v1\]** 2026年5月13日星期三 17:32:41 UTC (347 KB)

相似文章

CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR

arXiv cs.AI

Introduces CliniCARE-Bench, a deployment-oriented benchmark for evaluating AI agents on clinical audit tasks over longitudinal EHR data, with 25 clinician-validated scenarios and 750 patient cases. It assesses verdict accuracy, evidence grounding, policy adherence, and calibrated abstention, finding that raw accuracy overstates investigation quality.

The MADRS Pipeline: Supporting Depression Assessment in Clinical Trials

arXiv cs.CL

This paper presents an LLM pipeline that converts clinical interview audio into transcripts, maps them to the ten MADRS depression items, estimates severity, and flags problematic ratings. Evaluation on real clinical interviews shows a strong correlation of 0.867 with expert ratings, offering interpretable support for depression assessment in clinical trials.