ASD-Bench：用于自闭症谱系障碍的 AI 模型四维综合基准测试

# 1 引言 来源：https://arxiv.org/html/2605.11091 ASD-Bench：自闭症谱系障碍（ASD）人工智能模型的四维度综合基准测试 Shubhankit Singh1,∗Hassan Shaikh1,2,†Kuldeep Raghuwanshi1,3,†Keshav Bulia1,2,† 1Research Commons AI2IIT Bombay3IIT Delhi ∗通讯作者†同等贡献 [email protected] 关键词：自闭症谱系障碍，AQ-10，临床人工智能，表格基准，AI/ML模型 ###### 摘要 自动化的ASD筛查工具目前仍受限于单一架构评估、维度受限的评估以及几乎完全聚焦于成年队列，这掩盖了对早期干预至关重要的年龄特异性诊断模式。我们引入了 **ASD-Bench**，这是一个系统性的表格基准测试，在三个年龄队列（儿童1–11岁，青少年12–16岁，成人17–64岁）上，从四个维度评估机器学习、深度学习和基础模型配置：预测性能、校准度、可解释性和对抗鲁棒性。该基准应用于一个精选的v3数据集，包含4,068条AQ-10记录，涵盖经典模型（XGBoost、AdaBoost、随机森林、逻辑回归）、神经网络（MLP）、深度表格Transformer（TabNet、TabTransformer、FT-Transformer）以及 TabPFN v2。我们引入了 **启发式聚合惩罚（Heuristic Aggregate Penalty, HAP）**：一种成本敏感指标，对假阴性给予更重的惩罚，并结合交叉验证方差以确保部署稳定性。成人分类表现出高性能（17种模型中有10种达到完美的F1和AUC），而青少年则构成了更具挑战性的任务（F1上限为0.837，而儿童为0.915）。特征重要性层级在不同队列间发生转移：A9（社会动机）在儿童中占主导地位，A5（模式识别）在青少年中领先，而成人表现出较平坦的重要性分布，这与发育性社会伪装现象一致。准确度与校准度相互分离：AdaBoost在成人中实现了F1 = 1.000，但其ECE = 0.302，证实了单一指标评估对于临床AI而言是不够的。文中提供了针对特定队列的部署建议。所有发现应被解释为基于问卷衍生标签的概念验证证据，而非经过临床验证的诊断性能。 根据世界卫生组织2021年报告，每127人中就有1人患有自闭症谱系障碍（ASD）World Health Organization (2021 (https://arxiv.org/html/2605.11091#bib.bib1))，这是一种终身的神经发育状况，其特征在于社交沟通持续困难、局限且重复的行为以及非典型的感官处理American Psychiatric Association (2013 (https://arxiv.org/html/2605.11091#bib.bib2))。“谱系”一词捕捉了症状表现的异质性，范围从轻微的社会交往困难到严重的沟通障碍。过去二十年间，ASD的患病率显著增长Lundström and others (2015 (https://arxiv.org/html/2605.11091#bib.bib3))，给本就面临专家短缺和高昂评估压力的医疗系统带来了更大负担Baird and others (2006 (https://arxiv.org/html/2605.11091#bib.bib4))。由于及时的干预能显著改善认知、社交和行为结果Howlin and others (2004 (https://arxiv.org/html/2605.11091#bib.bib5))，早期识别在临床上至关重要，需要通过自闭症谱系商数量表10项（AQ-10）工具来解决，该工具能够实现快速、低成本的初步评估，适用于初级保健。 先前关于自动化ASD筛查的工作涉及三条线索。经典机器学习方法：支持向量机、随机森林和k近邻应用于AQ-10问卷数据Thabtah (2019 (https://arxiv.org/html/2605.11091#bib.bib10),2017 (https://arxiv.org/html/2605.11091#bib.bib11)); Allisonet al. (2012 (https://arxiv.org/html/2605.11091#bib.bib12))，这些方法在表格输入上依然具有竞争力；而深度学习在神经影像Bayram and others (2021 (https://arxiv.org/html/2605.11091#bib.bib6)); Heinsfeld and others (2017 (https://arxiv.org/html/2605.11091#bib.bib7)); Eslamiet al. (2021 (https://arxiv.org/html/2605.11091#bib.bib29)); Konget al. (2019 (https://arxiv.org/html/2605.11091#bib.bib9)); Liet al. (2022 (https://arxiv.org/html/2605.11091#bib.bib30))、眼动追踪Fanget al. (2020 (https://arxiv.org/html/2605.11091#bib.bib8))和视频Tariqet al. (2018 (https://arxiv.org/html/2605.11091#bib.bib28))上的扩展虽然在数据集内表现出高准确率，但需要常规临床环境中不可用的专用采集硬件。与此同时，现代深度表格架构应运而生，包括带有顺序注意力和实例级特征掩码的TabNetArık and Pfister (2021 (https://arxiv.org/html/2605.11091#bib.bib13))、对特征嵌入应用自注意力的TabTransformerHuang and others (2020 (https://arxiv.org/html/2605.11091#bib.bib14))和FT-TransformerGorishniy and others (2021 (https://arxiv.org/html/2605.11091#bib.bib15))，以及通过先前数据拟合的网络进行上下文学习的TabPFN v2Hollmann and others (2023 (https://arxiv.org/html/2605.11091#bib.bib16))，然而尚无ASD研究在统一框架下系统地比较它们，最高程度的统一尝试见于Nithya and Sivasankaran (2025 (https://arxiv.org/html/2605.11091#bib.bib33))，该研究进行了LIME可解释性分析和启发式分类以提出针对无校准措施学生的教育计划。最后，临床部署要求超越准确度的评估：校准度Guo and others (2017 (https://arxiv.org/html/2605.11091#bib.bib21))、对分布偏移的鲁棒性DeGrave and others (2021 (https://arxiv.org/html/2605.11091#bib.bib22))以及通过SHAPLundberg and Lee (2017 (https://arxiv.org/html/2605.11091#bib.bib17))和LIMERibeiroet al. (2016 (https://arxiv.org/html/2605.11091#bib.bib18))进行的可解释性都是必不可少的，然而现有的ASD研究均未形式化一种复合指标，该指标非对称地惩罚误分类并在这些轴线上奖励稳定性。 这些线索暴露了三个具体差距。大多数研究依赖于 *单一架构评估*，仅比较一种或两种模型家族，忽略了行为问卷数据上最新的深度表格学习者；它们提供 *维度受限的评估*，仅报告准确度或F1，而忽视校准度、可解释性和鲁棒性；并且它们通常聚焦于 *单一年龄队列*，几乎 exclusively 是成人或儿童，掩盖了年龄特异性的诊断模式。特别是青少年群体研究不足，尽管他们表现出独特的特征层级和更具挑战性的分类任务（F1上限为0.837，而儿童为0.915）。 本研究通过四项贡献来解决这些差距。首先，我们通过结合UCI AQ-10数据（v1）和补充来源（v2）构建了 **Dataset v3**，在去重和质量控制后，跨越三个队列获得了4,068条记录。其次，我们进行了涵盖17种模型的系统基准测试，包括经典集成、神经网络和深度表格Transformer，每种均包含基线和超参数调优变体，以及一个基础模型。第三，我们建立了一个四维度评估框架，涵盖预测性能、校准度、可解释性和对抗鲁棒性。最后，我们引入了 **HAP（启发式聚合惩罚）** 指标：一个具有临床动机的复合分数，结合了对称的FN/FP惩罚和交叉折叠方差项。

## 2 数据集与预处理

我们的v3数据集（Table1 (https://arxiv.org/html/2605.11091#S2.T1)）整合了两个来源。主要来源（v1）是UCI机器学习仓库的ASD筛查数据集Thabtah (2017 (https://arxiv.org/html/2605.11091#bib.bib11))，包含成人、青少年和儿童参与者的AQ-10问卷回应（Table2 (https://arxiv.org/html/2605.11091#S2.T2)）及人口统计学数据。次要来源（v2）是来自阿肯色大学计算机科学系的额外ASD筛查数据集Grizan (2024 (https://arxiv.org/html/2605.11091#bib.bib34))，提供具有相同AQ-10结构的补充记录。尽管两个数据版本均通过ASDTest应用收集，但我们在不同来源间识别出了不同的数据点，并通过两阶段预处理管道将它们合并：第一阶段通过移除v1和v2之间共享的记录进行去重，第二阶段针对每个队列进行数据清理和质量控制（参见*数据和代码可用性*部分中的数据集链接）。处理后，最终数据集包含 **4,068条记录**，跨越三个年龄队列。合并后的v3语料库总体接近平衡（52.5% ASD阳性），性别分布为67.6%男性和32.4%女性。种族构成如下：白人欧洲裔30.4%，亚洲裔27.8%，中东裔17.7%，南亚裔9.0%，黑人4.1%。我们指出，对这些子类别中ASD标签的公平性分析超出了本研究范围。

**表1：ASD-Bench v3数据集组成及质量摘要（所有清理步骤后）**
| 队列 | 最终记录数 | 年龄范围 | 移除重复项 | ASD 是/否 (清理后) |
| :--- | :--- | :--- | :--- | :--- |
| 儿童 | 2,514 | 1–11 岁 | 6 (2.1%) | ≈ 60% / 40% |
| 青少年 | 818 | 12–16 岁 | 0 (0.0%) | ≈ 53% / 47% |
| 成人 | 736 | 17–64 岁 | 380 (54.0%) | ≈ 26% / 74% |
| 合并 | 4,068 | 1–64 岁 | 共 386 | 52.5% / 47.5% |

**表2：编码为二进制特征 A1–A10 的 AQ-10 问卷项目。⋆ = 反向计分。阈值 ≥6 提示自闭症特质升高**
| ID | AQ-10 问题 | 评分 |
| :--- | :--- | :--- |
| A1 | 我更喜欢一遍又一遍地以同样的方式做事。 | 1 = 同意 |
| A2 | 我发现闲聊很难。 | 1 = 同意 |
| A3 | 我宁愿去派对也不愿去博物馆。 | 1 = 不同意 ⋆ |
| A4 | 如果我的日常 routine 被打断，我会非常沮丧。 | 1 = 同意 |
| A5 | 我总是注意到事物中的模式。 | 1 = 同意 |
| A6 | 我经常不知道如何继续对话。 | 1 = 同意 |
| A7 | 阅读故事时，我很难理解角色的意图。 | 1 = 同意 |
| A8 | 通过看某人的脸，我能很容易地猜出他在想什么。 | 1 = 不同意 ⋆ |
| A9 | 我喜欢社交闲聊。 | 1 = 不同意 ⋆ |
| A10 | 我发现很容易理解别人的想法。 | 1 = 不同意 ⋆ |

## 3 方法论

### 3.1 模型与配置

我们评估了四类模型，每类均在默认（基线）和超参数调优配置下训练，除非另有说明，均通过 **GridSearchCV** 进行。

**经典模型。** 我们包括逻辑回归Cox (1958 (https://arxiv.org/html/2605.11091#bib.bib32))、随机森林Breiman (2001 (https://arxiv.org/html/2605.11091#bib.bib31))、AdaBoostFreund and Schapire (1997 (https://arxiv.org/html/2605.11091#bib.bib20)) 和 XGBoostChen and Guestrin (2016 (https://arxiv.org/html/2605.11091#bib.bib19)) 作为成熟的表格基线。还包括一个在 scikit-learn 中实现的全连接多层感知机（MLP）作为浅层神经基线。

**深度表格架构。** 评估了三种基于注意力的架构。TabNetArık and Pfister (2021 (https://arxiv.org/html/2605.11091#bib.bib13)) 使用顺序 entmax 掩码（批大小 64，虚拟批 32，早停耐心值 10）。TabTransformerHuang and others (2020 (https://arxiv.org/html/2605.11091#bib.bib14)) 应用列级自注意力，其中 $d_{\mathrm{model}}=32$，3层，8个头。FT-TransformerGorishniy and others (2021 (https://arxiv.org/html/2605.11091#bib.bib15)) 使用 CLS-token 分类头，其中 $d_{\mathrm{model}}=32$。为了量化预测不确定性，在推理时对所有三种 Transformer 变体应用蒙特卡洛 Dropout（$T=20$ 次随机前向传播）。

**基础模型。** TabPFN v2Hollmann and others (2023 (https://arxiv.org/html/2605.11091#bib.bib16)) 是一个在合成任务分布上预训练的先前数据拟合网络，在推理时执行上下文学习：目标训练集作为上下文传入，无需任何基于梯度的微调或超参数扫描。我们使用8个估计器进行CPU推理。由于 TabPFN 没有接受特定于任务的优化，而其他所有模型都经过完整的超参数搜索，任何直接的排名比较本质上都是不对称的，并有利于调优模型；TabPFN 的结果应被视为此任务中基础模型性能的下限。

### 3.2 训练协议

所有模型均在每个队列中独立训练，使用固定的随机种子（42）。在任何训练之前，全局应用分层 80/20 训练-测试划分；保留的 20% 作为所有报告指标的最终评估集，同时在训练数据集上进行 5 折交叉验证。深度模型使用 Adam 优化器训练最多 100 个 epoch，每个折内设置早停（耐心值 = 10）。

### 3.3 四维度评估框架

#### 3.3.1 维度1 — 预测性能

每个队列在保留测试集上的准确度、精确率、召回率、F1 分数和 AUC-ROC。这些标准分类指标量化了每个队列的判别性能。

#### 3.3.2 维度2 — 校准度 / 不确定性估计

期望校准误差（ECE）、Brier 分数、平均置信度、置信度标准差和平均预测熵。对 Transformer 变体应用 MC Dropout（$T=20$）以估计认知不确定性。

| 指标 | 公式 | 范围 | 偏好 | 衡量内容 |
| :--- | :--- | :--- | :--- | :--- |
| 平均置信度 | $\frac{1}{n}\sum\max(p_{i})$ | $[0,1]$ | 更高 | 平均确定性 |
| 置信度标准差 | $\sqrt{\mathrm{Var}(\max(p_{i}))}$ | $[0,0.5]$ | 更低 | 一致性 |
| 熵 | $-\sum p\log(p)$ | $[0,1]$ | 更低 | 不确定性 |
| Brier 分数 | $\frac{1}{n}\sum(p_{i}-y_{i})^{2}$ | $[0,1]$ | 更低 | 准确度 + 校准度 |
| ECE | $\sum\frac{\|B_{m}\|}{n}\,\|\,\mathrm{acc}-\mathrm{conf}\,\|$ | $[0,1]$ | 更低 | 校准质量 |

**表3：第2维度评估中使用的校准度和不确定性指标。**

#### 3.3.3 维度3 — 可解释性

SHAP TreeExplainer（XGBoost, RF）、SHAP DeepExplainer/GradientExplainer（MLP）、排列重要性（AdaBoost, TabTransformer, FT-Transformer 和 TabPFN）、逻辑回归系数以及 TabNet 内置的特征掩码。*共识重要性*是通过平均所有 17 种适用模型的标准化分数计算的，工具选择由模型架构决定（神经网络可用梯度，集成模型使用树结构）。

#### 3.3.4 维度4 — 鲁棒性测试

在测试集上进行三种对抗扰动协议：
1. **特征翻转：** 随机翻转 $k \in \{10\%,20\%,30\%\}$ 的二进制特征值。
2. **高斯噪声：** 添加/减去 $\varepsilon \sim \mathcal{N}(0,\sigma^{2})$，$\sigma \in \{0.1,0.2,0.3\}$，截断至 $[0,1]$。
3. **特征移除：** 将最重要的 $k \in \{1,2,3\}$ 个特征置零。

复合鲁棒性分数：$R=1-\overline{\Delta\text{acc}}$，跨越所有扰动级别。该维度评估每个模型在嘈杂或错误输入条件下（无论是由于数据输入错误还是故意误报）保持预测的能力。此外，鉴于 ASD 最好被描述为构建空间而非二元类别，鲁棒性测试揭示了模型如何通过高斯噪声退化来处理边缘案例。

### 3.4 HAP：启发式聚合惩罚

标准准确度和 F1 指标对称地对待假阳性（FP）和假阴性（FN）。在临床 ASD 筛查中，假阴性（遗漏真实病例）会使儿童失去早期干预的机会，而假阳性仅导致...