选择性信号分类中的虚假安全感：对风险控制的边界紧密性与可交换性的审计

# 选择性信号分类中的虚假安全感：审计边界紧致性与可交换性在风险控制中的作用
来源：https://arxiv.org/html/2606.15153

###### 摘要

基于无分布风险控制的选择性预测承诺，在置信度 \(1-\delta\)（基于校准数据）下，被接受输入的误报率保持在用户预算 \(\alpha\) 以下。我们针对信号域检测器——机器异常声音检测（ASD）和AI生成图像取证——审计了这一承诺，使用了四种校准规则：未经认证的经验阈值法（Naive）以及经过认证的霍夫丁（Hoeffding）、克洛珀-皮尔逊（CP）和赌博（WSR）上置信界。我们报告了三个发现。（i）实践中常见的Naive阈值法，在49–73%的合成试验（\(n=200\) 个校准点）和高达68%的真实数据分割中，超出了其声明的预算：这是一种虚假的安全感，而非定理的破灭，因为该规则从未获得过认证。（ii）紧致性至关重要：CP和WSR在霍夫丁无法提供任何认证的情况下，认证了显著的覆盖范围，且在可交换分割下观测到零预算超限。（iii）在分组部署（未见的机器类型或生成器）下，经过认证的规则在9–30%的试验中超限——远高于 \(\delta\)——表明失败源于可交换性前提的破坏，而非边界本身；保守的分组阈值在严重牺牲覆盖率的前提下恢复了有效性。

关键词—选择性预测，无分布风险控制，共形预测，异常声音检测，图像取证

## 1 引言

信号域检测器很少是完美的，许多应用宁愿放弃也不愿犯错：异常声音检测（ASD）系统可以将机器交给人工检查，图像取证系统可以将图像标记为“未定”。选择性分类，从Chow的经典拒绝选项[1 (https://arxiv.org/html/2606.15153#bib.bib1)]到其现代处理[2 (https://arxiv.org/html/2606.15153#bib.bib2),3 (https://arxiv.org/html/2606.15153#bib.bib3)]，通过对置信度分数设置接受/放弃阈值来形式化这一点。无分布风险控制——风险控制预测集（RCPS）[4 (https://arxiv.org/html/2606.15153#bib.bib4)]、先学习后测试（LTT）[5 (https://arxiv.org/html/2606.15153#bib.bib5)]和共形风险控制[6 (https://arxiv.org/html/2606.15153#bib.bib6)]，均根植于共形预测[7 (https://arxiv.org/html/2606.15153#bib.bib7),8 (https://arxiv.org/html/2606.15153#bib.bib8)]及其分割变体[9 (https://arxiv.org/html/2606.15153#bib.bib9)]——承诺提供一个有限样本证书：在至少 \(1-\delta\) 的概率（基于校准数据）下，接受输入中的误报率（即*选择性风险*）不超过用户预算 \(\alpha\)。此类证书现已应用于从集合值分类[10 (https://arxiv.org/html/2606.15153#bib.bib10)]和生物医学成像[11 (https://arxiv.org/html/2606.15153#bib.bib11)]到语言模型事实性[12 (https://arxiv.org/html/2606.15153#bib.bib12)]等领域，因此其在部署信号系统中的可靠性成为一个及时的问题。

在实践中，两种失败模式破坏了这一承诺，并且在信号域部署中经常被忽视。首先，实践者通常调整阈值，使得校准数据上的*经验*风险低于 \(\alpha\)，然后报告系统已“风险受控”。这种规则——我们称之为Naive——没有证书，因此其失败并没有破坏任何定理；危害在于，当声明的预算被解读为一种保证时，所产生的*虚假安全感*，类似于未校准的置信度分数会误导下游决策[13 (https://arxiv.org/html/2606.15153#bib.bib13)]。预算在测试时被超出多少次以及超出多少，尚未在信号数据上量化。其次，所有证书都假设校准数据和测试数据是可交换的，但现实的信号域分割是*分组*的：部署的系统会遇到校准中不存在的机器类型或生成模型。针对协变量偏移[14 (https://arxiv.org/html/2606.15153#bib.bib14),15 (https://arxiv.org/html/2606.15153#bib.bib15)]的加权和自适应共形方法、在 \(f\)-散度偏移下的鲁棒预测集[16 (https://arxiv.org/html/2606.15153#bib.bib16)]以及超越可交换性的共形推断[17 (https://arxiv.org/html/2606.15153#bib.bib17)]都放宽了这一前提以实现覆盖保证，但选择性风险证书在信号数据上受损害的程度尚不清楚。

与我们最接近的工作是Basu[18 (https://arxiv.org/html/2606.15153#bib.bib18)]，他针对NLP意图分类基准上的选择性预测，消融了九个有限样本边界族（包括霍夫丁、克洛珀-皮尔逊和WSR赌博），并提出了赌博边界的迁移信息热启动方法。我们的审计是互补的，并在三个方面有所不同：我们针对信号域（ASD、图像取证）及其特征性的分组部署结构；我们量化了未经认证的Naive规则的虚假安全行为，而[18 (https://arxiv.org/html/2606.15153#bib.bib18)]并未考虑这一点；并且，我们不假设良性的源域，而是通过在同一数据上匹配随机分割与分组分割，隔离了观测到的失败中有多少归因于可交换性的破坏而非边界本身。

贡献。（1）对四种选择性阈值（Naive；霍夫丁[19 (https://arxiv.org/html/2606.15153#bib.bib19)]；克洛珀-皮尔逊[20 (https://arxiv.org/html/2606.15153#bib.bib20)]；Waudby-Smith–Ramdas赌博边界，WSR[21 (https://arxiv.org/html/2606.15153#bib.bib21)]）在统一协议下进行审计，涉及合成数据、真实ASD分数（DCASE 2023 Task 2开发集，7种机器类型，BEATs嵌入，4个分数后端）[22 (https://arxiv.org/html/2606.15153#bib.bib22),23 (https://arxiv.org/html/2606.15153#bib.bib23)]以及真实取证分数（GenImage，7个生成器）[24 (https://arxiv.org/html/2606.15153#bib.bib24)]。（2）虚假安全感和紧边界恢复覆盖的量化证据。（3）一项受控的可交换性消融实验，表明分组偏移下的预算超限是由前提破坏而非规则本身造成的，以及一种简单的保守分组缓解策略及其权衡。

## 2 选择性风险控制：规则与边界

### 2.1 设置与符号

一个冻结的检测器输出标量风险分数 \(s(x)\)，数值越大表示越可能是一个错误事件 \(y=1\)（漏报的异常，被误判为真实的伪造等）。给定阈值 \(\lambda\)，系统接受 \(x\) 当且仅当 \(s(x) \leq \lambda\)。*选择性风险*为 \(R(\lambda) = \Pr\{y=1 \mid s(x) \leq \lambda\}\)，*覆盖率*为 \(C(\lambda) = \Pr\{s(x) \leq \lambda\}\)，即系统回答输入的比例。给定校准数据 \(\{(s_i, y_i)\}_{i=1}^n\)、预算 \(\alpha\) 和置信参数 \(\delta\)，每个规则选择最大的阈值，使得其（对于Naive是经验的）风险在预算内：

\[
\hat{\lambda} = \max \bigl\{ \lambda \in \{s_{(k)}\}_{k=1}^n : \mathrm{UCB}_{\delta/n}\bigl(\{y_i : s_i \leq \lambda\}\bigr) \leq \alpha \bigr\},
\tag{1}
\]

其中 \(s_{(1)} \leq \cdots \leq s_{(n)}\) 是排序后的校准分数，\(\mathrm{UCB}_{\delta'}(\cdot)\) 是指示损失均值在水平 \(\delta'\) 上的上置信界。对 \(n\) 个候选阈值进行Bonferroni校正 \(\delta/n\) 使得证书在搜索中同时有效，如LTT[5 (https://arxiv.org/html/2606.15153#bib.bib5)]中一样。如果没有候选者通过，则系统始终放弃（\(C=0\)，平凡安全）。我们称测试运行中如果测试选择性风险超过 \(\alpha\) 且至少有一个被接受样本，则为*预算违规*。对于经认证的规则，此事件在可交换性下概率最多为 \(\delta\)；对于Naive则无此类保证，其观察到的违规率量化了虚假安全感，而非证明的破坏。

### 2.2 四种规则

**Naive**: \(\mathrm{UCB} := \hat{p}\)，即接受前缀的经验风险。**霍夫丁**: \(\mathrm{UCB} := \hat{p} + \sqrt{\ln(1/\delta')/(2k)}\)，适用于大小为 \(k\) 的前缀 [19 (https://arxiv.org/html/2606.15153#bib.bib19)]；有效但在小 \(\alpha\) 下宽松。（经验-伯恩斯坦改进[25 (https://arxiv.org/html/2606.15153#bib.bib25)]改善了常数，但不改变下面的定性图景。）**CP**: 精确二项上界[20 (https://arxiv.org/html/2606.15153#bib.bib20)]，为 \(\mathrm{Beta}^{-1}(1-\delta'; x+1, k-x)\)，其中 \(x\) 错误数在 \(k\) 个中；适用于二值损失。**WSR**: [21 (https://arxiv.org/html/2606.15153#bib.bib21)]的赌博/对冲界，是博弈论统计中置信序列和e值机制的一个实例[26 (https://arxiv.org/html/2606.15153#bib.bib26),27 (https://arxiv.org/html/2606.15153#bib.bib27)]。使用运行均值 \(\hat{\mu}_t = \frac{1/2 + \sum_{i \leq t} x_i}{t+1}\) 和方差 \(\hat{\sigma}_t^2 = \frac{1/4 + \sum_{i \leq t} (x_i - \hat{\mu}_i)^2}{t+1}\)，形成赌注和财富

\[
\nu_t = \min\Bigl\{1, \sqrt{\frac{2\ln(1/\delta')}{n \hat{\sigma}_{t-1}^2}}\Bigr\}, \quad K_t(R) = \prod_{i \leq t} \bigl(1 - \nu_i (x_i - R)\bigr).
\tag{2}
\]

当 \(\mathbb{E}[x] \geq R\) 时，\(K_t(R)\) 是一个非负超鞅，因此 \(\mathrm{UCB} := \inf\{R : \max_t K_t(R) > 1/\delta'\}\)，通过二分法查找，因为财富关于 \(R\) 单调。三个保守实现选择：二分法返回被拒绝的端点（向上偏差）；每个候选前缀以数据无关的随机顺序输入鞅（分数排序会破坏鞅性质）；我们保留对候选阈值的Bonferroni校正，而不是利用时间均匀性。蒙特卡洛自测（\(p=0.1\), \(n=200\), \(\delta=0.05\), 200次抽取）给出平均上界：霍夫丁 \(0.187\) > WSR \(0.156\) > CP \(0.143\)，WSR界的经验覆盖率 ≥ 94.5%；图1 (https://arxiv.org/html/2606.15153#S2.F1) 追踪了不同校准规模下的差距。

**边界何时能认证？**零错误前缀给出了有用的封闭形式。当 \(x=0\) 错误出现在 \(k\) 个接受的校准点中且 \(\delta' = \delta/n\) 时，霍夫丁仅在 \(k \geq \ln(1/\delta')/(2\alpha^2)\) 时才能认证 \(\sqrt{\ln(1/\delta')/(2k)} \leq \alpha\)，而CP仅需 \(k \geq \ln(1/\delta') / \ln\frac{1}{1-\alpha}\)，大约小因子 \(2\alpha\)。在 \(n=200\) 和 \(\delta=0.1\) (\(\delta' = 5\times 10^{-4}\)) 时，当 \(\alpha=0.1\) 时要求分别为 380 vs. 73 个接受点，当 \(\alpha=0.05\) 时为 1520 vs. 149：在 200 个校准点上，霍夫丁*即使对于完美检测器*也无法认证 \(\alpha \leq 0.1\)，而CP只要存在 73 个点的干净前缀即可成功。这一简单计算预测了表1 (https://arxiv.org/html/2606.15153#S3.T1) 中的零模式。

图 1：边界紧致性：伯努利率 \(p=0.1\) 的平均 95% 上置信界 vs. 校准规模 \(n\)（每点 200 次蒙特卡洛抽取）。CP对二值损失最紧；WSR紧随其后，霍夫丁滞后，这解释了在表1 (https://arxiv.org/html/2606.15153#S3.T1) 中小 \(\alpha\) 下其零认证覆盖率的原因。

### 2.3 可交换性与保守缓解

证书 (1 (https://arxiv.org/html/2606.15153#S2.E1)) 要求校准点和测试点可交换。在分组部署中（对机器类型或生成器组 \(\mathcal{G}_{\mathrm{cal}}\) 校准，对不相交的 \(\mathcal{G}_{\mathrm{te}}\) 测试）这一前提不成立。作为基线缓解措施，我们在每个校准组 \(g\) 上计算分组阈值 \(\hat{\lambda}_g\)，预算拆分为 \(\delta/|\mathcal{G}_{\mathrm{cal}}|\)，并部署最保守的阈值 \(\hat{\lambda}_{\mathrm{mit}} = \min_g \hat{\lambda}_g\)。这可以防止校准混合隐藏困难组，但对未见组仍无正式保证。

## 3 实验

所有实验均基于冻结分数在仅CPU环境下进行后验分析；全程 \(\delta=0.1\)，\(\alpha \in \{0.05, 0.1, 0.2\}\)（弱真实分数另加 0.4）。违规率基于独立重复（合成100次，真实50次）；在可交换性下，经认证规则允许最多 \(\delta=10\%\)。作为全局阴性对照，将所有经认证规则在可交换随机分割下的所有运行合并，合成运行2700次中违规0次，受控偏移运行900次中2次，真实分数运行3000次中2次——因此下文报告的违规并非实现伪迹。

**数据**。*合成*：\(y \sim \mathrm{Bern}(\pi)\)，\(s \mid y \sim \mathcal{N}(d' y, 1)\)，其中 \(d'=1.5\)，\(\pi \in \{0.1, 0.3, 0.5\}\)，\(n_{\mathrm{cal}}=200\)，\(n_{\mathrm{te}}=5000\)。*ASD*：DCASE 2023 Task 2开发集[22 (https://arxiv.org/html/2606.15153#bib.bib22)]，基于ToyADMOS2[28 (https://arxiv.org/html/2606.15153#bib.bib28)]和MIMII DG[29 (https://arxiv.org/html/2606.15153#bib.bib29)]（7种机器类型：ToyCar, ToyTrain, bearing, fan, gearbox, slider, valve；各200个片段，正常/异常平衡，基准率 0.5）；我们提取BEATs嵌入[23 (https://arxiv.org/html/2606.15153#bib.bib23)]并计算四种标准异常分数后端（两种 \(k\)-NN变体、Mahalanobis、PCA残差；测试AUC 0.60–0.65）。*取证*：GenImage[24 (https://arxiv.org/html/2606.15153#bib.bib24)]子集，包含800张真实图像和7个生成器（ADM, BigGAN, GLIDE, Midjourney, SD1.5, VQDM, Wukong）各 \(\times\) 100张伪造，由VGG[30 (https://arxiv.org/html/2606.15153#bib.bib30)]特征检测器评分（独立于校准训练，AUC 0.835）；尽管此类检测器经过仔细增强可以跨GAN架构迁移[31 (https://arxiv.org/html/2606.15153#bib.bib31)]，但对未见（例如基于扩散的）生成器的泛化仍然是已知的难题[32 (https://arxiv.org/html/2606.15153#bib.bib32)]，这正是我们审计的分组部署。错误事件为 \(y=1\)：漏报的异常（ASD）或被误判为真实的伪造（取证）。

表1：合成审计：100次重复的平均覆盖率/违规率（\(n_{\mathrm{cal}}=200\)，\(n_{\mathrm{te}}=5000\)，\(\delta=0.1\)）。

图2：合成数据上的认证覆盖率 vs. 风险预算 \(\alpha\)（\(n_{\mathrm{cal}}=200\)，100次重复的平均值，\(\delta=0.1\)）。Naive（橙色菱形）以预算违规为代价获得高覆盖率（标注了违规率）；这些运行中经认证规则从未违规，且CP/WSR恢复了霍夫丁放弃的大部分覆盖率。

### 3.1 合成审计：虚假安全与边界紧致性

表1 (https://arxiv.org/html/2606.15153#S3.T1) 和图2 (https://arxiv.org/html/2606.15153#S3.F2) 显示了主要