K-ABENA：基于误差的 N-排除自适应反向传播算法 —— (基于补偿损失的样本排除与无偏梯度估计)

# K-自适应反向传播与基于误差的N-排除算法的补偿损失样本排除与无偏梯度估计

来源：https://arxiv.org/html/2607.05903

Jean-François Bonbhel  
NeuroSoft IA, 魁北克市, 加拿大 || YekoElite大学, 布拉柴维尔, 刚果共和国  
联合国人工智能治理专家网络（UN PNAI）—— 自2021年起为成员  
[email protected]（2026年7月）

###### 摘要

我们提出K-ABENA（K-自适应反向传播与基于误差的N-排除算法），一种选择性梯度计算框架，通过从反向传播中排除一部分低损失（“次要”）观测值来降低每次迭代的训练成本。其规范形式（v3）结合了针对次要集合的防御混合采样设计与霍维茨-汤普森逆概率重加权，产生了*设计无偏*的霍维茨-汤普森梯度估计器（引理2 (https://arxiv.org/html/2607.05903#Thmlemma2)），其自归一化实际变体的偏差阶数为O(1/m)，带有显式常数（引理3 (https://arxiv.org/html/2607.05903#Thmlemma3)）。我们证明了在估计器下SGD的O(1/√T)非凸收敛保证，并带有一个量化残差偏差的加性项（定理1 (https://arxiv.org/html/2607.05903#Thmtheorem1)）。我们进一步证明，*未补偿的*基于损失的选择——包括OHEM、SBP和早期的两种K-ABENA变体——在任意极小值点处均不存在任何平稳点，只要其选择偏差有正下界（命题2 (https://arxiv.org/html/2607.05903#Thmproposition2)），并通过实证量化了这一失败：在0.17%类别不平衡下，未补偿变体的测试AUC达到0.53–0.62，而全批量SGD为0.9998，而补偿估计器在相同的28.4%计算节省下达到0.9991。在真实数据集（乳腺癌、数字、葡萄酒、糖尿病）上，补偿估计器在统计上无法与全批量SGD区分（配对置换检验，p ≥ 0.5；第7节 (https://arxiv.org/html/2607.05903#S7)），同时每个epoch节省28–54%的梯度计算。一个有偏的“正则化模式”（早期半域变体）作为选项保留，具有精确的偏差分解（引理5 (https://arxiv.org/html/2607.05903#Thmlemma5)）和*量化的禁忌症*：在40%标签噪声下其准确率降至0.386（基准：0.832），在极端不平衡下降至0.53 AUC。本文报告的每个优势和每个限制均经过证明或测量；所有实验均为CPU规模（NumPy/scikit-learn），并且明确说明了其范围。

## 1 引言

在大规模经验风险最小化中，每次迭代的很大一部分计算消耗在模型已经学习过的观测值上：它们的每个样本损失很小，梯度很小，对下降方向的边际贡献有限。选择性反向传播方法利用这一观察，跳过低损失样本的反向传播[6 (https://arxiv.org/html/2607.05903#bib.bib6), 12 (https://arxiv.org/html/2607.05903#bib.bib12)]，但它们共享一个结构缺陷：保留的子集与*损失相关*，因此得到的梯度是全批量梯度的有偏估计。在良性状态下，偏差相对于信号很小，这些方法工作良好；我们在第5节 (https://arxiv.org/html/2607.05903#S5)中表明，在不利状态下——极端类别不平衡、严重标签噪声——偏差不仅降低性能，而且从结构上阻止收敛到极小值点，我们通过命题2 (https://arxiv.org/html/2607.05903#Thmproposition2)证明了这一点。

本文开发了K-ABENA，其规范估计器（称为v3）使用一个世纪前的调查抽样思想[5 (https://arxiv.org/html/2607.05903#bib.bib5)]解决了这一缺陷：任何具有已知严格正包含概率的抽样设计，都可以通过逆概率加权得到总体总数的无偏估计。K-ABENA v3从整个次要集合中在防御混合设计[10 (https://arxiv.org/html/2607.05903#bib.bib10)]下对保留的次要样本进行抽样，并相应地进行重加权。结果占据了一个设计点，据我们所知，既有的选择性或重加权方法都不占据这个点：*每次迭代计算减少，同时具有（精确或接近）无偏梯度*。硬选择方法（OHEM[12 (https://arxiv.org/html/2607.05903#bib.bib12)]、SBP[6 (https://arxiv.org/html/2607.05903#bib.bib6)]）节省计算但有偏；软重加权方法（Focal Loss[9 (https://arxiv.org/html/2607.05903#bib.bib9)]）在全批量上计算，不节省任何计算；重要性抽样训练方法[7 (https://arxiv.org/html/2607.05903#bib.bib7)]进行重加权但目标是降低全批量或小批量评估下的方差，而不是基于显式保留预算的阈值排除。

#### 贡献。

1. 一种补偿选择性估计器（定义1 (https://arxiv.org/html/2607.05903#Thmdefinition1)），具有两个可解释的控制参数：损失阈值K，区分“次要”和“主要”观测值；保留比例N∈(0,1)，控制计算预算。每个epoch的反向传播节省恰好为(1−N)k/n（命题1 (https://arxiv.org/html/2607.05903#Thmproposition1)），其中k是次要样本数。
2. 设计无偏性，精确和近似（引理2 (https://arxiv.org/html/2607.05903#Thmlemma2)–3 (https://arxiv.org/html/2607.05903#Thmlemma3)）：霍维茨-汤普森形式是设计无偏的（在抽样随机化上，条件于迭代点）；实践中使用的自归一化（哈杰克）形式的偏差最多为(2G_M)/(α^2 m) * ((k-m)/k)，以O(1/m)消失，所有常数显式。
3. 收敛保证（定理1 (https://arxiv.org/html/2607.05903#Thmtheorem1)）：对于光滑非凸目标，期望平方梯度范数衰减为O(1/√T)，加上一个可追溯至自归一化偏差的加性O(δ_m)基底，实践者通过m控制。
4. 未补偿选择的不可能性结果（命题2 (https://arxiv.org/html/2607.05903#Thmproposition2)）：如果在极小值点处选择偏差下界为β>0，则该极小值点不是期望动力学的平稳点；在0.17%不平衡任务上测量，β≈0.15，而真实梯度趋于零，预测了观测到的失败（AUC 0.53）以及在补偿下的解决（AUC 0.9991）。
5. 一个被刻画的正则化模式：早期的有偏半域变体（v2）作为选项保留，具有精确的代数偏差分解（引理5 (https://arxiv.org/html/2607.05903#Thmlemma5)）和量化的禁忌症（第6节 (https://arxiv.org/html/2607.05903#S6)）；其在多类任务上的小精度增益（+0.35到+0.45点）及其灾难性失败模式（40%标签噪声下准确率0.386；0.17%不平衡下AUC 0.53）均被测量并通过机制解释。

#### 范围声明。

本文中所有经验结果均为CPU规模：逻辑回归、线性SVM、softmax回归和单隐藏层MLP，使用scikit-learn自带数据集以及一个极端不平衡欺诈状态的合成副本（0.17%正例，n=20,000）。没有报告GPU基准（深度CNN/Transformer）；这作为限制L4陈述，而非通过仿真弥补。我们认为明确的范围声明是本文的一个特点，而非弱点。

## 2 相关工作

**硬选择。** OHEM[12 (https://arxiv.org/html/2607.05903#bib.bib12)]仅保留每个批次中损失最高的样本；SBP[6 (https://arxiv.org/html/2607.05903#bib.bib6)]丢弃损失低于某个阈值的样本。两者都减少反向传播成本，并且都计算损失相关子集的简单平均，因此梯度有偏。K-ABENA严格泛化了SBP：设置N=0且使用硬阈值可以恢复它，而N>0则恢复了被排除层的表示，v3加权消除了偏差。

**课程学习和自定进度方法[1 (https://arxiv.org/html/2607.05903#bib.bib1), 8 (https://arxiv.org/html/2607.05903#bib.bib8)]** 在训练过程中按难度排序样本；K-ABENA是正交的，在每次迭代内部操作。

**软重加权。** Focal Loss[9 (https://arxiv.org/html/2607.05903#bib.bib9)]通过因子(1−p_t)^γ对简单样本进行降权，该因子在*每个样本的前向传播之后*应用；仍然支付全部反向传播成本，因此该方法不提供计算节省——而这正是K-ABENA的目标。其调制也是单一的全局函数形式，而K和N将简单/困难边界的位置与保留预算解耦。

**用于SGD的重要性抽样。** Katharopoulos和Fleuret[7 (https://arxiv.org/html/2607.05903#bib.bib7)]及相关工作按照（代理）梯度范数的比例抽样训练样本，并带有逆概率校正，目标是降低方差。K-ABENA与这条研究路线有三个结构性差异，每个都是可测量的。
*\(a) 评分成本。*经典的IS必须在每一步对*所有*n个候选进行评分以构建其提议——这需要一次前向传播（或最后一层梯度范数边界，本身也需要前向传播），其成本仍为O(n)；因此反向传播的节省是以全宽度的评分传递为代价的。K-ABENA使用训练循环已经产生的每个样本损失进行评分，其延迟损失模式（由epoch t-1的损失构建epoch t的掩码；随库发布）甚至消除了被排除样本的前向传播。
*\(b) 预算语义。*IS固定一个小批量大小并优化该大小下的方差；K-ABENA的两个控制参数将*边界在哪里*（K，一个具有语义含义的损失百分位数）与*花费多少*预算（N）解耦，产生确定性的、与架构无关的节省G=(1−N)k/n（命题1 (https://arxiv.org/html/2607.05903#Thmproposition1)）。
*\(c) 设计。*K-ABENA是一个*两层*设计——一个确定层（主要样本，π_i=1）加上一个仅限于次要样本的抽样层，采用防御混合方式，具有地板α/k——而不是单一的全局提议。这不是表面上的：在匹配的计算预算下，一个经典的全局损失比例提议与自归一化校正相比，在标准状态下*显著更差*（准确率0.9573 vs 0.9720，配对置换p=0.002，表3 (https://arxiv.org/html/2607.05903#S7.T3)）——在全局提议下偶尔抽到的小损失样本获得巨大权重，而主要样本的贡献被不必要地随机化——而分层的、有地板界限的设计与基准在相同的节省下统计上无法区分（p=1.0）。确定性层和防御地板正是使补偿*廉价且稳定*的原因。

**调查抽样。** 估计器是经典的：霍维茨-汤普森[5 (https://arxiv.org/html/2607.05903#bib.bib5)]及其自归一化（哈杰克）变体[11 (https://arxiv.org/html/2607.05903#bib.bib11)]。我们的贡献不是估计器本身，而是将其整合到基于阈值的选择性反向传播中，由此产生的理论（定理1 (https://arxiv.org/html/2607.05903#Thmtheorem1)、命题2 (https://arxiv.org/html/2607.05903#Thmproposition2)），以及当未补偿的捷径安全与否的量化刻画。

## 3 K-ABENA框架

### 3.1 设定与符号

令 F(θ) = (1/n) ∑_{i=1}^n f_i(θ)，其中 f_i: R^d → R 可微，并记 g_i = ∇f_i(θ) 和 ℓ_i = f_i(θ) ≥ 0 为当前迭代点的每个样本梯度和损失。在每次迭代中，阈值 K > 0（实践中为当前损失分布的一个固定百分位数）将索引划分为**次要集合** M = { i : ℓ_i ≤ K }，k = |M|，以及**主要集合** M^c，|M^c| = n−k。主要样本总是保留。保留比例 N ∈ (0,1) 固定保留的次要样本数 m = ⌊Nk⌉。

###### 定义 1（规范K-ABENA采样设计，v3）。

固定防御混合系数 α ∈ (0,1]。从 M 中无放回地抽取 S ⊂ M，|S| = m，单次抽取概率为
p_i = α·(1/k) + (1−α)·(ℓ_i / ∑_{j∈M} ℓ_j)，i ∈ M，    (1)
并记 π_i = Pr[i ∈ S] 为设计包含概率。**霍维茨-汤普森（HT）梯度估计器**为
ĝ_HT = (1/n)[ ∑_{i∉M} g_i + ∑_{i∈S} g_i / π_i ]，    (2)
而实践中使用的**自归一化（哈杰克）估计器**为
ĝ = [ ∑_{i∉M} g_i + ∑_{i∈S} π_i^{-1} g_i ] / [ (n−k) + ∑_{i∈S} π_i^{-1} ]。    (3)

###### 假设 1（包含概率）。

要么 (a) α=1，此时设计为无放回简单随机抽样，π_i = m/k *精确成立*；要么 (b) α < 1 且 max_i m p_i ≤ 1，此时我们使用泊松/拒绝近似 π_i = m p_i，这是高熵无放回设计的标准做法[11 (https://arxiv.org/html/2607.05903#bib.bib11)]。所有依赖于情况(b)的陈述都会被标记；该近似的经验误差在第7节 (https://arxiv.org/html/2607.05903#S7)中测量（在n=20,000时残差偏差0.004）。

###### 引理 1（防御混合下有界权重）。

在假设1 (https://arxiv.org/html/2607.05903#Thmassumption1)下，对于每个 i ∈ M，有
π_i ≥ αm/k，因此 1/π_i ≤ k/(αm)。

**证明。** 由(1)，p_i ≥ α/k 逐点成立，因为第二项非负。在情况(a)中，π_i = m/k = αm/k，其中 α=1。在情况(b)中，π_i = m p_i ≥ m α/k。取倒数即得权重界限。∎

###### 命题 1（精确计算增益）。

每次迭代的反向传播次数为 (n−k)+m，因此节省比例为
G = [n − ((n−k)+m)] / n = (k−m)/n = (1−N) k/n，
对于HT形式和哈杰克形式相同；重加权本身消耗O(m)次标量运算，相对于反向传播可忽略。当K取第40个损失百分位数且N=0.3时，G = 0.7×0.4 = 0.28；第7节 (https://arxiv.org/html/2607.05903#S7)每个实验中的每epoch实测节省为28.0–28.7%，与公式吻合。∎

## 4 估计器保证

### 4.1 无偏性

###### 引理 2（HT形式的设计无偏性）。

在假设1下，