ChainzRule：跨表格、NLP与视觉任务的样本高效、鲁棒的深度学习

# 跨表格、NLP和视觉任务的样本高效、鲁棒深度学习
来源：https://arxiv.org/html/2605.24340
###### 摘要

企业领域中的生产级深度学习系统在学术界基准测试通常忽略的约束条件下运行：标注数据昂贵、推理预算紧张，且无法解释自身行为的模型难以信任和维护。我们提出 ChainzRule (CR)，一种神经架构，用可学习的多项式层替代典型激活函数，并通过差分正则化 (DREG) 进行控制——DREG 是一种逐层雅可比惩罚，在前向传播过程中以标准推理成本解析计算。核心主张是：约束中间导数迫使网络趋向低频、结构稳定的表示，从而同时减少对标注数据量的依赖、提高对分布偏移的鲁棒性，并为模型行为提供可测量的、基于梯度的处理手段。在五个领域的评估中，CR 在 Pima 糖尿病数据集上达到 85.71%±2.01%（统计上优于 SVM 和 XGBoost），在 SST-5 情感分类任务中使用冻结编码器达到 46.20%±0.37%（使用约 5% 的训练数据即优于 RNTN），在 SST-5 上使用微调后的 BERT 主干达到 55.79%（而 BERT-base 线性头的基线为 54.9%），在 Yelp Full 序数回归中达到 70.17%（仅 3.2M 参数，而 10 个模型的平均值为 66.35%），以及在 CIFAR-10-C 上平均损坏准确率提升 +2.32%。所有报告了 p 值的结果在 Bonferroni 校正后均低于 α=0.05 阈值。CR 在每一个数据分片上都保持梯度尾部比率 τ（p99/均值）在 1.01–1.02 之间，而所有典型激活函数基线则在 1.07–1.09 之间——我们将这一结构不变量提出为样本效率的机制驱动因素以及部署时的模型可靠性代理。

关键词：样本效率、跨域学习、多项式神经网络、梯度正则化、可信 AI、高效推理、情感分析、低资源学习

## 1 引言

### 1.1 跨域深度学习中的部署鸿沟

当前主流的研究范式假设数据充足、计算弹性大、正确性可通过固定基准评估。但生产部署假设这些条件都不成立。在涵盖表格预测、自然语言处理和计算机视觉的企业应用中，三个结构性约束始终限制了学术模型在实际中的交付能力。

**数据稀缺**：专业领域的标注数据来得缓慢且昂贵。在医疗分类中，像 Pima 糖尿病这样的 curated 表格数据集反映了大多数从业者所能获得的机构数据实际规模：几百个样本，而不是几十万个[2 (https://arxiv.org/html/2605.24340#bib.bib2)]。在 NLP 中，针对细粒度情感、合规风险或文档路由的领域特定文本标注，每个标签成本为 0.50–5.00 美元，并需质量控制[1 (https://arxiv.org/html/2605.24340#bib.bib1)]，且模型在每个分布偏移后都需要重新训练。在视觉领域，新产品类别、制造缺陷和稀有环境条件都存在标准基准未测量的冷启动数据问题。BERT 规模的模型需要数万个标注样本才能在专业领域可靠微调[3 (https://arxiv.org/html/2605.24340#bib.bib3)]；这种规模的标注在每个垂直领域每次更新周期需要花费 10,000–50,000 美元。

**可靠性与模型行为**：部署预测模型的企业面临着一个基准准确率无法解决的信任问题。一个模型在留出测试集上达到 85% 的准确率，但面对新输入时产生极端、不可预测的输出，这在操作上是危险的。受监管行业对可解释和可信 AI 的需求已有充分文献记载[6 (https://arxiv.org/html/2605.24340#bib.bib6),7 (https://arxiv.org/html/2605.24340#bib.bib7)]，然而最广泛使用的正则化策略在推理时并未提供梯度行为的机制性处理手段。缺乏这种手段，模型审计成本高昂，事后解释也只是事后近似。

**计算与推理成本**：训练大型 NLP 模型的计算成本增长速度远超硬件效率提升[5 (https://arxiv.org/html/2605.24340#bib.bib5)]，使得持续重新训练在财务上对大多数组织不可持续。在商品硬件上的实时推理管道无法为每个分类任务容纳 transformer 规模模型。能够以 3-4M 参数、推理成本导数跟踪且无需迭代求解器即可提供竞争性准确率的架构，在延迟和每次推理成本是硬性约束的行业中具有直接操作价值[5 (https://arxiv.org/html/2605.24340#bib.bib5)]。

CR 同时围绕这三个约束构建：一个单一的归纳偏置 DREG，它收紧梯度行为，减少达到给定准确率所需的数据，并产生一个可测量的结构不变量，可在生产环境中监控。

### 1.2 技术缺口

现有的正则化方法未能同时解决所有三个约束。Dropout[10 (https://arxiv.org/html/2605.24340#bib.bib10)] 打破共适应，但未约束逐层雅可比，且不提供推理时的可靠性信号。权重衰减[11 (https://arxiv.org/html/2605.24340#bib.bib11)] 惩罚参数大小，而非对输入变化的敏感性。谱归一化[12 (https://arxiv.org/html/2605.24340#bib.bib12)] 提供全局 Lipschitz 界，但均匀地截断表达能力，带来准确率损失。输入梯度惩罚[13 (https://arxiv.org/html/2605.24340#bib.bib13)] 仅惩罚末端雅可比，且需要在 O(3Cf) 成本下进行双重反向传播。Sobolev 训练[14 (https://arxiv.org/html/2605.24340#bib.bib14)] 需要实际应用中大多不可用的真值导数标签。批量归一化[15 (https://arxiv.org/html/2605.24340#bib.bib15)] 稳定激活，但未逐层约束敏感性。缺失的原语是逐层导数控制：一个在标准前向传播过程中解析施加的、每隐藏层的敏感性预算，无需牺牲准确率或增加推理开销。

### 1.3 贡献

1.  **架构**：ChainzRule 用可学习的三次多项式层替代典型激活函数。双流前向传播同时传播激活值和其雅可比。DREG 惩罚每层雅可比的 Frobenius 范数，以 O(d·Cf) 成本且无二阶图的方式施加每层敏感性预算。
2.  **跨域准确率**：CR 在表格（Pima 糖尿病）、NLP（SST-5、Yelp Full）和视觉（CIFAR-10-C）任务上达到有竞争力或最优的结果，证明多项式-DREG 归纳偏置能在无需架构级修改的情况下泛化至不同输入模态和任务类型。
3.  **样本效率**：在 Pima 糖尿病数据集上，CR 在每个测试的数据分片（5%–100%）上都领先所有典型激活函数基线，并在 SST-5 上使用约 5% 的先前基准所用训练数据即取得统计显著的提升。
4.  **可靠性与可解释性**：CR 在所有数据分片上保持梯度尾部比率 τ∈[1.01,1.02]，而所有典型激活函数基线为 [1.07,1.09]（p<0.001）。该结构不变量可直接在推理时监控，作为部署可靠性信号。
5.  **部署证据**：Sentivity AI 在生产中运行 CR 用于社交媒体和市场情感分析，提供了这些属性从基准转移到实际操作环境的实证证据。

## 2 架构

### 2.1 PolyLayer

ChainzRule 的每一层用每个神经元上的可学习三次多项式替代标准固定激活函数。不同于将预激活值通过典型激活函数这样的硬编码非线性，每个神经元在训练过程中学习自己的多项式系数，使网络能够用比分段线性架构少得多的层数和参数来近似光滑的高阶函数。三次次数通过先前工作中的网格搜索确定[17 (https://arxiv.org/html/2605.24340#bib.bib17)]。

相对于典型激活函数，实际的优势在于光滑性。典型激活函数在零点有一个硬折点：其导数在该点未定义，其余地方分段常数。这在梯度景观中造成了结构悬崖，尤其在 mini-batch 较小的情况下会产生峰值事件。多项式激活函数处处无限可微，这意味着雅可比可以解析地通过每一层跟踪，没有数值不稳定性，梯度行为成为一等可观测对象，而非事后诊断的附属品。

### 2.2 双流前向传播与 DREG

CR 在前向传播中同时运行两个流：一个标准的值流用于产生预测，一个导数流用于跟踪每层输出对原始输入的敏感程度。导数流利用链式法则在每一层解析更新，无需二次反向传播和二阶计算图。增加的成本与输入维度乘以单次前向传播成本成正比，显著低于需要双重反向传播的 Sobolev 训练或输入梯度惩罚等竞争性导数感知方法[14 (https://arxiv.org/html/2605.24340#bib.bib14),13 (https://arxiv.org/html/2605.24340#bib.bib13)]。

差分正则化 (DREG) 利用该导数流在训练过程中施加每层敏感性预算。在每一层，跟踪到的雅可比的大小直接在损失中被惩罚。这作为梯度极端的软调节器：网络被阻止发展出在数据稀缺下会破坏学习的重尾敏感性模式，同时保留拟合复杂决策边界所需的表达能力。与谱归一化[12 (https://arxiv.org/html/2605.24340#bib.bib12)]（施加硬全局 Lipschitz 界并均匀截断模型表示能力）不同，DREG 是有选择性的：它抑制尾部事件而不平坦化判别准确率所需的特征。由此产生的模型不仅被正则化，而且结构上可审计：τ 可在推理时对任意批次计算，提供实时可靠性信号，无需额外仪控。

## 3 结果

所有实验均将 CR 与在相同条件下重新训练的 Vanilla MLP、MLP + Dropout 和 MLP + 权重衰减进行对比，并在可能的情况下与已发表的基线对比。统计检验采用配对单侧 t 检验和 Wilcoxon 符号秩检验，并进行 Bonferroni 校正。所有报告了 p 值的结果均低于 α=0.05 的显著性阈值。

#### Pima 糖尿病（表格）

CR 达到 85.71%±2.01%（6 个种子），统计上优于 XGBoost/RF（p=0.0047）和 SVM（p=0.0039），并在从 n=32（5%）到 n=614（100%）的每个数据分片上领先所有典型激活函数基线。最大优势出现在 10% 数据处（比最佳基线高 +3.25%），这个区间最类似于低资源生产环境中的冷启动预测。先前最佳：XGBoost/RF 为 82.35%[18 (https://arxiv.org/html/2605.24340#bib.bib18)]；SVM 为 82.20%[19 (https://arxiv.org/html/2605.24340#bib.bib19)]。

#### SST-5（NLP，冻结编码器）

在冻结编码器任务上，CR（46.20%±0.37%，4 个种子）统计上优于 RNTN（p=0.0362），同时使用的短语级训练数据仅为 RNTN 的大约 5%，数据效率比约为 20×。先前最佳（冻结，相同设置）：RNTN 为 45.7%[20 (https://arxiv.org/html/2605.24340#bib.bib20)]。

#### SST-5（NLP，微调 BERT）

使用微调后的 BERT 主干[3 (https://arxiv.org/html/2605.24340#bib.bib3)]，CR 达到 55.79%，而 Munikar 等人的 BERT-base 线性头在 18× 更多标注句子上训练[21 (https://arxiv.org/html/2605.24340#bib.bib21)]。这是单次运行，方向性积极但尚未统计确认；多种子评估正在进行中。该结果表明 CR 的多项式头与大型预训练编码器干净集成，且即使在主干解冻时仍保持其优势。

#### Yelp Full（NLP，序数回归）

CR 在 75 万样本的序数情感回归任务上以 3.22M 参数达到 70.17%，超出十个已发表固定嵌入系统的平均值 3.82 个百分点。这并不是对 transformer 规模模型的主张（后者达到 84.49%[25 (https://arxiv.org/html/2605.24340#bib.bib25)]），但在固定嵌入层级中，CR 领先所有已发布基线。值得注意的是，典型激活函数搭配 DREG 在该任务上退化至 58.98%，而 CR 保持 70.17%，证实多项式基底的 C∞ 光滑度（而非仅正则化）是处理高维连续情感流形的有效成分。先前最佳（固定嵌入）：VDCNN 64.72%[23 (https://arxiv.org/html/2605.24340#bib.bib23)]、fastText 63.90%[22 (https://arxiv.org/html/2605.24340#bib.bib22)]、Char-CNN 62.33%[24 (https://arxiv.org/html/2605.24340#bib.bib24)]；10 模型平均值 66.35%。

#### CIFAR-10-C（视觉）

CR 相对于匹配的 Vanilla MLP 头实现平均损坏准确率提升 +2.32%（t=4.33，p=6.18×10^(-5)，在 Bonferroni 校正后显著）。增益在以下高频噪声损坏上最大：椒盐噪声 +5.80%、高斯噪声 +4.96%、玻璃模糊 +5.23%。未使用损坏感知训练；鲁棒性是干净数据上导数控制的结构性副产品，而非数据增强的结果。

## 4 机制分析：梯度尾部比率

我们通过每样本输入梯度范数的尾部比率 τ = p99/均值 来操作化梯度稳定性。高 τ 表示罕见、极端的梯度事件主导更新方向，这正是在数据稀缺、批次小且噪声大时加剧的失效模式，也是导致模型在推理时对分布外输入行为最不可预测的原因[16 (https://arxiv.org/html/2605.24340#bib.bib16)]。

在 Pima 的所有分片上（每个分片 6 个种子），CR 保持 τ∈[1.01,1.02]，而所有典型激活函数基线保持 τ∈[1.07,1.09]，平均差距为 5.99 个百分点（每个基线 p<0.001）。这一发现扩展并深化了第一阶段结果[17 (https://arxiv.org/html/2605.24340#bib.bib17)]，当时 DREG 在 MNIST 上所有模型容量下将峰值梯度波动性降低了 23.1%（p<10^(-6)，24/24 配对比较），POLY DREG 的原始尾部比率稳定在 15.22–19.43，而未正则化的 ReLU 基线则升级。