超越感受野：序列池化归一化可提供序列标注器的大部分上下文

# 超越感受野：序列池化归一化可为序列标注器提供大部分上下文
来源：https://arxiv.org/html/2608.18576

庆·田  
地址：美国阿拉巴马州伯明翰市阿拉巴马大学伯明翰分校计算机科学系，邮编35294  
邮箱：[[email protected]](mailto:[email protected])

###### 摘要
卷积序列标注器的感受野通常被视为模型可用上下文的范围：它决定膨胀率调度、约束流处理时域并支撑局部性假设。然而我们发现这可能并不成立：当归一化层在推理时从当前输入沿序列计算统计量时，这些统计量会开辟一条绕过卷积感受野的序列跨度路径，从而提供全局上下文。我们通过该层的雅可比矩阵推导出此结论（该准则无需实验验证），且该路径传递的信息具有闭式解。在具有可计算最优解的合成标注任务中，序列跨度归一化所编码的全局摘要信息几乎能提供与更大感受野同等的价值——当标签以长序列形式出现时，仅需覆盖9个位置的网络就能达到与全序列最优解仅差0.009的准确率，而按其感受野范围计算则接近随机水平。通过在每个位置取相同统计量来关闭该路径，可使扩大感受野的效果在测试的所有难度级别中提升一个数量级——该结论在模拟基因组与真实1000基因组计划单体型数据上均得到验证。该路径同样会混淆归因分析：移除训练后网络中扩大感受野的模块会切断部分路径，导致其贡献度被高估8.3-16.1倍（相对于从头训练的结果）。归一化路径的替代作用会随标签切换频率增加而减弱。当标签连续出现时，感受野理论与消融实验的数值结论虽均正确，但二者都将功劳归于了错误的组件。

###### 关键词
感受野、归一化、序列标注、卷积网络、网络消融

## 1 引言
架构的感受野（或称作用范围¹）既是设计参数也是理论依据。膨胀卷积堆叠根据其可达范围设计，流处理系统依据此分配延迟预算，当该范围的作用受到质疑时，标准做法是从训练好的网络中移除扩大作用范围的模块并评估损失。这三种实践都将感受野视为模型可用上下文的范围。本文表明，当网络包含在推理时沿序列计算统计量的归一化层时，该描述将失效，并量化了失效程度。此类层通过一条不被感受野计算涵盖的路径为每个位置提供整个输入的摘要信息，因为该路径不经过任何卷积运算（图1）。我们发现当标签以长序列形式出现时，该摘要信息提供了几乎全部可用上下文，而感受野理论与消融实验却将此上下文错误归因于其他组件。

图1：从输入到输出的两条路径。蓝色路径：感受野——卷积能到达的有限位置集合，这是架构设计所报告和依据的度量。橙色路径：当归一化层的统计量μₛ, σₛ沿序列池化时开启的路径——每个位置都为统计量做出贡献，且统计量能影响每个位置。虽然单个项∂zₜ/∂xₛ的数量级为O(1/|S|)（|S|为池化位置数），看似微不足道，但这些项并不会相互抵消：它们的总和恰好等于位置自身项∂zₜ/∂xₜ的相反数，因此归一化路径的影响力与其所遮蔽的卷积路径相当（第3节）。任何感受野计算都无法解释该路径，因为它不经过卷积运算。

为了衡量此类摘要信息的贡献量，我们需要绝对尺度。对于生成分布已知的序列标注过程，三个参考量可直接计算而非通过训练模型估计：有限位置范围可达到的最佳精度下界、全序列可达到的最佳精度，以及仅基于序列类别比例可达到的最佳精度——后者正是序列跨度归一化统计量一阶近似所编码的信息（第3节）。将训练好的网络与这三个参考量对比，即可将其准确率置于统一尺度上。图2展示了具有可计算最优解的合成任务的结果。当标签切换罕见时（图2左端），参考值趋于一致：仅知晓类别比例的神谕可达0.976，完全利用全部4096个位置的最优解也是0.976，而9个位置范围的下界仅为0.548。采用序列池化归一化且仅达9个位置的网络达到了0.967：仅比全序列最优解低0.009，远高于其感受野范围对应的下界，并贴近类别比例神谕。在此区间内，该路径并非感受野的小幅修正，而是上下文的主要来源。

图2：信息地形图。横轴表示n（序列中预期标签切换次数），当n<1时最可能的情况是无切换（从头至尾单一标签）。四条线中的三条是参考值：由生成过程计算得到、无需拟合的特性——全序列最优解（灰色实线）、类别比例神谕（绿色点划线）和9位置上下文的保守下界（蓝色虚线）。绿色类别比例神谕正是序列跨度归一化一阶近似所编码的信息。第四条点状曲线是第3节推导的闭式解（同样无需拟合），在n≳1时紧贴比例神谕，必然在下方偏离。橙色点为训练好的网络（每种切换速率对应一个）：采用A节膨胀残差堆叠的首个模块（感受野9位置），其归一化统计量沿整个序列池化而非在每个位置单独计算。这些网络遵循比例曲线而非自身感受野对应的下界，在标签罕见切换时仅比比例神谕低0.009，任何位置偏离不超过0.037。

该路径同样会混淆归因分析。消融实验通过移除训练后网络中的组件并重新评估来量化组件贡献²。应用于扩大感受野的模块时，该过程会连带移除其归一化层，切断部分序列跨度路径，并将本可被从头训练的无该模块网络获取的上下文错误归咎于这些模块。在模拟基因组任务中，消融损失是从头训练损失的8.3倍，在真实1000基因组计划单体型数据上达到16.1倍。当没有统计量跨越序列时，消融与从头训练结果几乎一致（差异不超过任何组件移除后产生的适应与补偿效应），其他条件均保持不变（第6节）。因此差异仅取决于归一化层的池化轴。该效应具有条件性，其两个条件可在任何实验前验证：归一化统计量从当前输入沿序列在推理时计算（这由层定义决定）；以及标签以长序列形式出现（这由任务决定）。当任一条件不满足时，理论预测无效应。第5节预先指出了两种预测无效应的情况，并发现效应确实消失。当两者同时满足时，模型表现并无问题——它们在合理利用可用信息。失效的是描述本身，且该描述被付诸实践时会造成实际损失：架构师依据实测增益确定膨胀率调度、流处理系统依赖设计而非实际存在的有限时域、规划器依据局部性进行时间组合建模。

归一化传递超出感受野信息的现象早有观察：Pfrommer等人2025年在合成定位任务中，通过感受野重叠位置间的迭代消息传递证明了该现象。我们独立发现该现象且机制不同——他们忽视的广播机制：单层池化统计量既不需要深度也不需要重叠。本文的新贡献在于其推论：推导出的判定准则、开放路径传递内容的闭式解（高于随机水平1/√(2πn)，n为序列预期标签切换次数），且在无需拟合的情况下，与精确计算的最优解误差在4%以内（第3节）。对13个已发布模型的调查显示，该准则能对真实架构进行分类，且分类结果既不依赖领域也不依赖报告的感受野（第7节）。论文贡献可分为三方面：
1. **机制**：从归一化层雅可比矩阵推导的准则，仅需根据层定义即可判定是否开启序列跨度路径；以及该路径传递内容的闭式解（1/√(2πn)高于随机水平，n为序列预期标签切换次数），与精确计算的最优解对比误差在4%以内（第3节）。对13个已发布模型的调查显示该准则能对真实架构进行分类，且分类结果既不遵循领域也不遵循报告的感受野（第7节）。
2. **量级**：在四种预测中均得到验证：在两个不相关的生成过程、真实1000基因组计划单体型、已发布的Conv-TasNet分离器和注意力已跨越序列的Transformer上的测试均支持以下结论：路径开启时感受野几乎无价值；仅推理时沿序列池化会产生该效应；标签切换越频繁效应越弱；在理论预测无效应的两种情况下效应消失。进一步检查表明网络性能符合计算边界，且该理论在池化范围随深度缩小的U-Net上仍然成立（第5节）。
3. **后果**：当被移除模块携带序列跨度归一化时，块消融会切断其部分路径并错误归因，导致贡献度在模拟中被高估8.3倍，在真实单体型数据上达16.1倍。仅使用逐位置统计量时，高估程度降至仅从头训练产生的水平，证实路径是根本原因（第6节）。

## 2 相关工作
### 2.1 作为信息通道的归一化
空间范围池化的归一化统计量是全局摘要信息——这在风格迁移的实例归一化中已是基本前提，其中特征图的空间均值与方差被视为全局风格并在图像间迁移（Ulyanov等人2016；Huang与Belongie2017）。同一特性在批量轴泄漏的名义下同样为人熟知，这也是评估时使用运行均值替代批量统计量的原因（Ioffe与Szegedy2015），而该替代在小批量时会导致精度下降（Wu与Johnson2021）。Pfrommer等人2025年阐明了其对感受野的影响，并注意到BatchNorm的路径在评估时被总体统计量替代后消失——第3节的准则从层定义预测了该行为，第5节验证了此预测。本文三点新意未见于上述工作：仅凭层定义判定哪些层开启路径的准则；方程3给出的路径传递内容闭式解（对比精确计算的最优解而非训练基线）；以及第7节将准则应用于每个模型发布代码的调查（读者可复现）。推理时计算而非训练后冻结的归一化统计量具有传导性：预测依赖于与被预测点共存的数据。该特性也被有意利用：测试时自适应在测试数据上重新计算归一化统计量以获得鲁棒性（Schneider等人2020；Wang等人2021），将统计量视为从测试分布到预测的路径。本文研究的路径从当前输入的远距离位置通往预测点，问题不在于路径存在，而在于从业者描述模型上下文的度量未能涵盖该路径。另有研究证实卷积网络通过边界零填充获取位置信息（Islam等人2020；Kayhan与van Gemert2020）；该路径具有独特特征：在输入边缘最强并向内衰减，而本文研究的效应在序列内均匀分布。

### 2.2 组件功能归因
移除组件并重新评估是功能归因的标准方法，其局限性已有记录：冗余性使单单元消融失去信息量（Morcos等人2018；Meyes等人2019）；在残差和Transformer架构中，剩余组件会补偿，导致损失函数低估组件作用（McGrath等人2023）；且替代被移除组件的选择会改变结果（Li与Janson2024）。移除后重新评估还是从头训练无该组件会根本改变结论：移除归因方法识别的特征后重新训练，会颠覆这些方法的排序（Hooker等人2019）。本文区分这两种情况，将后者称为重训练（第6节）。在没有统计量跨越序列的情况下，消融与重训练结果几乎一致（差异不超过任何移除后产生的适应与补偿效应），其他条件均保持不变（第6节）。因此差异仅取决于归一化层的池化轴。该效应具有条件性，其两个条件可在实验前验证：归一化统计量从当前输入沿序列在推理时计算（由层定义决定）；以及标签以长序列形式出现（由任务决定）。当任一条件不满足时，理论预测无效应。第5节预先指出了两种预测无效应的情况，并发现效应确实消失。当两者同时满足时，模型表现并无问题——它们在合理利用可用信息。失效的是描述本身，且该描述被付诸实践时会造成实际损失：架构师依据实测增益确定膨胀率调度、流处理系统依赖设计而非实际存在的有限时域、规划器依据局部性进行时间组合建模。

（注：由于用户输入在第2.2节结尾处截断，翻译至此为止。后续章节未提供完整内容，故保留截断状态。）