无梯度适应：仿射统计迁移及其证书的启示

# 无梯度适应：仿射统计迁移及其证明能告诉你什么
来源：https://arxiv.org/html/2609.00374
作者：Salim Khazem, Ibrahim Mohamed Serouis  
单位：Talan Research Center  
地点：法国图卢兹  
邮箱：[[email protected]](mailto:)

###### 摘要

测试时自适应通常假设模型参数可以在推理时更新。这一假设对于仅支持推理的加速器、冻结或第三方模型以及内存受限的部署环境而言是有限制的；基于标准BatchNorm的TTA配置在没有BatchNorm的架构上也可能失效。我们研究了在学习到的模型必须保持冻结时的自适应问题。我们提出了CASTER，这是一种无梯度方法，它将源类统计信息存储在一个判别子空间中，从目标批次矩中估计一个类别共享的仿射变换，并在分类前解析地传输源类分布。CASTER不需要反向传播、优化器状态或存储的源特征库。在四个骨干网络和七个数据集上，它在28种骨干-数据集设置中的27种中，在相同的冻结特征上优于kk-NN，同时保留的状态中位数减少了18倍。仿射迁移并非总是可靠。在ImageNet-C上，批次仅包含1000个类别中的64个样本，无条件迁移导致Top-1准确率下降21.2个点。因此，我们引入了一种经验性的残差-间隔可迁移性证明。在307个评估单元中，每一个性能损失超过10个点的迁移，其证明值均高于3.9，尽管良性区间和破坏性区间并未完全分离。通过门控机制，将无条件迁移平均-3.35点的负面影响转变为+1.69点的增益，并且在较宽的阈值范围内，性能与最佳阈值保持在0.3个点以内。最后，我们表明该证明是机制特定的：当应用于Tent时，它仅接受4.3%的更新，并保留了Tent可用增益的0.6%。这些结果将CASTER定位为冻结模型部署的轻量级自适应机制，并明确说明了其安全信号何时有效、何时无效。代码可在 https://github.com/salimkhazem/Caster.git 获取。

## 1 引言

参见标题图1：CASTER在测试时的工作。源类矩通过一个根据批次统计估计的类别共享仿射图迁移到目标批次。仅当可迁移性证明通过时才使用迁移后的高斯判别器；否则CASTER返回冻结模型头的预测。无需计算梯度，也无需存储源特征库。测试时自适应旨在通过使用仅在推理时可用的无标签目标数据，在分布偏移下恢复准确率。强大的方法如Tent、EATA、CoTTA和SAR在线更新模型参数，当反向传播和可变模型状态可用时可以非常有效。然而，在许多部署中，这些假设是受限的：仅推理的加速器可能不暴露反向传播计算，冻结的二进制文件或外部API可能不暴露可训练参数，优化器状态可能违反延迟或内存预算。仅前向传播的TTA如FOA通过无导数提示优化放宽了对反向传播的要求，但仍执行测试时搜索。我们研究一个更严格的场景，其中学习到的网络参数保持冻结，并在特征空间中解析地执行自适应。

第二个实际问题是架构性的。在本文评估的标准实现中，Tent和EATA收集BatchNorm仿射参数。因此，在我们的四个LayerNorm骨干网络ConvNeXt-T、ViT-B/16、DeiT-B和Swin-T上，它们的合格参数集为空，其预测恰好简化为冻结的源模型。SAR则不同，因为它可以更新BatchNorm、GroupNorm或LayerNorm参数。在报告跨现代架构的TTA结果时，这种区别很重要：一个混合了活跃配置和惰性配置的平均值可能会掩盖方法实际适应的是什么。

我们提出CASTER，一种基于**类别共享仿射统计迁移**的无梯度TTA方法。我们的假设是，许多实际相关的偏移近似地通过一个类别共享的单一仿射图来变换源训练的特征空间。CASTER仅在判别子空间中存储源类矩。对于每个目标批次，它从源和目标批次矩估计一个收缩稳定的映射，通过该映射传输源类高斯分布，并评估产生的高斯判别器。特征提取器和学习到的网络参数从未被更新，不保留源特征库，也不需要优化器状态。

解析迁移并非无条件安全。其最弱的情形也易于诊断：当类别数量相对于目标批次较大时，伪类覆盖过于稀疏，无法支持可靠的类别几何结构。例如在ImageNet-C上，批次仅包含1000个类别中的64个样本，无条件迁移相对于冻结头会损失21.2个Top-1点。因此CASTER包含一个**可迁移性证明**：在逆向迁移后，自信的伪类质心必须相对于最小的源类间隔保持较小，在相同的马氏几何中度量。

本文的一个核心结果是精确刻画了该证明能证明什么以及不能证明什么。它可靠地识别灾难性迁移区域：每一个性能损失超过10个点的可接受评估单元，其证明值均高于3.9。所诱导的策略对精确阈值也不敏感；在大约四倍的区间内，性能与最佳阈值保持在0.3个点以内。然而，原始证明分数**并不**在非退化区域对自适应收益进行排序：它与迁移增益的相关性为正，而用于偏好有益更新的分数则需要相反的排序。因此，我们将该证明作为迁移机制的安全底线，而非预测自适应将带来多少帮助的通用预测器。

当同一个门控应用于不同的自适应机制时，这一区别变得更加明显。在匹配的CIFAR-10-C单元上，该证明仅接受4.3%的Tent更新，仅保留了Tent可用增益的0.6%；一个更宽松的源统计裁判接受46.3%但仍仅保留32.3%。在单元层面，随着Tent无门控增益的增加，证明的接受率下降（ρ=-0.86），而对于CASTER自身的迁移，类似关系是正的。失败是结构性的：从更新前冻结表示计算的标准，通常无法证明改变该表示的机制的收益。

**贡献。**我们做出了三项贡献。(i) 我们引入了CASTER，一种解析的、无梯度的TTA机制，它存储每个类别的矩而非源特征库。在相同的冻结特征上，它在28个骨干-数据集单元中的27个中优于kk-NN，保留状态的中位数小18倍，并且它仍然适用于仅BatchNorm的Tent/EATA配置无效的架构。(ii) 我们推导了一个尺度一致的残差-间隔证明，并在经验上分离了两个常被混淆的主张：检测退化迁移和对自适应收益进行排序。该证明支持前者，而非后者。(iii) 我们表明该证明不能转移到特征更新机制，提供了匹配的实验证据和失败的结构性解释。所有报告的聚合数据均由一个“失败即关闭”的验证脚本从原始日志重新生成，以减少静默评估错误。

## 2 相关工作

#### 基于梯度的测试时自适应。

Tent通过更新归一化仿射参数和测试时归一化统计量来最小化预测熵。EATA添加了可靠性和冗余过滤以及抗遗忘正则化器；CoTTA使用教师式平均、增强和随机恢复来处理非平稳流；SAR结合了可靠样本选择和锐度感知优化，以提高小批次和动态偏移下的稳定性。当反向计算和可变参数可用时，这些方法可能非常强大。在我们的实验中，我们报告了它们相对于CASTER的优势，而不是将比较限制在有利于冻结特征方法的设置中。

#### 无反向传播和冻结模型自适应。

T3A用由置信目标样本形成的伪原型替代线性分类器，同时保持特征提取器固定。FOA通过使用无导数进化策略优化添加的输入提示，并将激活向源统计移动，从而消除了反向传播。最近的工作还探索了冻结视觉骨干网络的参数高效自适应，包括用于Vision Transformer的低秩适应策略和用于分割的拓扑感知LoRA适应。这些方法在保留大部分冻结的预训练表示的同时引入了少量可训练参数。尽管如此，它们在适应期间仍需要参数更新。CASTER考虑了一个更严格的部署场景，其中学习到的网络完全冻结，并在特征空间中解析地执行自适应。特别是，CASTER从每个目标批次估计源类统计的闭式仿射迁移，无需反向传播、可训练参数或测试时优化。我们还将CASTER与相同冻结特征上的kk-NN作为刻意选择的强大非参数估计器进行比较；与CASTER不同，其保留状态随源样本数量增长。

#### 选择性自适应与风险监控。

选择性预测和延迟学习研究模型是否应在满足置信度标准时采取行动。相关地，最近的工作监控TTA期间的预测风险，并在性能要求可能被违反时发出警报。我们的问题更窄且机制特定：在使用解析迁移之前，我们能否检测到那些在几何上不受支持的迁移的批次？第4.3和4.7节的实验表明了为什么这个范围很重要。为一种自适应机制验证的标准不应被解释为另一种机制的通用证明。

#### 鲁棒性基准与分布距离。

CIFAR-C和ImageNet-C评估常见的损坏；ImageNet-V2、ImageNet-R和ImageNet-Sketch测试自然或基于描绘的偏移；PACS和Office-Home是标准的领域偏移基准。分布距离，如最大均值差异和Wasserstein距离，量化两个分布相距多远。然而，与源分布的距离并不等同于特定自适应规则的预期收益。这一区别是我们证明分析的核心。

## 3 方法

设 \( h = f_\theta(x) \in \mathbb{R}^d \) 表示冻结特征提取器的输出，令 \( y \in \{1, \ldots, C\} \)。CASTER在学习网络之外执行所有自适应。从有标签的源数据出发，我们首先从类间和类内散度矩阵的广义特征向量构建一个判别线性子空间。令 \( U_{k_0} \in \mathbb{R}^{d \times k_0} \) 包含前导方向，其中
\[ k_0 = \min(k_{\max}, \, C-1). \] (1) \( C-1 \) 的界限反映了类间散度矩阵的最大秩。在目标时间，对于一个大小为 \( B \) 的批次，我们激活前
\[ k = \min(k_0, \, B-1) \] (2) 个方向，并使用 \( z = U_k^\top h \)。\( B-1 \) 的界限避免了在正则化之前无法由经验目标协方差支持的方向。源统计一次性存储在最大子空间 \( U_{k_0} \) 中，并根据需要限制在前 \( k \) 个坐标上。因此，保留的源状态不依赖于源样本的数量。

对于每个类别 \( c \)，CASTER存储投影后的源均值 \( \mu_c \in \mathbb{R}^k \)、协方差 \( \Sigma_c \in \mathbb{R}^{k \times k} \) 和先验 \( \pi_c \)。令 \( m_s \) 和 \( C_s \) 分别表示活动子空间中对应的全局源均值和协方差。

### 3.1 仿射统计迁移

对于一个目标批次 \( \mathcal{B}_t = \{z_i\}_{i=1}^B \)，令 \( \hat{m}_t \) 和 \( \hat{C}_t \) 为其经验均值和协方差。CASTER估计一个收缩稳定的白化-着色映射
\[ A_t = (\hat{C}_t + \lambda I)^{1/2} (C_s + \lambda I)^{-1/2}, \]
\[ b_t = \hat{m}_t - A_t m_s, \] (3) 其中矩阵平方根取对称半正定根，\( \lambda > 0 \) 控制协方差收缩。当 \( B \geq 2k \) 时，我们使用公式(3)中的完整矩阵。当 \( B < 2k \) 时，我们使用其对角类比，将两个协方差矩阵替换为它们的对角方差。该规则是样本效率的保障：稠密映射有 \( \mathcal{O}(k^2) \) 个自由度，而对角映射有 \( \mathcal{O}(k) \) 个自由度。

源类统计迁移为
\[ \tilde{\mu}_{c,t} = A_t \mu_c + b_t, \qquad \tilde{\Sigma}_{c,t} = A_t \Sigma_c A_t^\top + \beta I, \] (4) 其中 \( \beta > 0 \) 提供类别协方差正则化。迁移后的高斯判别器得分为
\[ g_c(z) = -\frac{1}{2} (z - \tilde{\mu}_{c,t})^\top \tilde{\Sigma}_{c,t}^{-1} (z - \tilde{\mu}_{c,t}) - \frac{1}{2} \log \det (\tilde{\Sigma}_{c,t}) + \log \pi_c. \] (5) 提出的目标预测为 \( \hat{y}_i = \arg\max_c g_c(z_i) \)。此操作不改变任何网络参数。

### 3.2 可迁移性证明

仅当目标批次包含足够证据时，仿射映射才是有用的。