聚变至惊喜：进化式自监督图像聚类

# Converge to Surprise: 进化式自监督图像聚类
来源: https://arxiv.org/html/2607.06887
Canlin Zhang 独立研究员 canlingrad@gmail\.com
Xiuwen Liu 计算机科学系 佛罗里达州立大学 xliu@fsu\.edu
###### 摘要
大多数自监督图像聚类模型，实际上几乎所有的深度学习方法，都基于梯度下降：为了计算损失，每个优化步骤都需要一个明确定义的目标，无论是对比正负分裂、掩码块或实体、EMA教师输出、伪标签，还是可微的信息论泛函。我们提出了一种自监督框架，该框架在图像聚类中去除了这一要求。在没有任何先验知识的情况下，根据最大熵原理，我们必须假设每个像素是独立同分布的。以此作为我们的零假设H0\mathcal{H}_{0}，我们定义了一个“惊奇分数”，用于衡量在该零假设H0\mathcal{H}_{0}下模型输出表示有多不可能。最大化惊奇分数迫使深度学习模型拒绝H0\mathcal{H}_{0}——等价地，从数据中发现非随机特征。此外，我们的基本假设是：惊奇分数通常不能简化为逐步骤损失。因此，我们提出了“汇聚惊奇”方案来优化模型：一个演化策略（ES）外部循环，直接最大化惊奇分数而无需其梯度，配合一个周期性梯度下降内部循环，该循环使用ES已经发现的惊奇聚类作为替代目标。在标准图像基准上，我们的框架在非参数自监督图像聚类中取得了新的最先进结果——这是最严格的深度聚类设定，其中模型未获得真实类别的数量。
00footnotetext:预印本。代码可在 https://github.com/canlinzhang/converge-to-surprise 获取。

## 1 引言
自监督图像聚类旨在无需人工干预的情况下，将未标记的图像分组为不同且语义有意义的类别[11 (https://arxiv.org/html/2607.06887#bib.bib11),25 (https://arxiv.org/html/2607.06887#bib.bib25)]。这是通过将自监督表示学习和无监督聚类统一到一个连贯的流水线中实现的[7 (https://arxiv.org/html/2607.06887#bib.bib7),9 (https://arxiv.org/html/2607.06887#bib.bib9)]。一系列工作采用了不同的努力来解决这个问题：
*区块排列*方法旨在预测结构损坏：解决置换块上的拼图[37 (https://arxiv.org/html/2607.06887#bib.bib37)]，预测对输入施加了哪种旋转[20 (https://arxiv.org/html/2607.06887#bib.bib20)]，或预测两个裁剪块的相对位置[14 (https://arxiv.org/html/2607.06887#bib.bib14)]。
*对比学习*将同一图像的两个增强视图拉近，并将不同图像的视图推开[11 (https://arxiv.org/html/2607.06887#bib.bib11),24 (https://arxiv.org/html/2607.06887#bib.bib24)]。
*掩码自编码器*在像素空间中重建随机掩码的部分[25 (https://arxiv.org/html/2607.06887#bib.bib25)]。
*深度聚类*方法通过从聚类获得的当前伪标签交替训练深度网络，并重新聚类输出特征[7 (https://arxiv.org/html/2607.06887#bib.bib7),8 (https://arxiv.org/html/2607.06887#bib.bib8)]。
*自蒸馏*方法训练学生网络匹配教师网络的输出，教师网络的权重是学生网络的指数移动平均[21 (https://arxiv.org/html/2607.06887#bib.bib21),9 (https://arxiv.org/html/2607.06887#bib.bib9)]。
*隐空间预测*方法，属于联合嵌入预测架构家族，从图像一部分的嵌入预测另一部分的嵌入[2 (https://arxiv.org/html/2607.06887#bib.bib2)]。
*信息论*方法优化视图间互信息或特征维度间去相关的可微替代[49 (https://arxiv.org/html/2607.06887#bib.bib49),3 (https://arxiv.org/html/2607.06887#bib.bib3),26 (https://arxiv.org/html/2607.06887#bib.bib26),29 (https://arxiv.org/html/2607.06887#bib.bib29)]。
所有这些方法都有一个共同点：它们都是梯度下降方法，或者说基于损失的方法。每个优化步骤都需要一个明确定义的目标——对比正负分裂、像素或隐空间中的掩码块、EMA更新教师的替代输出、来自聚类或空间排列分析的伪标签、或可微的信息论泛函——作为损失函数。然后，反向传播[41 (https://arxiv.org/html/2607.06887#bib.bib41)]使得在存在这种逐步骤损失时优化深度网络异常高效。然而，正如每个优势都有其代价，梯度下降方法的缺点是：深度网络无法发现那些不能简化为逐步骤损失的表示。本文研究的就是这样一种情况。我们的自监督学习框架旨在从图像中发现非随机性。在没有任何先验知识的情况下，最大熵原理[22 (https://arxiv.org/html/2607.06887#bib.bib22)]迫使采用最保守的假设——像素是独立同分布的随机噪声。我们将此假设作为零假设H0\mathcal{H}_{0}，并定义一个惊奇分数，用于衡量在H0\mathcal{H}_{0}下模型的输出表示有多不可能。惊奇分数越高，H0\mathcal{H}_{0}就越不可信。因此，最大化惊奇分数迫使模型拒绝零假设H0\mathcal{H}_{0}。等价地，这使得模型从图像中提取有意义的信息，或者说非随机性，这些信息最终用于聚类。随后，我们提出本文的另一个基本假设：惊奇分数通常不能简化为逐步骤损失。尽管证明这一假设超出了我们的范围，但提供了详细分析。相应地，我们提出了“汇聚惊奇”来优化深度网络，因为此时不存在逐步骤损失：我们将一个演化策略（ES）[42 (https://arxiv.org/html/2607.06887#bib.bib42)]外部循环（无需梯度即可最大化惊奇分数）与周期性梯度下降内部循环（使用ES已发现的惊奇聚类作为替代目标）相结合。在多个基准数据集上的实验表明，我们的方案在非参数自监督图像聚类中取得了新的最先进结果——这是最严格的深度聚类场景，即模型没有获得真实类别的数量。以下是我们的贡献：
1.  我们定义了一个惊奇分数，用于在随机噪声零假设下衡量深度网络输出的“惊奇”或“非随机”程度。我们在第3.2节 (https://arxiv.org/html/2607.06887#S3.SS2)中展示，我们的惊奇分数天然地对抗表示崩溃。此外，我们提出了一个基本假设：惊奇分数通常不能简化为逐步骤损失函数。
2.  我们提出了“汇聚惊奇”，一种混合优化方案，将演化策略与梯度下降训练相结合，以最大化惊奇分数。
3.  在基准数据集上，使用我们的框架从头训练的模型在非参数自监督图像聚类中取得了新的最先进结果——这是最严格的深度聚类设定。

论文的其余部分组织如下：第2节 (https://arxiv.org/html/2607.06887#S2)回顾了自监督图像聚类的相关工作。第3节 (https://arxiv.org/html/2607.06887#S3)描述了汇聚惊奇框架，包括我们的互补掩码策略、惊奇分数和优化方案。第4节 (https://arxiv.org/html/2607.06887#S4)报告了实验结果，第5节 (https://arxiv.org/html/2607.06887#S5)进行总结。此外，我们强烈建议读者阅读附录A (https://arxiv.org/html/2607.06887#A1)中的讨论部分。

## 2 相关工作
我们根据网络输出内容以及测试时该输出如何成为聚类分配来组织相关的自监督图像聚类方法。这种划分反映了第4节 (https://arxiv.org/html/2607.06887#S4)的实验协议。

### 2.1 自监督嵌入学习
大多数自监督图像聚类方法产生一个在Rd\mathbb{R}^d中的密集特征嵌入，然后在测试时进一步聚类或进行线性探测。这些方法包括对比学习（SimCLR[11 (https://arxiv.org/html/2607.06887#bib.bib11)]，MoCo[24 (https://arxiv.org/html/2607.06887#bib.bib24)]）、自蒸馏（BYOL[21 (https://arxiv.org/html/2607.06887#bib.bib21)]，DINO[9 (https://arxiv.org/html/2607.06887#bib.bib9)]）、隐空间预测（I-JEPA[2 (https://arxiv.org/html/2607.06887#bib.bib2)]）、掩码自编码器[25 (https://arxiv.org/html/2607.06887#bib.bib25)]、信息论目标（Barlow Twins[49 (https://arxiv.org/html/2607.06887#bib.bib49)]，VICReg[3 (https://arxiv.org/html/2607.06887#bib.bib3)]，Deep InfoMax[26 (https://arxiv.org/html/2607.06887#bib.bib26)]）以及伪标签聚类（DeepCluster[7 (https://arxiv.org/html/2607.06887#bib.bib7)]，SwAV[8 (https://arxiv.org/html/2607.06887#bib.bib8)]）。它们在训练信号上有所不同，但在输出上达成一致：连续的嵌入，而非硬聚类分配。这些方法首先应用一个深度编码器，将图像映射到连续嵌入空间。然后，一个浅层解码器（通常是多层感知机[39 (https://arxiv.org/html/2607.06887#bib.bib39)]）将嵌入映射到输出表示。解码器通常在训练后被丢弃。在测试时，基于最近邻评估[36 (https://arxiv.org/html/2607.06887#bib.bib36)]或使用嵌入进行微调的线性投影[7 (https://arxiv.org/html/2607.06887#bib.bib7)]来进行分类。这是最主流但最温和的设定：网络不需要产生图像的硬表示，只需要捕获语义含义的嵌入。

### 2.2 参数化硬深度聚类
第二类方法训练网络直接输出聚类索引：每个输入被映射到KK个离散类别之一，其中KK预先指定。评估时，通过Kuhn-Munkres（匈牙利）线性分配算法[30 (https://arxiv.org/html/2607.06887#bib.bib30)]将预测聚类与真实标签匹配。DEC[47 (https://arxiv.org/html/2607.06887#bib.bib47)]锐化了对KK个质心的软分配，而DAC[10 (https://arxiv.org/html/2607.06887#bib.bib10)]将聚类重新定义为图像对上的成对相同/不同二元分类。与我们框架最接近的是IIC[29 (https://arxiv.org/html/2607.06887#bib.bib29)]，它在单个端到端损失中最大化两个增强视图上聚类预测的softmax互信息（MI）。然而，我们使用来自不相交视图的聚类共现计数作为“惊奇分数”，以替代softmax MI。此外，与IIC不同，我们的框架不需要预先知道KK。

### 2.3 非参数化硬深度聚类
第三类方法不预先固定KK。这是与真正无监督场景最严格的匹配，也是我们报告结果的设定。DeepDPM[40 (https://arxiv.org/html/2607.06887#bib.bib40)]通过受Dirichlet过程高斯混合模型启发的分裂/合并操作动态调整聚类头，在训练过程中增加或减少活跃组件数量。UNSEEN[31 (https://arxiv.org/html/2607.06887#bib.bib31)]将深度聚类主干（DCN[48 (https://arxiv.org/html/2607.06887#bib.bib48)]，DEC[47 (https://arxiv.org/html/2607.06887#bib.bib47)]，DKM[17 (https://arxiv.org/html/2607.06887#bib.bib17)]）包装在一个“死亡聚类”机制中：训练从上限KmaxK_{\max}开始，未使用的聚类逐渐萎缩。[32 (https://arxiv.org/html/2607.06887#bib.bib32)]的深度Dirichlet过程混合（DPM）模型将基于流的生成网络与无限分量DPM先验上的吉布斯采样相结合。两种经典的非深度聚类方法也作为基于学习特征的比较对象出现：moVB[27 (https://arxiv.org/html/2607.06887#bib.bib27)]，一种用于DPM推断的记忆化在线变分贝叶斯方案；DBSCAN[16 (https://arxiv.org/html/2607.06887#bib.bib16)]，基于密度的非参数聚类。

## 3 主要理论
在本节中，我们介绍“汇聚惊奇”，一个用于非参数自监督图像聚类的框架。我们首先介绍我们的互补掩码策略，基于该策略计算惊奇分数。然后，我们描述结合演化策略和梯度下降训练的混合优化方案。

### 3.1 互补掩码策略
假设有一个分布P\mathbf{P}产生形状为(H,W,C)(H,W,C)的图像。即，X∼P\mathbf{X}\sim\mathbf{P}，其中X∈RH,W,C\mathbf{X}\in\mathbb{R}^{H,W,C}。在自监督学习场景中，我们没有关于P\mathbf{P}的标注样本或先验知识。根据最大熵原理[22 (https://arxiv.org/html/2607.06887#bib.bib22)]，我们必须假设X\mathbf{X}中的每个像素(h,w)(h,w)相互独立；换句话说，我们必须假设P\mathbf{P}是RH,W,C\mathbb{R}^{H,W,C}上的最大熵分布，产生完全随机的噪声。这就是我们的零假设H0\mathcal{H}_{0}。然后，给定一个采样图像X∼P\mathbf{X}\sim\mathbf{P}，其中X∈RH,W,C\mathbf{X}\in\mathbb{R}^{H,W,C}，我们使用棋盘模式将其H×WH\times W像素网格划分为两个不相交的子集。令
I={(h,w):(h+w)mod2=0},J={(h,w):(h+w)mod2=1}\begin{split}
\mathcal{I}&=\{(h,w):(h+w)\bmod 2=0\},\\
\mathcal{J}&=\{(h,w):(h+w)\bmod 2=1\}
\end{split}\tag{1}
分别表示棋盘上的“白色”和“黑色”位置。令M(I),M(J)∈{0,1}H,W\mathbf{M}^{(\mathcal{I})},\mathbf{M}^{(\mathcal{J})}\in\{0,1\}^{H,W}为对应的二值掩码，定义为Mh,w(I)=1[(h+w)mod2=0]\mathbf{M}^{(\mathcal{I})}_{h,w}=\mathbf{1}\!\left[(h+w)\bmod 2=0\right]和M(J)=1−M(I)\mathbf{M}^{(\mathcal{J})}=\mathbf{1}-\mathbf{M}^{(\mathcal{I})}，其中1[⋅]\mathbf{1}[\cdot]是指示函数[35 (https://arxiv.org/html/2607.06887#bib.bib35)]。将这些掩码逐像素应用于X\mathbf{X}，我们得到同一图像的两个互补掩码视图：
X(i)=X⊙M(I),X(j)=X⊙M(J),\mathbf{X}^{(i)}=\mathbf{X}\odot\mathbf{M}^{(\mathcal{I})},\quad\mathbf{X}^{(j)}=\mathbf{X}\odot\mathbf{M}^{(\mathcal{J})},\tag{2}
其中⊙\odot表示逐元素乘法。ii侧视图X(i)\mathbf{X}^{(i)}仅保留白色棋盘位置的像素，其余置零；而jj侧视图X(j)\mathbf{X}^{(j)}仅保留黑色位置的像素。通过构造，X\mathbf{X}的每个像素恰好出现在两视图之一中，且两视图不共享任何像素。图1 (https://arxiv.org/html/2607.06887#S3.F1)展示了我们在MNIST图像[13 (https://arxiv.org/html/2607.06887#bib.bib13)]上的掩码策略。
（图注：图1: 棋盘掩码：ii侧只能看到白色棋盘位置的像素；jj侧只能看到黑色棋盘位置的像素。）