我们提出 LeVLJEPA：首个与 CLIP 和 SigLIP 具备竞争力的全非对比式端到端视觉-语言预训练方法

无需负样本。无需温度参数。无需动量编码器。无需师生结构。

TL;DR：LeVLJEPA 通过预测学习图像到文本的结构：每个模态预测另一个模态的嵌入，同时 SIGReg 使每个嵌入保持各向同性高斯分布。

https://arxiv.org/abs/2607.00784

1 引言

来源：https://arxiv.org/html/2607.00784 LeVLJEPA：无负样本的端到端视觉-语言预训练

Lukas Kuhn¹,² Giuseppe Serra¹ Randall Balestriero⁴ Florian Buettner,¹,²,³

¹ 德国癌症研究中心 ² 德国癌症联盟 ³ 法兰克福大学 ⁴ 布朗大学

• 共同通讯作者。联系方式：[email protected]

视觉-语言预训练目前仍由对比学习目标主导，而纯视觉自监督学习已广泛采用非对比方法。同时，视觉-语言编码器的角色正在转变：它们不再仅作为零样本分类器，而是越来越多地作为视觉-语言模型和密集预测系统的冻结视觉骨干网络，这类系统消耗的是完整的 Patch 令牌网格，而非单个池化嵌入。我们提出 LeVLJEPA，这是首个完全非对比式的端到端视觉-语言预训练方法。LeVLJEPA 通过跨模态预测来学习，使用停止梯度目标和每个模态的分布正则化，无需负样本、温度参数、动量编码器或师生调度，并且能够在大规模下稳定训练。我们发现，由此产生的编码器在下游应用中提供了显著更强的密集语义特征：作为冻结的视觉-语言模型骨干网络，在两种不同语言模型下，LeVLJEPA 在 GQA、VQAv2 和 POPE 上均是被评估编码器中最强的；在语义分割上优于对比基线，而在线性探测等全局读取任务上与对比基线持平。这些结果表明，非对比预训练是生成密集语义视觉特征的有效手段。

自监督视觉预训练已越来越多地转向非对比目标。DINO [6 (https://arxiv.org/html/2607.00784#bib.bib3)]、I-JEPA [1 (https://arxiv.org/html/2607.00784#bib.bib4)] 和 LeJEPA [3 (https://arxiv.org/html/2607.00784#bib.bib5)] 等方法在无需负样本对的情况下学习到强大的视觉表示，它们依赖于预测性或分布性目标。然而，视觉-语言预训练并未沿同一轨迹发展：CLIP [23 (https://arxiv.org/html/2607.00784#bib.bib1)]、SigLIP [28 (https://arxiv.org/html/2607.00784#bib.bib6)] 及其扩展仍将对比式图像-文本对齐作为从配对的图像-标题数据中学习的默认目标。这引出一个基本问题：端到端的视觉-语言预训练能否在没有对比负样本的情况下工作？

这个问题具有实际意义。视觉-语言编码器越来越多地被重复用作系统的视觉骨干网络，在这些系统中，图像表示的质量直接相关，包括视觉指令微调模型（如 LLaVA [20 (https://arxiv.org/html/2607.00784#bib.bib7)]）、密集预测方法（如 DenseCLIP [25 (https://arxiv.org/html/2607.00784#bib.bib25)]）以及语言条件机器人系统（如 CLIPort [26 (https://arxiv.org/html/2607.00784#bib.bib26)] 和 Voltron [18 (https://arxiv.org/html/2607.00784#bib.bib27)]）。在许多这样的设定中，预训练的视觉编码器充当冻结的特征提取器，下游系统并不消耗单个池化图像向量，而是关注整个 Patch 令牌网格。因此，重要的不是零样本分类，而是这些密集的、每个令牌的视觉特征的质量。然而，对比式视觉-语言目标主要针对单个池化嵌入的跨模态对齐进行优化，这非常适合零样本检索和分类，但对每个令牌特征的监督只是副产品。

我们提出 LeVLJEPA，这是首个完全非对比式的端到端视觉-语言预训练方法。LeVLJEPA 通过跨模态预测学习图像-文本对齐：图像嵌入预测停止梯度的文本嵌入，文本嵌入通过模态特定预测器预测停止梯度的图像嵌入。为防止坍塌，每个模态独立使用 SIGReg [3 (https://arxiv.org/html/2607.00784#bib.bib5)] 进行正则化，促使边缘嵌入分布接近各向同性高斯分布。这形成了一个简单的训练方案，无需负样本、温度参数、动量编码器或师生调度。

参见图注。图 1：LeVLJEPA 概览。图像 XV_X_{V} 和文本 XT_X_{T} 被编码为嵌入 ZV,ZT_Z_{V},Z_{T}，然后通过模态特定预测器产生跨模态预测 Z^V,Z^T\hat{Z}{V},\hat{Z}{T}。训练目标结合了 (i) 每个预测器输出与另一模态停止梯度目标之间的跨模态 MSE 损失，以及 (ii) 分别应用于 ZV_Z_{V} 和 ZT_Z_{T} 的 SIGReg [3 (https://arxiv.org/html/2607.00784#bib.bib5)]，以保持每个模态边缘嵌入分布接近各向同性高斯。SIGReg（右图）通过将嵌入投影到随机一元方向，并对每个投影应用基于特征函数的正态性检验来强制这一分布，避免了直接密度匹配的维度灾难。

我们在两个规模上验证了我们的方法，分别在 CC12M（1200 万样本）[7 (https://arxiv.org/html/2607.00784#bib.bib34)] 和 Datacomp-L（9200 万样本）[13 (https://arxiv.org/html/2607.00784#bib.bib33)] 上训练。在较小的 CC12M 规模上，LeVLJEPA 在零样本迁移和线性探测上与 CLIP 和 SigLIP 具有竞争力，这表明当对齐信号是主要评价轴时，非对比目标与对比预训练相当。在较大的 Datacomp-L 规模上，对比目标在零样本迁移上仍具优势，而 LeVLJEPA 在全局类别表示的线性探测上与 CLIP 和 SigLIP 持平，并在背景鲁棒性上优于两者。当评估作用于 Patch 令牌序列而非池化嵌入时，两种目标的分野最为明显。LeVLJEPA 在语义分割上优于两种对比基线；当作为冻结的视觉-语言模型的视觉骨干网络时（仅在冻结编码器和冻结语言模型之间训练一个轻量级桥接网络），它在 GQA、VQAv2 和 POPE 上获得了最高的下游准确率，且在两种不同语言模型家族上保持一致。这些结果表明，非对比式视觉-语言预训练的优势集中在下游系统所依赖的密集、每令牌特征的质量上，而非零样本迁移所衡量的全局图像-文本对齐。

本文的贡献如下：

• 我们提出 LeVLJEPA，这是首个完全非对比式的端到端视觉-语言预训练方法。该目标结合了跨模态预测与停止梯度目标以及每个模态的分布正则化，无需负样本对、温度参数、动量编码器或师生调度，从而形成简单且稳定的训练过程。
• 我们证明，我们的方法在两个训练规模上与对比预训练具有竞争力。在较小规模训练中，它在零样本迁移和线性探测上与 CLIP 和 SigLIP 相当；而在 Datacomp-L 规模上，它在线性探测上保持持平，仅在零样本迁移（即这些方法直接优化的目标）上落后于对比基线。
• 我们证明 LeVLJEPA 学习到了更强的密集语义特征供下游使用。在作用于 Patch 令牌序列而非池化嵌入的评估协议下，它在语义分割上优于两种对比基线；作为视觉-语言模型的冻结视觉骨干网络，在两种不同语言模型家族上，它在 GQA、VQAv2 和 POPE 上均取得了最高准确率。

2 背景

2.1 符号与设置

我们考虑一个配对数据集 D={ (xi,yi) }_{i=1}^{N}，其中包含图像 xi∈X 和标题 yi∈Y。图像编码器 fθ:X→R^d 将图像映射为嵌入 zv=fθ(x)，文本编码器 gφ:Y→R^d 将标题映射为嵌入 zt=gφ(y)。一个大小为 B 的小批量产生嵌入矩阵 Zv,Zt∈R^{B×d}，其行向量为 ziv,zit。对于对比基线和评估，嵌入在进行余弦相似度计算之前会进行 l2 归一化。对于 LeVLJEPA，经过 SIGReg 正则化的嵌入在训练期间不进行 l2 归一化，因为 SIGReg 的目标是在 R^d 中实现各向同性高斯边缘分布。当零样本评估或检索需要余弦相似度时，LeVLJEPA 嵌入仅在评估时进行归一化。

2.2 对比式视觉-语言预训练

CLIP [23 (https://arxiv.org/html/2607.00784#bib.bib1)] 联合训练 fθ 和 gφ，通过将匹配的图像-标题对拉近，并将不匹配的对推远，使用批内的对称 InfoNCE 目标：

L_InfoNCE = -1/(2B) ∑{i=1}^B [ log( exp(ziv·zit/τ) / ∑{j=1}^B exp(ziv·zjt/τ) ) + log( exp(ziv·zit/τ) / ∑_{j=1}^B exp(zjv·zit/τ) ) ], (1)

其中 τ 是一个可学习的温度参数。对整个批次的 softmax 操作将其他所有样本变为负样本，因此信号质量随 B 增大而提升：更大的批次提供更难、更多样的负样本，而 CLIP 类方法通常使用数万规模的批次大小进行训练。

SigLIP [28 (https://arxiv.org/html/2607.00784#bib.bib6)] 将 softmax 替换为对批次中每一对 (i,j) 的独立 sigmoid 分类：

L_SigLIP = -1/B ∑{i=1}^B ∑{j=1}^B log σ( t_ij ( ziv·zjt + b ) ), (2)

其中 t_ij = +1 当 i=j，否则为 -1，t,b 是可学习的标量。解耦对消除了全局归一化，提高了在小批量和大批量下训练的稳定性，尽管性能仍然受益于 B 的扩大。

VL-JEPA [8 (https://arxiv.org/html/2607.00784#bib.bib31)] 将视觉-语言学习重新表述为联合嵌入预测架构的语言：预测器将图像映射到目标标题的连续嵌入，该嵌入在潜在空间中学习，而非通过自回归令牌生成。尽管采用了这种预测性的 JEPA 式框架，训练信号仍是对比性的。VL-JEPA 优化了一个与 CLIP 相同形式的双向 InfoNCE 目标，作用于预测嵌入和目标嵌入之间，该目标同时将每个预测嵌入与其匹配目标对齐，并通过批内分母将其推向远离批次中其他标题的方向。因此，坍塌是通过批次中的负样本对来防止的，而非通过显式的分布正则化器，VL-JEPA 继承了对比预训练的批次级负采样和批次大小依赖性；因此我们将其归入对比方法。值得注意的是，Chen 等人 [8 (https://arxiv.org/html/2607.00784#bib.bib31)] 观察到 InfoNCE 项原则上可以被一个样本独立的抗坍塌正则化器替代，但将这一工作留待未来。

2.3 非对比式自监督学习

在纯视觉预训练中，非对比方法已成为主导范式。SimCLR [9 (https://arxiv.org/html/2607.00784#bib.bib21)] 仍是一个经典的对比基线；DINO [6 (https://arxiv.org/html/2607.00784#bib.bib3)] 通过学生与教师网络之间的自蒸馏来学习，无需负样本；I-JEPA [1 (https://arxiv.org/html/2607.00784#bib.bib4)] 在潜在空间中从可见区域预测掩码图像区域的表示，避免了负样本和像素级重建。BYOL [15 (https://arxiv.org/html/2607.00784#bib.bib13)] 通过架构不对称性在没有负样本的情况下防止坍塌：一个配备了预测头的在线网络回归由动量平均目标网络产生的表示，并对目标应用停止梯度。这种不对称的预测器加停止梯度的设计（后来被 SimSiam [10 (https://arxiv.org/html/2607.00784#bib.bib12)] 简化——该工作表明动量编码器并非必需）是我们将其适配到跨模态设置中的机制（第 3 节），并且它与 LeJEPA 的分布正则化器是互补的。

LeJEPA [3 (https://arxiv.org/html/2607.00784#bib.bib5)] 在 JEPA 家族中提供了一种简单且理论基础扎实的替代方案，它用显式的分布正则化器取代了上述机制。核心结果是各向同性高斯嵌入能最小化下游风险，而 SIGReg（Sketched Isotropic Gaussian Regularization，草图化各向同性高斯正则化）是以可扩展方式强制这一分布的目标。SIGReg 不是直接在 d 维中进行密度匹配，而是将嵌入投影到一组随机的一维方向 A 上，并对每个投影应用基于特征函数的统计检验（Epps–Pulley），从而得到一个在批次大小和嵌入维度上均具有线性时间和内存复杂度的目标。

给定一个大小为 B 的批次，每个样本有 V 个增强视角（Vg 个全局视角和 Vl 个局部视角），令 z_n,v ∈ R^d 表示样本 n 的视角 v 的嵌入。LeJEPA 将 SIGReg（分别应用于每个视角并平均到 V 个视角上）与视角预测损失（平均到批次中的 B 个样本上）相结合：

L_LeJEPA = (λ/V) ∑{v=1}^V SIGReg( {z_n,v}{n=1}^B ) + ((1-λ)/B) ∑{n=1}^B L_pred^{(V_g)}( {z_n,v}{v=1}^V ), (3)

只有一个超参数 λ ∈ [0,1] 用于权衡。预测项将视角拉近到潜在空间，而 SIGReg 使嵌入分布保持各向同性高斯，两者共同作用足以在没有停止梯度、动量编码器或师生架构的情况下防止坍塌。我们直接基于 LeJEPA 构建，并复用其视角结构以及预测加 SIGReg 的公式，作为我们方法中的非对比组件。

3 在没有负样本的情况下学习图像-文本对齐

我们研究非对比目标——此类目标已在许多视觉任务中取代了对比目标——是否也能在视觉-语言预训练中有效工作。