哪些负样本重要？问问你的文本编码器：密集描述检索的自适应相似性边界

# 哪些负样本重要？问你的文本编码器：密集图文检索的自适应相似性间隔
来源：https://arxiv.org/html/2608.18521
作者：陈晔（叶），单位：西安交通大学-米兰理工大学联合学院，中国西安 710049；王志超、汤晓盈，单位：香港中文大学（深圳）未来网络智能研究院 (FNii-Shenzhen) ，[0.6em] 理工学院，中国深圳 518172

###### 摘要

密集图文检索最近通过在对比微调中引入分割、边缘图、LLM过滤的描述以及跨模态模块而得到改进。然而，这些方法在很大程度上沿用了相同的 InfoNCE 目标函数，其优化在强预训练初始化下可能过早饱和：在密集描述上，损失在第一个训练周期内就低于10^{-3}，涉及80%的批次，而其梯度在47%的测量中达到*fp32下的精确零值*。我们发现这种行为与密集图文基准中大量近乎重复的描述密切相关：在大多数简单的样本被分离后，少数高度相似的负样本仍然未被解决。为此，我们引入了 HN-CLIP，它使用文本编码器自身的文本-文本几何结构来构建每个负样本的自适应相似性间隔。具体来说，一个从文本相似性矩阵分离并添加到负对数几率中，无需挖掘、合成或重采样负样本，即可为更相似的描述分配更大的间隔。所提出的目标函数仅需一个文本相似性矩阵和一个掩码对数几率加法操作，无需辅助数据、额外参数、离线预处理或推理时开销。在四个密集图文检索基准上的大量实验表明，HN-CLIP 相比最强竞争对手在 R@1 上提升了 +2.4 到 +4.3，同时训练速度比 GOAL 快 2.4 倍，比 StructXLIP 快 5.4 倍。此外，所提目标函数在领域内基准上提升了所有六种已测试的微调框架，并且仅使用 20% 的训练数据即可达到最强的全数据基线性能。

## 1 引言

经过对比预训练的视觉-语言模型（VLMs）（Radford 等人 2021 (https://arxiv.org/html/2608.18521#bib.bib28)；Zhai 等人 2023 (https://arxiv.org/html/2608.18521#bib.bib41)）已成为图像-文本检索的标准骨干网络。虽然它们的预训练语料库主要包含简短的网络描述，但最近的基准如 DOCCI（Onoe 等人 2024 (https://arxiv.org/html/2608.18521#bib.bib24)）、DCI（Urbanek 等人 2024 (https://arxiv.org/html/2608.18521#bib.bib33)）和 Urban-1K（Zhang 等人 2024 (https://arxiv.org/html/2608.18521#bib.bib42)）要求模型区分对视觉相似场景的长篇、细节丰富的描述。这种*密集图文检索*设置促使了一系列基于 Long-CLIP（Zhang 等人 2024 (https://arxiv.org/html/2608.18521#bib.bib42)）的方法不断发展。FineLIP 引入了跨模态模块（Asokan 等人 2025 (https://arxiv.org/html/2608.18521#bib.bib1)），GOAL 结合了分割区域的局部匹配（Choi 等人 2025 (https://arxiv.org/html/2608.18521#bib.bib5)），SmartCLIP 对重要词元进行重加权（Xie 等人 2025 (https://arxiv.org/html/2608.18521#bib.bib38)），而 StructXLIP 进一步引入了来自边缘图和 LLM 推导的词汇监督的结构线索（Ruan 等人 2026 (https://arxiv.org/html/2608.18521#bib.bib30)）。尽管设计各异，但这些方法主要关注于丰富提供的*监督内容*，同时保留了相同的全局对比目标。

我们转而研究这个目标在密集图文微调期间是否仍然有效。我们的分析揭示了一个显著的饱和现象：在使用强 Long-CLIP 初始化时，InfoNCE 损失在第一个训练周期内就在 80% 的测量批次中低于10^{-3}，并且其梯度在 47% 的测量中达到*fp32下的精确零值*（图 4 (https://arxiv.org/html/2608.18521#S2.F4)）。我们将这种行为追溯到密集图文基准的描述几何结构。长描述具有高度组合性，并且经常形成近乎重复的对：在预训练的 Long-CLIP 文本编码器下，每个描述的最困难负样本的余弦相似度达到0.92–0.94（图 1 (https://arxiv.org/html/2608.18521#S1.F1)）。因此，强初始化会非常快速地分离出大多数简单负样本，导致标准目标提供的梯度很少，而决定 R@1 的高度相似负样本却仍未被解决。这一观察引出了一个自然的问题：*对比目标本身能否调整其训练压力，以适应密集图文批次中已存在的困难负样本？*

[插图说明] 图 1：密集图文基准由困难负样本主导。(a) 所有成对描述-描述余弦相似度的分布，以及 (b) 每个描述的最困难负样本相似度，使用预训练的 Long-CLIP-L 文本编码器在测试集上测量。虚线表示均值。(b) 中的对获得了最强的提升。作为一种补救措施，我们引入了 HN-CLIP，一种简单的目标级方法，它利用文本编码器自身的表示几何结构来识别困难程度。给定一批图像-描述对，HN-CLIP 计算描述-描述相似度矩阵，将其从计算图中分离，遮蔽其对角线，并通过单个系数γ将其添加到负对数几率中。因此，每个负样本获得与其描述相似度成比例的自适应间隔：简单负样本几乎不变，而近乎重复的描述必须通过更大的间隔被分离，其损失才会消失。与传统的困难负样本策略不同，HN-CLIP 不挖掘、合成或重采样负样本；现有批次保持不变。结合标准的词元级晚期交互项（Yao 等人 2021 (https://arxiv.org/html/2608.18521#bib.bib39)），该方法不引入辅助输入、预处理流程、架构模块、额外参数或推理时计算。在四个密集图文基准上的实验表明，HN-CLIP 在所有八个检索方向上都取得了最佳 R@1，比最强竞争对手提升了 +2.4 到 +4.3。它还比 GOAL 训练快 2.4 倍，比 StructXLIP 训练快 5.4 倍，仅使用 20% 的训练数据就超越了最强的全数据基线，并在领域内基准上提升了所有六种已测试的微调框架。

我们的贡献总结如下：

- •我们识别了密集图文检索中一个先前被忽视的优化问题。在强预训练初始化下，InfoNCE 快速分离出大多数简单负样本并基本饱和，而决定 R@1 的高度相似负样本仍未被解决。我们通过描述相似度统计和直接的梯度动力学测量验证了这一行为。
- •我们引入了 HN-CLIP，一种用于密集图文检索的简单自适应间隔目标。HN-CLIP 将文本编码器自身的文本-文本几何结构转换为分离的、每个负样本的相似度间隔，为更相似的描述分配更强的训练压力，无需负样本挖掘、合成、重采样、辅助数据、架构更改或推理开销。
- •我们提供了广泛的经验证据，证明了所提目标的有效性和通用性。在四个密集图文基准上，HN-CLIP 在所有八个检索方向上都取得了最佳 R@1，比最强竞争对手提升了 +2.4 到 +4.3，训练速度比基于模型的方法快得多，仅使用五分之一的训练数据就超越了最强的全数据基线，并在领域内基准上提升了所有六种已测试的微调框架。梯度分析进一步将这些改进与困难负样本上持续的优化信号联系起来。

## 2 方法

[插图说明] 图 2：HN-CLIP 概述。对于一批 B 个图像-文本对，HN-CLIP 使用正在微调的双编码器编码图像和描述，并形成图像-文本相似度矩阵 S=vt^⊤ 以及从 G=tt^⊤ 得到的分离的、对角线遮蔽的描述相似度矩阵 Ḡ。它们的组合产生了增强的对数几率 s(S + γḠ)，因此近乎相同的负样本获得了更大的间隔。公式 3 (https://arxiv.org/html/2608.18521#S2.E3) 的词元级项与该目标协同作用，在训练期间改善对困难负样本的监督，同时保持推理不变。在本节中，我们介绍 HN-CLIP，它微调一个预训练的双编码器，无需辅助数据视图、预处理流程或架构模块（图 3 (https://arxiv.org/html/2608.18521#S2.F3) 和 2 (https://arxiv.org/html/2608.18521#S2.F2)）。训练结合了文本相似度增强的全局目标与标准的词元级晚期交互项：

[插图说明] 图 3：HN-CLIP 图示。一个真实的 DOCCI 查询及其批次内最困难的负样本（相似度 0.89）。最强基线将真实结果排在第 52 位（其排名第一的（粉色）是该近乎相同描述自己的图像）；HN-CLIP 将其排在第一位。

1. (1) *文本相似度增强目标*（第 2.2 节 (https://arxiv.org/html/2608.18521#S2.SS2)），它将批次自身的描述相似度矩阵转换为每个负样本的自适应间隔，使得损失及其梯度在决定检索结果的困难负样本上得以保持。
2. (2) *词元级对齐分支*（第 2.3 节 (https://arxiv.org/html/2608.18521#S2.SS3)），该增强使其可用，在描述最长的地方贡献额外的增益。

我们首先量化了为什么标准目标在密集描述上失败（第 2.1 节 (https://arxiv.org/html/2608.18521#S2.SS1)），然后介绍这两个组成部分，最后以经验性的梯度动力学分析结束（第 2.4 节 (https://arxiv.org/html/2608.18521#S2.SS4)）。

### 2.1 预备知识与动机

令 f_{\mathrm{img}} 和 f_{\mathrm{txt}} 分别将图像和描述映射到共享的 d 维空间，令 { (I_i, T_i) }_{i=1}^B 表示一批 B 个图像-描述对。令 v_i = f_{\mathrm{img}}(I_i) / \| f_{\mathrm{img}}(I_i) \| 和 t_i = f_{\mathrm{txt}}(T_i) / \| f_{\mathrm{txt}}(T_i) \| 表示归一化后的嵌入，S_{ij} = v_i^{\!\top} t_j 是图像-文本相似度矩阵，s 是学习得到的逆温度。标准微调最小化对称 InfoNCE 损失（Oord 等人 2018 (https://arxiv.org/html/2608.18521#bib.bib25)；Radford 等人 2021 (https://arxiv.org/html/2608.18521#bib.bib28)）

\[
\mathcal{L}_{\mathrm{CLIP}}=\frac{1}{2}\big[\mathrm{CE}(sS,y)+\mathrm{CE}(sS^{\top},y)\big],
\]

其中 \mathrm{CE}(Z,y) 表示以目标索引 y_i=i 为目标的行方向 softmax 交叉熵。公式 1 (https://arxiv.org/html/2608.18521#S2.E1) 对数几率的梯度是经典的 softmax 残差（Wang & Liu 2021 (https://arxiv.org/html/2608.18521#bib.bib34)）：每个负样本 j 被排斥的力与其后验概率 p_{ij} = [ \mathrm{softmax}(s S_{i,:}) ]_j 成正比。当一个强预训练初始化（如 Long-CLIP）已经为正样本分配了相对于*大多数简单*负样本的很大间隔时，这些后验概率 p_{ij} 变得可以忽略不计，并且在 fp32 下，会随损失一起下溢。

密集图文基准使这种失败模式变得极端。使用发布的 Long-CLIP-L 文本编码器对 DOCCI、DCI 和 Urban-1K 的测试描述进行编码，*成对*描述相似度的均值分别为 0.84、0.85 和 0.88，每个描述*最困难*伴侣的均值分别为 0.93、0.92 和 0.94（图 1 (https://arxiv.org/html/2608.18521#S1.F1)）。自然场景的长描述是组合性的近乎重复；检索任务由少数几个几乎相同的候选决定。经验上，在有效批次大小为 128 时，一个 Long-CLIP-L 初始化的 \mathcal{L}_{\mathrm{CLIP}} 在微调的最初几十步内就崩溃到 10^{-5} 以下（图 4 (https://arxiv.org/html/2608.18521#S2.F4)a）：对于简单负样本而言，该批次已被“解决”，远在模型分离困难负样本之前。

### 2.2 文本相似度增强的困难负样本

这一诊断提出了补救措施：目标必须知道*哪些*负样本是困难的，并且对于描述，这些信息是免费可得的。我们从批次已有的嵌入计算文本-文本相似度矩阵 G_{ij} = t_i^{\!\top} t_j，将其从计算图中分离，将对角线置零，并将其添加到公式 1 (https://arxiv.org/html/2608.18521#S2.E1) 的对数几率中：

\[
\mathcal{L}_{\mathrm{HN}}=\frac{1}{2}\big[\mathrm{CE}\big(s(S+\gamma\bar{G}),\,y\big)+\mathrm{CE}\big(s(S+\gamma\bar{G})^{\top},\,y\big)\big],
\]

其中 \bar{G}=\mathrm{stopgrad}(G)\odot(\mathbf{1}-\mathbb{I})，其中 \odot 是逐元素乘积，\mathbf{1} 是全1矩阵，\mathbb{I} 是单位矩阵（用于遮蔽正样本），γ 是唯一的超参数（默认0.5）。

#### 作为自适应间隔的解释

因为 \bar{G} 是分离的，公式 2 (https://arxiv.org/html/2608.18521#S2.E2) 正是对公式 1 (https://arxiv.org/html/2608.18521#S2.E1) 在对数几率偏移后的评估：查询 i 的负样本 j 与一个有利于它的加性障碍 γ G_{ij} 竞争。等价地，正样本必须通过一个与其描述相似度成比例的间隔*击败*每个负样本，这是对度量学习中使用的固定加性间隔的一种成对自适应推广。简单负样本（G_{ij} 小）几乎不受影响；近乎重复的描述（G_{ij}→1）会持续产生损失和梯度，直到模型通过完整的间隔将它们分离。softmax 残差现在正好集中在图 1 (https://arxiv.org/html/2608.18521#S1.F1)b 中识别的对上（该梯度集中的正式推导在附录 B (https://arxiv.org/html/2608.18521#A2) 中给出）。

备注 2.1（*为什么使用文本-文本相似度？*）。*困难程度也可以从正在优化的图像-文本分数 S 中估计，但在训练早期，这些恰恰是错误的量，并且通过它们进行重加权会使监督成为其应纠正的误差的函数。相反，预训练编码器的文本-文本几何结构在第一步梯度之前是准确的，在两个检索方向上是对称的，并且是基准难度自然显现的空间（图 1 (https://arxiv.org/html/2608.18521#S1.F1)）。stop-gradient 移除了到 \bar{G} 的任何可微路径，因此不会朝着重塑模型自身间隔的方向迈步；它并不在整个训练过程中冻结 \bar{G}，因为我们从当前编码器重新计算它。这种残差漂移是有意为之的：表 3 (https://arxiv.org/html/2608.18521#S3.T3)c 表明它起到了间隔隐式退火的作用，而冻结它会导致 R@1 最高损失达 6.8。*

#### 开销

训练开销是每步一个 B×B 矩阵乘法和一个掩码加法；没有辅助前向传播，没有额外编码器，没有离线提取。推理是字节级（不变）。