CLIP潜在空间的超球面几何：一个语义混合模型

# CLIP潜在空间的超球面几何：一种语义混合模型
来源：https://arxiv.org/html/2607.13660
Zijie Yu1, Gaowen Liu2, Ramana Rao Kompella2, Philip S. Yu3, Yue Song1 1清华大学，2思科研发中心，3伊利诺伊大学芝加哥分校

###### 摘要

对比语言-图像预训练（CLIP）表示形成一个由余弦相似度主导的语义嵌入空间，反映了内在的超球面几何结构。然而，现有的概率解释通常依赖于高斯假设，未能捕捉这种方向性和多模态结构。我们提出了一个基于单位超球面上von Mises-Fisher混合分布（MovMF）的CLIP潜在空间原则性密度模型。利用期望最大化（EM）算法，我们高效地学习一个概率模型，其中每个混合成分对应一个连贯的语义概念。这种表述产生了一种与超球面几何自然对齐的闭式似然，从而实现准确且可解释的密度估计。实验上，我们的模型显著改进了长尾和分布外检测，并提供了自然的语义分解，将每个嵌入表示为可解释概念的稀疏概率组合。这些结果表明，CLIP潜在空间更适合被描述为超球面语义混合，而非各向同性高斯，为建模和理解多模态表示建立了一个简单且几何一致的概率框架。项目页面可在https://xiaoyuzhizi.github.io/movmf-clip/获取。

## 1 引言

对比语言-图像预训练（CLIP）(Radford et al., 2021 (https://arxiv.org/html/2607.13660#bib.bib29))已成为现代视觉-语言模型（VLM）的基础。通过在共享嵌入空间中对齐视觉和文本表示，CLIP支持广泛的 downstream 任务，包括零样本识别(Radford et al., 2021 (https://arxiv.org/html/2607.13660#bib.bib29))和文本到图像生成(Ramesh et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib30))。由于语义相似度由余弦距离衡量，潜在空间通常被理想化为具有各向同性几何的归一化超球面。

尽管理论上简单，但CLIP表示的经验几何与各向同性理想存在显著偏差。先前的研究揭示了明显的结构性不规则，包括*模态差距*(Liang et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib26))和所谓的*锥形效应*(Liang et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib26))，其中嵌入集中在受限的角度区域内。这种各向异性扭曲了角度相似度，使表示偏向于主导概念（如大物体或虚假的背景特征），并降低了长尾类别的鲁棒性(Abbasi et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib1); Wang et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib38); Shao et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib32))。

参见标题 (a) 在R d \mathbb{R}^d中的全局高斯分布
参见标题 (b) 在S d − 1 \mathbb{S}^{d-1}上的MovMF-CLIP

图1：CLIP潜在空间的密度建模（通过对真实数据进行降维可视化）。(a) 基于高斯的方法（如W-CLIP）使用单个全局分布对潜在空间进行建模，这可能会为有效的长尾概念分配低似然，因为它们远离全局均值。(b) MovMF-CLIP将空间建模为超球面语义混合，捕捉多模态结构并提供与语义聚类对齐的密度估计。为了在该空间中进行概率推理，最近的工作提出了将CLIP嵌入转换到高斯化坐标系。特别是，白化CLIP（W-CLIP）(Betser et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib3))应用可逆的白化变换，并用单个各向同性高斯对结果特征进行建模，从而产生基于欧几里得幅度的可处理似然。虽然有效，但这种单模态假设与对比嵌入的方向性和多模态特性根本不一致。自然语义概念在超球面上形成多个结构化区域。使用单个高斯对空间进行建模不可避免地混淆了*语义稀有性*与*分布异常性*，为罕见但有效的概念分配低似然，并将其视为真正的分布外（OOD）样本。此外，全局标量似然对潜在语义结构的可解释性有限。它只能指示一个样本相对于整个分布的典型程度，但不能揭示哪些语义模式贡献了该分数，或者表示如何在不同的概念间分解。

在这项工作中，我们提出了MovMF-CLIP，一个几何一致的概率框架，将CLIP潜在空间建模为*超球面语义混合*。我们首先通过白化进行基于协方差的几何校准，以去除全局各向异性，同时保留语义关系。然后，我们使用von Mises-Fisher混合分布（MovMF）对归一化表示进行建模，并通过期望最大化（EM）算法高效估计。与依赖幅度的高斯近似不同，MovMF分量本质上定义在单位超球面上，并捕捉多模态方向结构（见图1 (https://arxiv.org/html/2607.13660#S1.F1)）。每个混合成分对应一个连贯的语义原型，产生一个尊重对比嵌入几何的闭式似然。这种概率公式支持两种互补能力。首先，它为基于似然的评估提供了原则性的密度估计，将语义稀有性与低概率解耦，提高了长尾和OOD设置下的鲁棒性。其次，混合结构实现了内在的可解释性：嵌入可以分解为语义原型的稀疏概率组合。

实验上，我们在长尾公平性分析、OOD检测、语义分解以及迭代生成漂移下的语义稳定性方面验证了MovMF-CLIP。对于OOD检测，在MS-COCO上，MovMF-CLIP将FPR95从67.76%降低到48.00%，仅在尾部概念上从75.05%降低到33.48%。在语义分解方面，MovMF-CLIP达到了最高的语义相关性0.673，同时推理速度比第二好的方法快了13倍。在各种任务中，将潜在空间建模为超球面语义混合持续提高了鲁棒性、可解释性和稳定性。

我们的主要贡献总结如下：

- • 我们提供了CLIP潜在空间的几何重新解释，认为单模态高斯建模与其方向性超球面几何和多模态语义结构本质不一致。
- • 我们提出了MovMF-CLIP，一个优雅且原则性的密度建模框架，它整合了基于协方差的几何校准与单位球面上的von Mises-Fisher混合估计。
- • 我们表明，这种统一的几何-概率公式同时实现了：(i) 对长尾和OOD设置鲁棒的校准似然估计，(ii) 无需辅助解码器的内在且高效的语义概率分解，以及 (iii) 一个轻量级的几何先验，用于稳定迭代生成漂移下的多模态表示。

## 2 相关工作

### 2.1 CLIP中的几何与各向异性

CLIP及相关多模态对比模型(Radford et al., 2021 (https://arxiv.org/html/2607.13660#bib.bib29); Li et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib24); Yu et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib41))将图像和文本嵌入到共享的潜在空间中，该空间在余弦相似度下优化。这一目标隐式地将嵌入归一化到超球面上，并且通常被解释为鼓励各向同性和均匀分布的表示几何(Wang & Isola, 2022 (https://arxiv.org/html/2607.13660#bib.bib39))。然而，越来越多的经验证据表明，CLIP潜在空间的实际几何与这一理想化图景存在显著偏差。

一个突出的偏差是*模态差距*，其中图像和文本嵌入占据超球面的不同区域，而不是形成完全重叠的分布(Liang et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib26); Levi & Gilboa, 2025 (https://arxiv.org/html/2607.13660#bib.bib23))。虽然最初被视为跨模态对齐的缺陷，但后续研究表明这种分离可能具有功能性作用，包括提高鲁棒性和减轻灾难性遗忘(Huang et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib17))。除了模态级别的分离，CLIP表示还表现出显著的各向异性和不均匀的语义覆盖。嵌入倾向于集中在主导的视觉模式周围，如大的前景物体或频繁共现的特征，而低估了罕见或细粒度的概念(Abbasi et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib1); Wang et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib38); Lan et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib22))。各向异性结构导致跨语义的性能显著变化，特别是在长尾和罕见概念上(Tu et al., 2023 (https://arxiv.org/html/2607.13660#bib.bib36); Shao et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib32))。

这些观察表明，CLIP潜在空间具有结构化和非均匀的密度，而不是单一的均匀分布。因此，余弦相似度本身不能完全捕捉语义关系，因为它忽略了表示密度和集中度的变化(Steck et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib35); Kang et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib19))。因此，一些工作探索了替代的几何视角，包括循环一致性约束(Goel et al., 2022 (https://arxiv.org/html/2607.13660#bib.bib12))和最优传输公式(Shi et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib33))。最近的分析明确将CLIP几何描述为结构化各向异性，例如区分常见和罕见概念的“双椭球”结构(Levi & Gilboa, 2025 (https://arxiv.org/html/2607.13660#bib.bib23); Wen et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib40))。总的来说，这些发现表明CLIP潜在空间具有固有的多模态语义组织。

为了实现基于似然的推理并改善校准，最近的工作提出了几何归一化技术。例如，W-CLIP(Betser et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib3))应用白化变换来归一化二阶统计量，并在高斯假设下估计似然。相关方法同样尝试通过线性归一化来正则化表示几何(Chung & Kim, 2026 (https://arxiv.org/html/2607.13660#bib.bib8))。虽然对校准有效，但此类方法依赖于潜在空间的单模态近似。相比之下，我们的工作直接将CLIP潜在空间建模为超球面语义成分的混合，提供了一个能更好捕捉其内在多模态结构的概率公式。

### 2.2 潜在空间中的似然估计

直接在像素空间中估计似然计算成本高，且通常与语义相似度对齐不良，这促使在学习的表示空间中进行似然估计。最近的工作探索了使用预训练的多模态编码器（如CLIP）来定义有语义意义的似然代理。特别是，W-CLIP(Betser et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib3))将嵌入投影到白化空间，并在高斯假设下估计似然，提供了一个可处理的似然代理。然而，用单个高斯对潜在空间进行建模施加了单模态假设，这与语义表示固有的多模态结构相冲突。自然图像分布由对应于不同物体、属性和组合的多个语义模式组成。在单模态高斯模型下，罕见但有效的概念可能被分配人为低的似然，从而混淆了语义稀有性与分布异常性。替代方法，如基于检索的相似度(He et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib14))、提示适应(Zhou et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib44); Cao et al., 2024b (https://arxiv.org/html/2607.13660#bib.bib7))或架构修改(Gong et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib13))，可以提高鲁棒性，但未提供统一的概率公式。

相比之下，我们使用von Mises-Fisher混合分布对CLIP潜在分布进行建模，这自然尊重了CLIP嵌入的超球面几何。这种公式捕捉了多个语义模式，同时保留了对似然估计的分析可处理性。

### 2.3 多模态表示的可解释性

理解并解释多模态模型学习的稠密表示已成为一个重要的研究领域。先前的工作探索了稀疏线性分解，将嵌入表示为从预定义词汇或学习字典中抽取的可解释概念的组合(Bhalla et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib4); Hoang-Xuan et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib15); Parekh et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib28))。其他方法研究内部模型结构，包括注意力机制和稀疏自编码器，以识别CLIP表示中的潜在特征并解耦语义因素(Gandelsman et al., 2024 (https://arxiv.org/html/2607.13660#bib.bib11); Kempf et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib20); Zaigrajew et al., 2025 (https://arxiv.org/html/2607.13660#bib.bib42); Dhimoïla et al., 2026 (https://arxiv.org/html/2607.13660#bib.bib9))。虽然这些方法提供了有价值的见解，但它们通常需要训练辅助模型，引入了额外的复杂性，并依赖于外部监督或架构修改。

相比之下，我们的方法直接从潜在空间的概率建模中推导出可解释性。通过将嵌入表示为超球面分布的混合，每个成分对应一个连贯的语义模式，单个嵌入可以通过它们与这些成分的概率关联来解释。混合中心自然充当语义原型，从而在统一框架内实现语义解释和似然估计，无需辅助解码器或外部概念词典。

## 3 MovMF-CLIP：CLIP潜在空间的超球面密度建模

我们将CLIP潜在空间建模为一个经过几何校准的超球面密度框架。如图2 (https://arxiv.org/html/2607.13660#S3.F2)所示，我们的框架分三个阶段进行：(i) 通过白化进行度量归一化以去除全局各向异性（第3.1节）；(ii) 通过von Mises-Fisher混合分布进行多模态方向密度建模（第3.2节）；以及 (iii) 生成语义上有意义的概率表示（第3.3节）。在第3.4节中，我们