平均池化余弦相似度不具备长度不变性：针对长度不变替代方案的理论与跨领域证据

# 均值池化余弦相似度不具有长度不变性：理论及跨领域证据支持一种长度不变的替代方案

来源：https://arxiv.org/html/2605.07345

###### 摘要

均值池化余弦相似度（Mean-pooled cosine similarity）是比较跨语言、跨模态和跨任务的神经表征时的默认指标。我们证明了该指标不具有长度不变性：在现代 Transformer 表征所特有的各向异性（anisotropy）下，均值池化余弦相似度随序列长度单调增长，且与表征内容无关。在实证方面，针对四个代码大语言模型（LLM）在 HumanEvalPack 上的表现，仅长度比这一变量就能解释 52%–75% 的跨语言“Python 接近度”方差，而抽象语法树（AST）深度和共享令牌（token）比例在长度之外增加的方差解释量不足 3%。若用中心化核对齐（Centered Kernel Alignment, CKA）替代，解释方差会降低 83%，且长度系数的符号发生反转（$\beta_{\text{len}}: +0.86 \to -0.37$）。同样的模式也出现在 Mistral-7B 对平行 WMT 语料的测试中（余弦相似度：EN–FR $R^2=0.23$，EN–DE $R^2=0.33$；CKA：$R^2<0.01$）。在 CLIP ViT-B/32 中，正如理论所预测的受各向异性影响，均值池化相对于 EOS 池化降低了长度效应（$R^2: 0.21 \to <0.01$）。我们认为，CKA 等长度不变指标应成为跨表征比较的默认标准，而以往基于均值池化余弦相似度得出的关于跨语言表征收敛性的结论值得重新审视。

表征相似度，均值池化，余弦相似度，CKA，各向异性，跨语言分析，机制可解释性

## 1 引言

比较神经网络如何表征不同的输入是机制可解释性领域的一项基础任务。标准做法是将令牌级别的隐藏状态平均为每个输入的一个向量，并报告这些向量之间的余弦相似度。这种均值池化余弦相似度已成为跨表征比较的事实标准指标，并支撑了近期关于多语言 LLM“以英语思考”（Schut 等，2025；Wendler 等，2024）以及代码 LLM 通过 Python 进行路由（Yin 等，2025；Kargaran 等，2025）的主张。

我们表明该指标不具有长度不变性。在各向异性表征下（Ethayarajh, 2019；Mu & Viswanath, 2018；Gao 等，2019）——这是所有现代 Transformer 所处的运行状态——均值池化余弦相似度随序列长度单调增长，无论内容如何。其机制在于池化向量以 $1/\sqrt{n}$ 的速率向共享的各向异性方向集中。这种依赖性足够大，足以主导已发表的跨语言相似度分析。

#### 主要发现。

**F1.** 在各向异性下，均值池化余弦相似度随序列长度单调递增（命题 1），通过在无模型参与的随机向量上进行合成实验得到验证。

**F2.** 在四个代码 LLM 和 164 个 HumanEvalPack 问题上，仅长度比就能解释 52%–75% 的 Python 接近度方差。AST 深度和共享令牌增加的方差不超过 3%。

**F3.** 在相同数据上改用 CKA，解释方差降低 83%，且长度系数的符号*反转*（$\beta_{\text{len}}: +0.86 \to -0.37$）。关于 Python 接近度的指标层面结论随之逆转。

**F4.** 该伪影并非代码特有：Mistral-7B 在 WMT EN–FR 上显示 $R^2=0.23$，在 EN–DE 上显示 $R^2=0.33$。同一数据上的 CKA 显示 $R^2<0.01$。

**F5.** 在 CLIP ViT-B/32 中，均值池化相比 EOS 池化降低了长度效应（$R^2<0.01$ 对比 $R^2=0.21$）。该伪影依赖于各向异性，并被 CLIP 的对比头抑制。

#### 我们主张与不主张的内容。

我们并不主张跨语言或跨模态的表征收敛性是幻觉。我们对 Mistral-7B 进行的法语→英语路由的正向控制实验表明，真实的收敛性确实存在，且可以通过适当的指标检测到。我们主张的是，均值池化余弦相似度无法区分真实的收敛性与分词器导致的长度差异，而此前工作中用作参考点的语言（英语；Python）恰恰是那些具有系统性更短分词长度的语言。因此，指标与实质性结论以产生混淆变量的方式完全共变。

## 2 相关工作

#### 跨语言分析中的均值池化余弦相似度。

Wendler 等（2024）报告称，Llama-2 的表征在中层围绕英语语言枢纽聚类，使用的是平行输入的均值池化余弦相似度。Schut 等（2025）通过 logits-lens 和探测扩展了这一研究，但将均值池化余弦相似度视为主要相似度指标。Yin 等（2025）将相同协议应用于代码 LLM，并报告 Java/JavaScript/Go 的隐藏状态“接近 Python”。Kargaran 等（2025）对低资源语言使用了相同系列的测量。这些论文均未在指标中控制序列长度。

#### 语言间的分词差异。

Petrov 等（2023）记录了平行内容中不同语言令牌数量的巨大且系统的差异：同一句子在某些语言中所需的令牌数是英语的 1.5–5 倍，而 Python 是令牌最紧凑的编程语言之一。分词器诱导的长度差异是我们伪影机制的输入。

#### Transformer 中的各向异性。

Ethayarajh（2019）表明，来自 BERT、ELMo 和 GPT-2 的上下文表征占据嵌入空间中的狭窄锥体，而非均匀分布。Gao 等（2019）和 Mu & Viswanath（2018）记录了这一现象并提出了缓解措施。各向异性是我们伪影的前提条件：在完全各向同性的表征中，均值池化不会优先缩小向任何方向。

#### 中心化核对齐（CKA）。

Kornblith 等（2019）引入了线性核 CKA 作为神经表征的长度和旋转不变相似度度量。线性 CKA 操作于完整的令牌级别矩阵而非池化向量，因此不受驱动我们所描述伪影的 $1/\sqrt{n}$ 池化集中效应的影响。RV 系数（Robert & Escoufier, 1976）是其统计学前身。

#### 多语言表征研究。

关于多语言 Transformer 内部翻译为枢纽语言的假设由来已久（Conneau 等，2020）；近期可解释性领域的复兴建立在此基础之上。我们的结果暗示，最新一波证据中使用的指标可能存在混淆。

## 3 机制

### 3.1 各向异性与均值池化

现代 Transformer 隐藏状态具有各向异性：来自同一模型和层的两个随机状态具有正余弦相似度的概率很高，通常超过 0.5（Ethayarajh, 2019）。这可以通过将每个令牌状态写为

$$
h_i = \mu + \sigma\epsilon_i, \quad \|\mu\| \gg \sigma\sqrt{d}, \quad (1)
$$

来很好地建模，其中 $\mu \in \mathbb{R}^d$ 是层特定的共享方向，$\epsilon_i$ 是零均值噪声。对 $n$ 个令牌进行均值池化得到

$$
\bar{h} = \frac{1}{n}\sum_{i=1}^{n}h_i = \mu + \frac{\sigma}{\sqrt{n}}\bar{\epsilon}, \quad (2)
$$

其中 $\bar{\epsilon}$ 满足 $\mathbb{E}\|\bar{\epsilon}\|^2 = d$。共享方向 $\mu$ 被完全保留；噪声项以 $1/\sqrt{n}$ 的速度缩小。因此，较长序列的池化表征更靠近 $\mu$，从而在余弦意义上更靠近*任何*来自同一分布的池化向量。

### 3.2 形式化结果

###### 命题 1（均值池化余弦相似度的长度依赖性）。

设 $\{x_1,\dots,x_m\}$ 和 $\{y_1,\dots,y_n\}$ 是独立序列，在 $\mathbb{R}^d$ 中从均值为 $\mu \neq 0$ 且协方差为 $\sigma^2 I_d$ 的分布中独立同分布（i.i.d.）抽取。设 $\bar{x} = \frac{1}{m}\sum_i x_i$，$\bar{y} = \frac{1}{n}\sum_j y_j$。对于 $d \gg 1$ 且 $\|\mu\|^2 = \Theta(d\mu_{\text{comp}}^2)$，

$$
\mathbb{E}[\cos(\bar{x},\bar{y})] \approx \frac{1}{\sqrt{1+\frac{\sigma^2 d}{m\|\mu\|^2}}\sqrt{1+\frac{\sigma^2 d}{n\|\mu\|^2}}}, \quad (3)
$$

该式对 $m$ 和 $n$ 均严格递增。

###### 证明概要。

根据中心极限定理，$\bar{x} = \mu + (\sigma/\sqrt{m})\epsilon_x$，其中 $\epsilon_x \sim \mathcal{N}(0,I_d)$，$\bar{y}$ 同理。

分子：$\langle \bar{x}, \bar{y} \rangle = \|\mu\|^2 + (\sigma/\sqrt{m})\mu^\top \epsilon_x + (\sigma/\sqrt{n})\mu^\top \epsilon_y + (\sigma^2/\sqrt{mn})\epsilon_x^\top \epsilon_y$。两个单噪声交叉项的均值为零。在高维空间中 $\epsilon_x^\top \epsilon_y = O(\sqrt{d})$，而 $\|\mu\|^2 = \Theta(d\mu_{\text{comp}}^2)$，因此交叉噪声项被主导。故 $\mathbb{E}\langle \bar{x}, \bar{y} \rangle = \|\mu\|^2$。

分母：$\|\bar{x}\|^2 = \|\mu\|^2 + (2\sigma/\sqrt{m})\mu^\top \epsilon_x + (\sigma^2/m)\|\epsilon_x\|^2$。由于 $\|\epsilon_x\|^2$ 集中在 $d$ 附近，$\mathbb{E}\|\bar{x}\|^2 = \|\mu\|^2 + \sigma^2 d/m$。$\bar{y}$ 同理。

组合：$\mathbb{E}\cos(\bar{x},\bar{y}) \approx \|\mu\|^2 / \sqrt{(\|\mu\|^2 + \sigma^2 d/m)(\|\mu\|^2 + \sigma^2 d/n)}$，化简即得公式 (3)。函数 $k \mapsto \sqrt{1+c/k}$ 在 $c>0$ 时随 $k$ 递减，因此分母随 $m$ 和 $n$ 递减，余弦值随两者递增。证毕。

### 3.3 伪影何时显著

效应的大小由无量纲量 $\rho = \sigma^2 d / \|\mu\|^2$ 控制，即噪声能量与共享方向能量之比。代入公式 (3) 并对适中的 $\rho/n$ 进行泰勒展开，

$$
\mathbb{E}\cos(\bar{x},\bar{y}) \approx 1 - \frac{1}{2}\rho\left(\frac{1}{m} + \frac{1}{n}\right) + O(\rho^2). \quad (4)
$$

由此得出两个预测。首先，当长度较短且不对称时，伪影最大：$|1/m - 1/n|$ 是相关信号。其次，伪影与各向异性（$\rho$）呈线性比例；经过训练或后处理以抑制各向异性的模型将表现出较小的效应。这两个预测与第 5 节中的跨领域模式一致：代码 LLM（高各向异性，短序列）显示出最大的效应；CLIP 在对比投影头之后（较低各向异性）几乎不显示该效应。

### 3.4 为什么 CKA 具有免疫力

线性 CKA（Kornblith 等，2019）通过比较完整的令牌级表征矩阵 $X \in \mathbb{R}^{n_X \times d}$ 和 $Y \in \mathbb{R}^{n_Y \times d}$（在 $n_X = n_Y$ 的对齐令牌上）来计算相似度：

$$
\mathrm{CKA}(X,Y) = \frac{\|Y^\top X\|_F^2}{\|X^\top X\|_F \cdot \|Y^\top Y\|_F}. \quad (5)
$$

由于没有池化步骤，因此不会产生驱动伪影的 $1/\sqrt{n}$ 噪声集中现象。CKA 在列空间的可逆线性变换下也是不变的，这正好对应于沿 $\mu$ 方向的平移。权衡之处在于线性 CKA 需要对齐的位置计数；我们使用共享表面形式对齐来获取此类对。

### 3.5 合成验证

为了在不涉及任何模型的情况下验证机制，我们在 $\mathbb{R}^{4096}$（匹配 CodeLlama-7B 的隐藏维度）中生成了 200 对随机向量，形式为 $h_i = \mu + \epsilon_i$，其中 $\|\mu\| = 10$ 且 $\sigma = 1$。每对向量的长度为 $n_1 = 100$ 和 $n_2 = \lfloor 100/r \rfloor$，其中 $r \sim \mathrm{Uniform}(0.3, 1.0)$。然后我们在对齐子集上计算均值池化余弦相似度和 CKA。

图 1：机制的合成验证。$\mathbb{R}^{4096}$ 中 200 对具有不同长度比的随机各向异性向量。均值池化余弦相似度（左）追踪长度比；同一向量的对齐子集上的 CKA（右）则不追踪。不涉及模型或语义。

图 1 显示，均值池化余弦相似度完全按照公式 (3) 的预测追踪长度比，而 CKA 保持平坦。这排除了任何涉及模型行为、语言结构或内容语义的解释：这种依赖性内在于应用于各向异性向量的均值池化+余弦流程中。

## 4 实验设置

#### 模型。

代码：CodeLlama-7B, CodeLlama-7B-Python, CodeLlama-13B（Rozière 等，2023），以及 Qwen2.5-Coder-7B（Hui 等，2024）。
NLP：Mistral-7B-v0.1。
视觉：CLIP ViT-B/32（Radford 等，2021）。

#### 数据集。

代码：HumanEvalPack（Muennighoff 等，2023），包含 164 个编程问题，具有 Python、Java、JavaScript 和 Go 的平行解决方案。
NLP：WMT14 法语-英语（442 对句子）和 WMT16 德语-英语（428 对），过滤出至少包含三个共享表面形式令牌的对，以启用位置对齐的 CKA。
视觉：400 个长度不同的合成标题，与固定随机噪声图像配对，通过 CLIP 的文本和图像编码器处理。

#### 指标。

对于每对输入，我们计算：（i）均值池化余弦相似度：$\cos(\bar{h}_A, \bar{h}_B)$，其中 $\bar{h} = \frac{1}{T}\sum_t h_t$ 对令牌位置取平均，然后在中间层（第 $n/4$ 层到第 $3n/4$ 层）间取平均；（ii）对齐令牌位置上的线性 CKA（Kornblith 等，2019）；（iii）RV 系数（Robert & Escoufier, 1976）。