复杂度调节何时有助于冻结句子嵌入？关于逐句与句子对级别难度适配的受控研究

# 何时复杂性条件化有助于冻结句子嵌入？一项关于逐句子与对级别难度适配的受控研究  
来源：https://arxiv.org/html/2606.03244  
Suhwan Hwang  

###### 摘要  

一种常见的直觉是，句子嵌入应根据输入难度进行调整。我们在一个受控、多随机种子的环境中检验了这一直觉：一个轻量级*后编码器*适配器附着在冻结的 Qwen3-Embedding-0.6B 编码器上，仅访问其最终的池化嵌入，并在四个释义和语义相似度任务（PAWS、MRPC、QQP、STS-B）上进行评估。这种思路的朴素形式未能成功：基于表面的逐句子复杂度与冻结基线误差几乎不相关（Pearson≈0.05），且相较于常数或打乱顺序的对照实验毫无优势，反而降低了一个接近饱和的基线性能。即使目标与一个非循环的对级难度信号对齐，逐句子门控仍然无法可靠地捕捉难度，因为难度主要是一个“对”的属性，而非单个句子的属性。相比之下，一个由独立交叉编码器难度信号门控的小型对级别残差，在较大型和分级的任务上取得了稳定增益，包括 STS-B 上 Spearman 相关系数提升 +0.022，QQP 上提升 +0.037，同时在所有随机种子下均保持锚定于冻结基线。由于这种有效形式作用于句子对而非单个句子，所得模型最好被理解为一种在缓存的冻结嵌入之上的轻量级重排序器，而非替代性的单向量嵌入；我们不做最先进技术（state-of-the-art）的声明。我们的贡献在于：提供了一份关于难度感知适配何时有帮助、何时无效的受控说明，同时附带一个可预测可用余量的预训练诊断方法。  

## 1 引言  

单向量句子嵌入支撑着语义相似度、检索、聚类和分类 [12, 5, 8]。一种反复出现的直觉是，并非所有输入都应被同等对待：较长、句法复杂或语义模糊的句子更“难”，嵌入模型或许能通过根据难度调整其几何结构而受益。本文提出一个狭窄但实践重要的问题：*对冻结的句子嵌入施加输入难度条件化，是否真能改善它？如果能，在什么条件下？*  

我们采用一种刻意保守的设计进行研究。我们不对编码器进行微调，而是附加一个轻量级*后编码器*适配器，它仅消耗基线的最终池化嵌入 \(x\)。这种冻结的、仅限嵌入的接口有两个优势。首先，它最大程度地保证了可移植性：它可适配任何句子编码器——包括通过 API 访问的——且嵌入可被一次性缓存，因此研究成本主要由一次前向传播决定。其次，它将难度条件化的影响与端到端表示学习（后者效果大得多）分离开来，这正是受控研究所需要的。  

在此接口内，我们考察了难度条件化理念的逐步忠实化实例，每个实例均与紧密的对照实验及多随机种子进行评估：  

1. 基于表面句法的*逐句子*复杂度标量，用于条件化嵌入的逐元素缩放；  
2. 相同的逐句子门控，但复杂度目标替换为一个非循环的、与误差对齐的困难对难度信号；  
3. *对级别*条件化，保留冻结基线锚点，并为对相似度添加一个小的、难度门控的残差；  
4. 使用*独立交叉编码器间隔*作为难度目标的对级别模型，并在四个任务上确认。  

整个研究的方法论核心是*信号隔离*：对于每次声称的提升，我们都会提出疑问：若移除难度信号（采用常数尺度、打乱复杂度或同等容量的无门控残差），对照实验是否能达到相同效果？这防止了将“复杂性”归因于实际上是额外参数或泛化残差的现象。  

我们的发现可总结如下。朴素的逐句子形式无效：表面复杂度信号与基线实际出错的位置基本不相关（Pearson≈0.05），对其进行条件化的效果与常数尺度对照相当，同时损害了接近饱和的基线。将目标与非循环的对难度度量对齐后，相关性得以恢复（高达 0.98），但仍未优于常数对照，因为困难对难度是“对”的属性，仅从单个句子的冻结嵌入中难以恢复。只有当三个条件同时成立时，该机制才变得有效：对级别条件化、保留基线的小型残差、以及由独立交叉编码器（而非表面代理）提供的难度目标。在这些条件下，交叉编码器门控的对残差在较大型和分级的任务上取得了稳定、符号一致的增益（例如，STS-B 上 Spearman 提升 +0.022，QQP 上提升 +0.037，且每个随机种子均为正增益），在多任务确认中从未低于冻结基线 Spearman，也不降低检索性能。由于这种有效形式必然作用于句子*对*，最终模型最好被理解为一种最小化的对级别适配器——在缓存的冻结双编码器嵌入之上的轻量级重排序器——而非单向量嵌入的直接替代。因此，本研究从嵌入层面问题出发，最终得出对评分层面的答案：负面结果排除了纯粹的逐句子适配，而唯一持续有效的正面结果存在于对评分阶段，这将部署接口从单向量嵌入转变为轻量级重排序。  

#### 贡献。  
(1) 一项受控、多随机种子的研究，分离出冻结句子嵌入的难度条件化有帮助的条件，而非追求性能最大化的系统。(2) 一个明确的负面结果——即使目标很好地对齐，逐句子复杂度缩放也无帮助——连同机制性原因（难度是对属性）。(3) 一个正面结果——一个小的、保留基线的、交叉编码器门控的对残差，在较大型/分级任务上取得提升，在多任务确认中从未低于冻结基线 Spearman，并附有明确说明：这种有效形式是对级别的，因此是轻量级重排序器而非纯粹的单向量嵌入——以及对交叉编码器间隔为何比表面代理更具泛化能力的分析。(4) 一个廉价的预训练诊断方法，仅从冻结嵌入计算，可预测可用余量并正确预判适配在何处有帮助或有害；实践中，在训练难度感知适配器之前，应先检查所提议的难度信号是否与冻结基线误差相关，否则适配器倾向于学习常数或自抑制的修正。我们不做最先进技术的声明；贡献在于受控的理解及其可重复性。  

## 2 相关工作  

#### 句子嵌入。  
孪生编码器方法（如 Sentence-BERT [12]）和对比方法（如 SimCSE [5]）产生由余弦相似度评分的单向量表示。Massive Text Embedding Benchmark [8] 评估此类模型在检索、相似度、分类、聚类和重排序上的表现。现代开源权重编码器，包括 Qwen3 嵌入系列 [11]，占据这些排行榜的顶部。我们将此类编码器视为固定的、黑箱的池化向量生成器，并研究一个薄适配器在其基础上能增加什么，而不触及它的权重。  

#### 双编码器与交叉编码器。  
双编码器独立嵌入每个输入，支持快速的最近邻检索，但限制了跨输入交互；交叉编码器联合编码一对输入，在细粒度判别上更为准确，但代价是 \(O(n^2)\) 评分 [9]。标准模式是使用双编码器检索，再用交叉编码器重排序，或者将交叉编码器蒸馏进双编码器 [7]。我们的正面结果介于这两种模式之间：它保留冻结的双编码器，但添加一个小的对条件化修正，并且关键的是，仅将交叉编码器用作*难度信号*而非评分器。  

#### 难度感知与难负例训练。  
示例具有不同难度的概念驱动了密集检索中的难负例挖掘，因为更难的负例能产生更强的编码器 [6, 16]。这些方法改变的是端到端学习模型的训练分布。我们则询问：一个明确的、预测出的每输入或每对难度，能否在推理时对冻结的表示进行有用的*条件化*？我们通过与移除难度信号但保留额外容量的对照实验进行比较来衡量这一点。  

#### 操作性复杂度目标。  
基于表面和句法的可读性特征（长度、从句数量、从属标记）提供了廉价、可重复的标量。我们使用此类特征引擎定义一个操作性的复杂度标签，但不声称它是黄金标准的语言学标注；其角色是作为几个候选难度信号之一，并且我们的实验表明，除了在对抗性释义数据上，它与嵌入误差的对齐性较差。我们将其与一个独立的交叉编码器间隔进行对比，发现后者是一个更为稳健的难度信号。  

#### 任务。  
我们在语义文本相似度（STS-B [3, 14]）以及三个释义类任务上进行评估：PAWS [17]（其对抗性对将词汇重叠与含义分离），以及来自 GLUE [15] 的 MRPC [4] 和 QQP [10]。SNLI [2] 仅用于初步流水线检查。这些任务涵盖了广泛的句子长度、标签粒度（分级 vs. 二值）以及基线饱和程度，这正是我们的研究所需要的多样性。  

## 3 方法  

我们描述冻结基线接口，然后介绍实验比较的四种难度条件化实例。定义句子 \(a\) 的冻结基线嵌入为 \(x_a \in \mathbb{R}^d\)，由基线编码器产生，\(\cos(\cdot, \cdot)\) 表示余弦相似度。  

#### 符号说明。  
几个符号在不同分支间共享，因为分支共享同一个训练目标（第 3.6 节）；我们在这里明确说明它们在每个分支中的含义。我们用 \(s\) 表示*活跃*分支产生的分数：对于逐句子分支（第 3.2 节），是适配后向量的余弦；对于对级别分支（第 3.4 节），是 \(s_{\mathrm{ungated}}\) 或 \(s_{\mathrm{gated}}\)。我们用 \(c\) 表示预测的复杂度或困难度——\(c_a\) 用于逐句子预测，\(c_{ab}\) 用于对级别预测——用 \(\bar{c}\) 表示相应的监督目标。用 \(\hat{x}_a\) 表示维度对齐的冻结基线嵌入，用 \(\gamma \in (0,1)\) 表示（小的）残差尺度。  

### 3.1 冻结的后编码器接口  

基线编码器仅通过其公共的 encode 方法调用，且从不被求导：\(x_a\) 在 `no_grad` 和 `detach` 下计算。一个可训练的线性映射和层归一化产生工作表示：  

\[
h_a = \mathrm{LayerNorm}(W x_a + b). \tag{1}
\]

所有可训练参数都位于 \(x_a\) 下游；梯度永远不会到达编码器。由于 \(x_a\) 是固定的，嵌入被一次性计算并缓存。此接口仅需要池化向量，因此可适配任何编码器，开源或闭源均可。  

### 3.2 逐句子复杂度缩放  

第一个实例遵循字面的“复杂度条件化”思想。一个小型预测器从工作表示估计一个标量复杂度：\(c_a = \sigma(\mathrm{MLP}(h_a)) \in (0,1)\)，通过与目标 \(\bar{c}_a\) 的 MSE 损失 \(\mathrm{MSE}(c_a, \bar{c}_a)\) 进行监督。该标量条件化一个逐元素缩放，在初始化时保持恒等映射：  

\[
\alpha_a = 1 + \alpha_0 \tanh\!\big(g(h_a, c_a)\big), \qquad u_a = \mathrm{Normalize}(\alpha_a \odot h_a), \tag{2}
\]

其中 \(\alpha_0\) 为小范围。默认目标 \(\bar{c}_a\) 是一个操作性复杂度标签 \(\sum_i w_i \tilde{f}_i / \sum_i w_i \in [0,1]\)，由封顶、归一化的表面特征 \(\tilde{f}_i\)（词元数和字符数、标点符号、连词、从属标记、近似从句数量、以及代理动词/论元数量）计算得到。  

#### 保留基线的变体与对照实验。  
为了更接近冻结基线，我们还考虑残差/插值形式：\(u_a = \mathrm{Normalize}\big((1-\gamma)\,\hat{x}_a + \gamma\,u_a^{\mathrm{sem}}\big)\)，其中 \(\gamma\) 很小，\(\hat{x}_a\) 为（对齐后的）基线嵌入。关键的对照实验包括：**仅基线**（\(u_a = \hat{x}_a\)）；**仅 h**（\(\alpha\) 来自 \(h_a\)，复杂度输入置零）；**固定/全局标量**（常数或全局学习的 \(c\)）；以及**打乱复杂度**（\(c\) 在批次内随机打乱后再用于 \(\alpha\)）。复杂度条件化尺度和常数尺度之间的对比是我们信号隔离测试的核心所在。  

### 3.3 对齐的困难对难度目标  

表面复杂度无需与基线出错位置对齐。因此，我们仅从文本和真实标签定义一个非循环的、与误差对齐的每对难度：  

\[
\mathrm{hard}_{\mathrm{lex}}(a,b) = \big|\,\mathrm{overlap}(a,b) - y_{ab}\,\big|, \tag{3}
\]

其中 \(\mathrm{overlap}\) 为词元 Jaccard 系数，\(y_{ab}\) 为黄金标准分数（对二值任务即为标签）。一个非释义但词汇重叠高，或一个释义但词汇重叠低的句对，就是困难的。此度量从未使用基线嵌入，因此不会是循环的，但其构造方式能追踪双编码器失败的表面相似性轴。我们将其聚合为每句子目标（包含该句子的所有对的均值），用于第 3.2 节的逐句子门控。  

### 3.4 对级别条件化  

由于难度是对属性，我们将条件化移向对级别，同时保留冻结基线余弦作为锚点。从两个工作表示形成对特征 \(\phi_{ab} = [\,|h_a - h_b|,\; h_a \odot h_b\,]\) 和一个*原始*（无门控）残差：  

\[
\delta_{\mathrm{raw}}(a,b) = \tanh\!\big( \mathrm{MLP}