Refine Thought: 一种用于嵌入模型推理的测试时推理方法

# 精炼思维：一种用于嵌入模型推理的测试时推断方法
来源：https://arxiv.org/html/2511.13726

###### 摘要

我们提出 RT（精炼思维），一种能够增强文本嵌入模型语义推理能力的方法。该方法通过对文本嵌入模型执行多次前向传播来获得最终语义表示。实验表明，RT 在 BRIGHT[17] 以及人岗匹配基准 PJBenchmark¹ 等语义推理任务上取得了显著提升，同时在 C-MTEB 等通用语义理解任务上保持了稳定性能。我们的结果表明，RT 之所以有效，是因为它进一步激活了仅解码器文本嵌入模型（例如 Qwen3-Embedding-8B[20]）在预训练期间学到的语义推理能力。RT 可被视为一种测试时[16]推断方法。

¹PJBenchmark（人岗匹配基准）是一个用于招聘匹配场景的测试集。

## 1 引言

神经网络既可以看作自动学习层次化特征的表示学习器，也可以看作可微分的通用计算机[7]。推理本质上是涉及序列决策的多步计算。它包括算术推理、符号推理、语义推理和空间推理[6]。其中，语义推理既依赖多步计算，也依赖层次化的语言表征。大多数文本嵌入模型通过预训练目标在大规模文本上进行自监督学习，这显著提升了层次化语言表征。尽管这大大提升了通用语义任务的性能，但在需要多步计算的语义推理任务上仍存在局限[17]。

在文本生成领域，语义推理已被广泛研究。通过训练提升推理能力有两种方式：一种是结构展开，即加深网络，允许更多层的功能组合，从而增强其表达能力[11]；另一种是时间展开，不增加深度，而是在多个时间步上复用相同的结构，从而使模型能够逐步细化其内部计算[18,14]。

大多数文本嵌入模型[19]通过对查询和文档各进行一次前向传播来获取语义表示，然后使用最近邻相似度进行检索或匹配。然而，当查询需要多步计算——例如多个约束、跨句整合或序列推理时——单次前向传播无法捕获中间推理表征，并且缺乏足够的计算深度。

关于文本嵌入模型内部语义推理的研究仍然有限。随着对 RAG[3] 和 Agent 系统[10]需求的增长，LLM 越来越多地需要检索和推理内部信息。因此，增强文本嵌入模型的语义推理能力已成为一个关键的研究挑战。为了解决这一局限，我们为文本嵌入模型提出了 RT。RT 在查询端执行多次前向传播，以在测试时获得语义推理，而无需修改模型参数。在 BRIGHT、C-MTEB 和 PJBenchmark 上的实验表明，RT 显著提高了语义推理任务，同时在通用语义理解任务上保持稳定。

我们的贡献总结如下：

1. 我们提出了 RT，一种无需额外训练即可提升文本嵌入模型语义推理能力的方法，并提供了算法细节。
2. 我们系统分析了性能提升与任务复杂度的关系。结果表明，任务越复杂，RT 带来的提升越显著，而简单任务的性能基本保持不变。
3. 我们在多个基准上验证了 RT，表明其在实际应用中具有巨大潜力。

## 2 相关工作

神经图灵机研究表明，当模型无法进行推理时，问题通常不在于逻辑，而在于计算——它们的计算图在时间上展开不够长，以至于信息无法通过。复杂推理需要在多个时间步上进行递归的、可变长度的计算[4]。思维链（CoT）增加了文本输出长度，从而为多步计算提供了更多时间步[18]。DeepSeek-R1 通过强化学习训练模型强制输出思维链，从而改进了推理能力[1]。

最近的理论工作为“时间展开能改进算术和符号推理”这一说法提供了形式化基础[8]。在固定网络深度和有限精度下，允许模型在推理过程中生成并利用长度为 T 的 CoT 序列，实际上是用时间步来换取计算深度。这意味着，在不改变网络结构的情况下，可以通过增加时间步来系统性地提升推理能力。

## 3 方法

### 3.1 问题定义

给定查询 \(x_q\) 和候选文档集合 \(C = \{x_d\}\)，文本编码器通常通过单次前向传播计算嵌入 \(h_q(x_q)\) 和 \(h_d(x_d)\)，然后根据相似度对文档进行排序：

\[
\hat{d} = \arg\max_{d \in C} \;\mathrm{sim}\!\big(h_q(x_q),\, h_d(x_d)\big)
\]

这种方法计算效率高，然而，当查询 \(x_q\) 涉及多个约束、跨句信息整合或序列推理时，单次前向传播通常无法保留底层的推理轨迹。我们将此类情况称为语义推理任务。\(x_q\) 的推理过程可以形式化为：

\[
h_t = \begin{cases}
f(x) & \text{if } t=1 \\[6.45831pt]
f\!\left(x,\, h_1,\ldots,h_{t-1}\right) & \text{if } t \in \{2,\dots,T\}
\end{cases}
\]

在这个过程中，模型需要经过多个状态才能获得最终的语义表示。

### 3.2 精炼思维（RT）方法

我们使用一个仅解码器文本嵌入模型，首先对查询 \(x_q\) 进行一次前向传播。将 [EOS] 之前所有 token 的表示进行均值池化，得到第 \(t\) 步的中间表示 \(h_{t-1}\)。在此基础上，迭代重复该过程 \(T\) 步，中间表示 \(\{h_1, h_2, \ldots, h_{T-1}\}\) 共同构成推理轨迹。具体过程如下：

列表 1：RT（精炼思维）方法 – Python 伪代码

```python
def refine_thought(x_q, T, encoder):
    h_0 = encoder(x_q)
    states = [h_0]
    for t in range(1, T+1):
        prev_state = states[-1]
        x_q_with_all_states = concatenate(x_q, states)
        h_t = encoder(x_q_with_all_states)
        states.append(h_t)
    return states[-1]
```

这个过程有效地在推理过程中增加了额外的计算步骤，提高了模型的推理深度。与显式 CoT 方法[18]相反，RT 在隐藏空间中隐式地执行这些“时间步”[21]，而不会生成额外的文本或更改文档表示/索引。RT 方法的示意图如图 1 所示。

![图 1：RT（精炼思维）方法概览](https://arxiv.org/html/2511.13726/S3.F1)

步数 \(T\) 根据任务复杂度设置，任务越复杂，所需的 \(T\) 越大。

## 4 实验

### 4.1 实验设置

我们在 BRIGHT、C-MTEB 和 PJBenchmark 上评估 RT，并选择 Qwen3-Embedding-8B[20] 和 bge-large-zh-v1.5[19] 分别代表仅解码器和仅编码器文本嵌入架构。

我们评估三类任务：(i) C-MTEB 中的语义文本相似度（STS）任务，用于验证 RT 在通用语义理解上的鲁棒性；(ii) BRIGHT 中的语义推理子任务（例如 Psy, TheoT），用于评估其多步推理的提升；(iii) PJBenchmark 中的招聘匹配任务（JD2CV, JD2JD 等），用于检验其在真实世界语义推理场景中的有效性。

RT 仅应用于查询 \(x_q\)；文档 \(x_d\) 是固定的。我们将迭代步数设置为 \(T \in \{1,2,\ldots,10\}\)，其中 \(T=1\) 是单步基线，较大的值对应更深的时间展开。所有实验使用相同的硬件和 batch 设置，以确保公平性和可比性。

### 4.2 性能与消融实验

总体而言，RT 在通用语义理解任务上保持稳定，并在语义推理任务上取得了一致的提升。在 C-MTEB STS 子任务上，RT 与基线基本持平，表明时间展开不会降低标准相似度基准中的表示质量。在 BRIGHT 子任务上，RT 将总体平均值从 22.9 提升到 23.1（约 +1%，表 2），表明额外的推理步骤为复杂检索带来了边际收益。在 PJBenchmark 上，RT 在算法领域取得了显著提升（例如 JD2CV：+19%，CV2CV：+21%），而在金融领域性能略微下降 2%（表 3），这表明其收益取决于任务结构和领域噪声。

表 1：C-MTEB STS 子任务上的性能
表 2：BRIGHT 上的性能
表 3：PJBenchmark 上的性能

我们考察了迭代步数 \(T\) 对性能的影响（图 2）。结果表明，最显著的提升出现在 \(T=2\)–3，之后当 \(T>3\) 时性能趋于饱和，这与“用时间步换取有效深度”的观点一致。在通用语义理解任务（如 C-MTEB 中的 STS-B）上，RT 与基线表现相当，没有引入额外的噪声。相反，在复杂语义推理任务（如 BRIGHT 和 PJBenchmark）上，RT 带来了实质性的提升，表明时间展开在需要多步或组合推理的场景中特别有益。

![图 2：RT 方法在不同任务和迭代步数下的性能](https://arxiv.org/html/2511.13726/S4.F2)

我们在 PJBenchmark JD2CV 任务上进一步比较了相同 RT 设置下的仅编码器和仅解码器架构（表 4）。Qwen3-Embedding-8B 从 62.77 提升到 74.33，而 bge-large-zh-v1.5 仅从 21.66 小幅上升到 23.06。这些结果表明，RT 的时间展开机制与自回归（仅解码器）架构更自然地一致。相比之下，仅编码器模型可以通过外部循环模拟迭代，但其架构约束和状态更新机制限制了性能提升。这支持了以下假设：递归和可变长度计算是复杂推理的关键，而仅解码器嵌入模型在时间展开方面具有天然优势。

表 4：PJBenchmark JD2CV 任务对比

### 4.3 分析与讨论

RT 方法在语义推理任务上取得了显著提升，同时在通用语义理解基准上保持可比。提升在 \(T=2\)–3 时达到峰值，并在更大的 \(T\) 时趋平，支持了额外时间步增加有效推理深度的观点。仅解码器模型比仅编码器模型获益更多，表明自回归架构能更有效地整合先前生成的推理轨迹。提升幅度随任务复杂度增加，对于 STS-B 几乎为零，但在 BRIGHT 和 PJBenchmark 上则非常显著，表明时间展开有助于模型在隐藏空间中更有效地组合推理。

尽管 RT 方法在复杂任务上表现良好，但它也有明显的局限性。首先，RT 仅是推理阶段的扩展，缺乏显式的信用分配[15]。因此，模型无法评估每个计算步骤的有效性，额外的迭代只能在现有参数空间内进行有限的调整，而无法形成新策略或长期记忆。其次，RT 在浅层或噪声较大的任务上改进很小，并且在长或松散组织的输入上，其推理轨迹容易漂移，这主要是由于缺乏显式的结构约束和记忆管理[13]。最后，RT 对迭代次数和状态聚合方案都很敏感：步数过多会增加延迟，步数过少则会减少推理深度。因此，在实践中需要自适应的步数调度和早停机制来保持稳定性和效率。

## 5 结论与未来工作

我们提出了 RT，一种增强文本表示模型推理能力的测试时方法，解决了它们在语义推理任务中计算深度不足的问题。实验表明，RT 在 BRIGHT 和 PJBenchmark 等语义推理基准上显著提升了性能，同时在 C-MTEB 等通用语义理解任务上保持稳定结果，证实了时间展开对于复杂语义推理的有效性。RT 将语义推理视为一个时间展开的计算过程，使得模型在测试时能够获得额外的推理步骤，从而在不修改参数的情况下扩展其有效推理深度。我们的结果证实了递归和可变长度计算是复杂推理的基础，并且仅解码器架构本质上更有利于语义推理。尽管 RT 方法在各种任务上表现良好，但它仍然依赖于启发式控制，缺乏细粒度的学习或验证。未来的方向包括集成轻量级重训练或强化学习[2]进行奖励建模[9]，以及在仅解码器架构下开发更高效的时间展开策略。

先前的研究表明，大型推理模型通过暴露于预训练期间的推理轨迹来获得其推理能力[12,5]。这一见解可能解释了 RT 在仅解码器模型（如 Qwen3-Embedding-8B）上的有效性。目前，我们的实验主要集中在语义推理任务上，尚未扩展到符号或算术推理，且评估的模型种类仍然有限。因此，需要进一步研究来解