逻辑正则化验证器激发大语言模型的推理能力

# 逻辑正则化验证器激发大语言模型的推理能力

来源: https://arxiv.org/html/2605.05893

###### 摘要

验证器是提升现代大语言模型（LLM）推理能力的关键组件。典型的验证器需要构建资源密集型的监督数据集，这不仅成本高昂，而且面临数据多样性不足的限制。在本文中，我们提出了 **LoVer**，一种由逻辑规则正则化的无监督验证器。LoVer 将验证器视为一个二元潜变量，利用模型内部激活状态，并对多条推理路径施加三种逻辑约束：否定一致性、组内一致性以及组间一致性（根据最终答案分组）。通过引入逻辑规则作为先验，LoVer 能够利用未标注样本，并且直接与任何现成的大语言模型兼容。在 10 个数据集上的实验表明，LoVer 显著优于无监督基线方法，其性能可媲美监督验证器（平均达到其 95% 的水平）。源代码已公开于 https://github.com/wangxinyufighting/llm-lover。

$^{11}$ 单位：华东师范大学计算机科学与技术学院  
$^{22}$ 单位：中国电信人工智能研究院（TeleAI）  
$\dagger\dagger$ 单位：$\{xinyu\_wang@stu, ybwu@cs, xlwang@cs\}.ecnu.edu.cn$  
$\dagger\dagger$ 单位：$\{czsun\}@chinatelecom.cn$  
$\dagger\dagger$ 单位：$\{dell.z, xuelong\_li\}@ieee.org$

逻辑正则化验证器激发大语言模型的推理能力

$^{**}$ 脚注：同等贡献。$^{\#\#}$ 脚注：该作者在中国电信实习期间的研究工作。$\{\dagger\}\{\dagger\}$ 脚注：通讯作者。

## 1 引言

验证器通过提供反馈来优化大语言模型的参数（RL 扩展）或输出（推理扩展），从而极大地增强了模型的推理能力 Ouyang et al. (2022); Snell et al. (2024)。验证器通常采用监督学习方式进行训练 Cobbe et al. (2021); Yue et al. (2024)，即基于标注数据学习将推理输出分类为真或假。这带来了两个挑战：1) 验证器的训练严重依赖标注数据，而获取这些数据成本高昂（特别是在专业或复杂领域）。例如，标注单个奥林匹克级别的题目通常需要大量时间，而添加细粒度的步骤级过程标注 Lightman et al. (2023) 会进一步增加工作量；2) 依赖专家标注可能导致解法的多样性不足 Basile et al. (2021); Xue et al. (2024a)，因为标注者可能偏好熟悉的推理方法，而忽视同样有效但直觉性较差的方法。例如，在标注几何问题时，标注者可能更倾向于标准的坐标法，而对不那么明显的几何观察法给予低分。尽管可以从各个方面改进监督过程 Yang et al. (2019)（例如，拥有不同数学背景和教育经验的更多专家），但大语言模型本身已经压缩了大量的知识和能力以采样多样化的生成结果 Minaee et al. (2024); Xue et al. (2024b)，因此一个自然的问题是：**我们能否在不进行监督训练的情况下构建验证器？**

表 1：现有验证器的比较。范式：验证器是使用监督（Sup.）还是无监督（Unsup.）学习范式训练的。先验：验证器中使用的先验知识。标注：标注数据的类型。“基于结果”指解决方案级别的标注。“基于过程”指步骤级别的标注。输入：验证器的输入数据类型。模型：模型架构。场景：适用于验证器的推理场景。“通用”通常指具有正确答案的推理问题。“是/否”表示问题的答案仅为“是”或“否”。

为了解决这些挑战，近期研究集中于无监督验证器，以发掘大语言模型内在的推理能力。典型工作包括：1) CoT-Decoding Wang and Zhou (2024)，通过观察大语言模型输出的概率提出了一种基于启发式规则的验证器。它根据答案跨度中最高概率 token 和次高概率 token 之间的概率差异来选择正确的推理路径。在实验中，我们观察到 CoT-Decoding 对 backbone LLM 的选择很敏感。例如，在 GSM8K 数据集上使用 llama-7b 时，CoT-Decoding 比多数投票策略低 4.8%。2) CCS Burn et al. (2023) 引入了一种无监督验证器，本质上是通过逻辑一致性损失优化的线性探针。不幸的是，CCS 只能处理是/否问题，难以扩展到通用推理任务。实用的验证器应对其目标问题有更少的限制，使其能够处理更广泛的推理场景，并在实际应用中提供更大的灵活性。

在本文中，我们提出了一个原则性框架 **LoVer**，一种由逻辑规则正则化的无监督概率验证器。对于每条推理路径，我们搜索 LLM 学习到的隐式内部“信念”或“知识”，以推断推理的真值。LoVer 首先通过结合文本模板生成对比性断言。然后，它以 LLM 对这些断言的内部激活状态作为输入，产生一个二元潜变量以指示真值。此外，LoVer 结合了三种逻辑约束，包括否定一致性、组内一致性和组间一致性（多条推理路径按最终答案分组）。为了弥合离散逻辑规则与连续神经网络之间的差距，我们提出了相应的软概率目标，以支持可微训练。我们的贡献总结如下：

- 我们提出了 LoVer，这是一个可扩展且原则性的框架，用于验证推理路径的真值，它利用 LLM 学习到的内在知识并由逻辑规则正则化。此外，LoVer 完全兼容任何现成的 LLM。
- 为了将离散逻辑规则与神经网络相结合，我们提出了软概率目标，使得 LoVer 能够端到端训练，提高了其可扩展性和性能。
- 我们在包括数学推理、常识推理以及各种 backbone 在内的多个数据集上进行了广泛实验，证明了所提出方法的有效性。

## 2 方法

在本节中，我们提出了 LoVer，这是一种旨在对 LLM 内部激活状态进行推理的无监督验证器。

图 1：我们提出的 LoVer 的示意图。对于任何问题 $q$，我们通过将 $q$ 与 $N$ 个解决方案中的第 $i$ 个解决方案组合来创建 $x_i$。我们分别通过向 $x_i$ 添加“This is a true/false answer.”来形成 $x_i^+$ 和 $x_i^-$。选择正确的解决方案涉及确定哪个断言，$x_i^+$ 或 $x_i^-$，是正确的。LLM 的隐藏状态用于表示 $x_i^+$ 和 $x_i^-$，然后输入到 LoVer 以预测每个断言的正确概率。我们从每个解决方案中提取最终答案，并将具有相同答案的断言分组在一起。这些断言遵循三个自然的逻辑约束，指导 LoVer 的无监督训练。**否定一致性**确保 $x_i^+$ 和 $x_i^-$ 中只有一个正确。**组内一致性**要求同一组中的断言具有相同的正确概率。**组间一致性**确保在所有组中只有一个组的 $x^+$ 断言是正确的。

##### 任务定义

给定一个 LLM 和输入问题 $q$，我们首先生成 $N$ 个完整解决方案 $\{s_i\}_{i=1}^N$，其中每个 $s_i$ 代表一条思维链（CoT）路径（见第 2.1 节）。然后，我们基于学习到的验证器选择最佳解决方案。对于每个解决方案 $s_i$，我们定义 $x_i = q \oplus s_i, x_i^+ = x_i \oplus \mathtt{T}^+, x_i^- = x_i \oplus \mathtt{T}^-$，其中 $\oplus$ 表示文本拼接，$\mathtt{T}^+, \mathtt{T}^-$ 是文本模板。给定 $N$ 条推理路径，我们将它们根据*最终答案*（通过规则从答案 token 中提取）分为 $M$ 个集合（$M \leq N$）。\mathcal{A} 表示从 $1$ 到 $N$ 的索引集，\mathcal{A}_k$ 表示第 $k$ 组，且 $\mathcal{A} = \cup_{k=1}^M \mathcal{A}_k$。验证器建模概率分布 $p_\theta(\bm{z}|x)$，其中 $x \in \cup_{i=1}^N \{x_i^+, x_i^-\}$ 且 $\bm{z} \in \{0, 1\}$ 是一个二元潜变量，指示自然语言陈述 $x$ 是否有效。在本文中，粗体字母表示变量。

受 CoT-Decoding Wang and Zhou (2024) 和 CCS Burn et al. (2023) 的启发，为了找到正确答案，我们首先增强每条推理路径以得出其正确和错误的断言，然后将这些断言的真值视为二元潜变量。一方面，我们利用 LLM 的内部激活状态作为输入，从而更好地利用模型的内在知识。另一方面，逻辑约束提供了隐式监督信号来更新验证器，显著减少了对人工监督的需求。

接下来，我们首先介绍 LLM 解码策略（第 2.1 节）以及如何获取对比性断言（第 2.2 节）。然后我们详细介绍潜验证器模型（第 2.3 节）并描述施加在潜变量上的逻辑约束（第 2.4 节）。最后，我们展示训练和推理过程（第 2.5 节）。图 1 展示了我们方法的概览。

### 2.1 LLM 解码策略

给定输入问题 $q$ 和典型的仅解码 LLM，有多种策略可以解码 $N$ 个解决方案，如束搜索、核采样等。在本工作中，我们遵循 CoT-Decoding Wang and Zhou (2024)。具体来说，我们在解码步骤 0 保留概率最高的前 $N$ 个 token，然后对每个 token 继续进行贪婪解码，最终产生 $N$ 个解决方案。与其他策略相比，这种方法更有可能产生自然的 CoT 推理路径，且不依赖于复杂的提示工程 Wang and Zhou (2024)。在实验中，我们也研究了不同解码策略的影响（表 4）。

### 2.2 对比性断言

对于每个 $x_i = q \oplus s_i$，我们通过附加文本模板 $\mathtt{T}^+$ 和 $\mathtt{T}^-$ 构建每个对比性断言。形式上，这表示为 $x_i^+ = x_i \oplus \mathtt{T}^+$ 和 $x_i^- = x_i \oplus \mathtt{T}^-$。在本文中，我们采用 $\mathtt{T}^+ = \text{‘This is a true answer.’}$ 和 $\mathtt{T}^- = \text{‘This is a false answer.’}$。重要的是，我们不是直接考虑每条推理路径 $x_i$，而是引入对比性断言 $x_i^+$ 和 $x_i^-$，这有助于激发模型学习到的内部“信念”或“知识” Burn et al. (2023)。

### 2.3 潜验证器模型

对于每个自然语言断言 $x \in \cup_{i=1}^N \{x_i^+, x_i^-\}$，我们首先计算 $x$ 的特征向量，记为 $\phi(x)$，$^1$ 默认为中间层最后一个 token 的隐藏表示，我们也探索了其他选项。详细信息请参考表 5。然后将其通过随机初始化的 MLP，最后使用 sigmoid 函数将其映射为概率值。形式上，我们定义验证器的概率分布 $p_\theta(\bm{z}|x)$，其中 $\bm{z} \in \{0, 1\}$ 是一个二元潜变量，指示自然语言陈述 $x$ 是否有效。为简单起见，我们用 $p_\theta(\bm{z})$ 表示 $p_\theta(\bm{z}=1|x)$：

$$ p_\theta(\bm{z}) = p_\theta(\bm{z}=1|x) = \mathtt{Sigmoid}(\mathtt{MLP}(\phi(x))) $$

重要的是，LoVer 不修改 LLM 的权重，也不使用标签。

### 2.4 逻辑约束

在引入二元潜变量 $\cup_{i=1}^N \{\bm{z}^+, \bm{z}^+\}$ 后，我们观察到它们之间应满足某些自然的逻辑一致性。让我们看看三种这样的逻辑一致性要求。

##### 否定一致性

给定对比性断言 $x_i^+$ 和 $x_i^-$，其对应的二元潜变量 $\bm{z}_i^+$ 和 $\bm{z}_i^-$ 应满足否定一致性：

$$ \bm{z}_i^+ = 1 - \bm{z}_i^-, i \in \mathcal{A}. $$

为此，我们通过软概率 Chen et al. (2022a); Burn et al. (2023) 放宽逻辑，以实现二元潜变量的可微训练和正则化。受 CCS Burn et al. (2023) 的启发，我们希望对比性断言 $x_i^+$ 和 $x_i^-$ 满足以下条件：1) 它们的概率之和等于 1（概率归一化）；2) 它们的概率差异显著（排中律）。

$$
\begin{aligned}
\mathcal{L}_{\mathrm{sum}} &= \sum_{i=1}^N \left[ p_\theta(\bm{z}_i^+) + p_\theta(\bm{z}_i^-) - 1 \right]^2, \\
\mathcal{L}_{\mathrm{diff}} &= \sum_{i=1}^N \min \left\{ p_\theta(\bm{z}_i^+), p_\theta(\bm{z}_i^-) \right\}^2, \\
\mathcal{L}_{\mathrm{nega}} &= \mathcal{L}_{\mathrm{sum}} + \mathcal{L}_{\mathrm{diff}}.
\end{aligned}
$$

注意，这两种损失都是必要的；单独使用其中任何一种都会导致退化解 Burn et al. (2023)。

##### 组内一致性

对于推理路径的每个组 $\mathcal{A}_k$，它们共享相同的答案，尽管其推理过程可能不同。总体而言，我们期望对应的二元潜变量满足