Cross-LLM推理一致性：来自共享交互的证据

# 跨LLM推理一致性：来自共享交互的证据
**来源：** https://arxiv.org/html/2606.08129
**作者：**
- Siyu Lou，上海交通大学计算机科学与技术学院，宁

波市先进制造仿真重点实验室，宁波东方理工大学（暂名），siyu\.lou@sjtu\.edu\.cn
- Yao Yan，重庆师范大学计算机与信息科学学院，SymtrustAI\.com，yanyao202509@163\.com
- Yuntian Chen，宁波市先进制造仿真重点实验室，宁波东方理工大学（暂名），ychen@eitech\.edu\.cn
- Quanshi Zhang，上海交通大学计算机科学与技术学院，zqs1022@sjtu\.edu\.cn

###### 摘要
大型语言模型（LLMs）在架构、训练数据和优化流程上各不相同，但它们仍可能发展出相似的内部推理模式。在本文中，我们通过基于交互的解释来检验这一假设。我们发现，当从同一提示预测同一个目标词元时，LLMs 往往共享某些交互模式。这种一致性在先进 LLMs 中更为显著。共享交互通常阶数较低，且其正负抵消程度弱于非共享交互。这些结果表明，先进 LLMs 可能被隐式地朝着共同的推理模式进行优化，尽管产生这种跨模型一致性的机制仍有待探索。

## 1 引言
本文关注大型语言模型（LLMs）中的表征与人类认知之间的一个本质区别。人类有能力通过社会交流来调整推理逻辑或推理模式，*即*，内部推理模式的校准是一种帮助人们区分可靠与不可靠认知的典型机制[38 (https://arxiv.org/html/2606.08129#bib.bib4)]。相比之下，LLMs 缺乏这种机制：它们主要通过学习来规范 LLM 输出[36 (https://arxiv.org/html/2606.08129#bib.bib5)]，但缺乏一个完善的框架来校准不同模型间的内部推理模式[6 (https://arxiv.org/html/2606.08129#bib.bib6),5 (https://arxiv.org/html/2606.08129#bib.bib7),28 (https://arxiv.org/html/2606.08129#bib.bib8)]。尽管完全实现 LLM 推理模式的事后校准超出了单篇研究的范围，但我们的工作针对一个更基础的研究问题：**尽管训练数据和架构不同，独立训练的 LLMs 是否仍然拥有内在对齐的推理模式？** 如果被证实，这一发现将为后续关于跨 LLM 推理模式事后校准以及探索由不同 LLM 建模的共识表征的研究提供坚实基础。

具体来说，我们的研究受到最近交互解释理论进展的启发[29 (https://arxiv.org/html/2606.08129#bib.bib11),32 (https://arxiv.org/html/2606.08129#bib.bib9),22 (https://arxiv.org/html/2606.08129#bib.bib10)]：对于每个特定的输入提示，LLM 用于生成目标词元的复杂推理逻辑可以在数学上分解为少量交互模式。如图 1 (https://arxiv.org/html/2606.08129#S1.F1) 所示，每个交互表示 LLM 建模的一个短语模式，并对目标词元的预测得分做出可量化的贡献。经验证据[11 (https://arxiv.org/html/2606.08129#bib.bib16),23 (https://arxiv.org/html/2606.08129#bib.bib14),31 (https://arxiv.org/html/2606.08129#bib.bib15),44 (https://arxiv.org/html/2606.08129#bib.bib13)] 和理论[33 (https://arxiv.org/html/2606.08129#bib.bib12)] 都保证这些交互可以被视为 LLM 使用的原始推理模式。如图 1 (https://arxiv.org/html/2606.08129#S1.F1) 所示，一个交互表示 LLM 自动用于推理的一个短语模式。例如，LLM 编码了一个短语 \(S=\{\text{strong, spatial}\}\)。这两个词的同时出现激活了该交互，并贡献了 \(I_{S}^{\mathrm{and}}=0.87\)，以提高生成目标词元“variation”的预测得分。

> **图 1: 基于交互的解释。** (a,b) 目标词元 \(v(\mathbf{x})\) 的预测得分可以用由稀疏交互组成的逻辑模型 \(\phi\) 来近似。该逻辑模型在所有 \(2^n\) 个掩码输入状态上都能忠实地匹配 LLM 的输出。(c) 只有非常稀疏的交互表现出显著的交互效应。所有其他交互的效应几乎为 0。(d) 给定一对 LLM，我们发现两个 LLM 通常共享一组相似的交互用于推理。非共享交互通常代表单个 LLM 编码的过拟合模式。

由于 LLM 用于目标词元预测的推理逻辑可以分解为一组交互模式，我们**实证性地研究不同现成 LLM 是否捕获了相似的交互模式**。肯定的答案将表明，不同的 LLM 可能收敛于相似的内部推理逻辑，即使它们在架构和训练数据上有所不同。为此，我们分析了不同参数规模和模型版本的 LLM，并获得了一些令人鼓舞的发现。(1) 我们发现，**不同架构和参数规模的开源 LLM 在相同输入上常常编码许多相似的交互用于推理**。特别是，先进 LLM 倾向于编码更多跨模型共享的公共交互，如图 5 (https://arxiv.org/html/2606.08129#S3.F5) 所示。与共享的隐藏特征空间[45 (https://arxiv.org/html/2606.08129#bib.bib17)] 不同，共享交互提供了一种更直接、可解释的跨模型一致性视角。每个交互都是一个短语模式，并对目标词元得分有可量化的贡献。这使得我们能够识别、计数并比较不同 LLM 共享的推理模式，如图 1 (https://arxiv.org/html/2606.08129#S1.F1) 所示。(2) **不同 LLM 间共享的交互通常代表相对简单的推理模式**（*即*，少量词元间的低阶交互），而非共享交互则捕获涉及更多词元的更复杂推理模式（图 3 (https://arxiv.org/html/2606.08129#S3.F3)）。一般来说，更简单的交互模式通常被认为是更可靠的。(3) 我们发现，**从同一输入提示提取的非共享交互通常在正负效应之间表现出强烈的抵消**。也就是说，一些交互增加目标词元的预测得分，而另一些则降低它。结果，它们的效果在最终预测得分中很大程度上相互抵消，使得非共享交互的净贡献远小于其总体幅度（图 4 (https://arxiv.org/html/2606.08129#S3.F4)）。因此，这些交互可能就像相互抵消的、模型特定的噪声模式。相比之下，共享交互表现出弱得多的正负抵消。它们倾向于以更一致的方向贡献于目标词元预测，而不是被相反效应抵消。这表明共享交互为目标词元预测提供了更有效和可靠的表示。因此，尽管这项工作只是向跨 LLM 存在隐式校准的内部推理模式迈出的初步一步，但我们的发现揭示了一个不可忽视的可能性：**尽管训练数据和模型架构存在差异，但先进 LLMs 可能已经被优化向一组收敛的交互模式**。

## 2 基于交互的解释
### 2.1 预备知识
考虑一个 LLM \(v\) 和一个输入提示 \(\mathbf{x}=[x_{1},\ldots,x_{n}]^{T}\)，其中有 \(n\) 个输入变量，索引集为 \(N=\{1,\ldots,n\}\)。每个输入变量可以是一个词元、一个单词或一个短语。给定提示 \(\mathbf{x}\)，生成目标词元 \(x_{n+1}\) 的置信度得分通常定义为：
\[ v(\mathbf{x}):=\log\frac{p(x_{n+1}\mid\mathbf{x})}{1-p(x_{n+1}\mid\mathbf{x})},
\]
其中 \(p(x_{n+1}\mid\mathbf{x})\) 表示 LLM 生成目标词元 \(x_{n+1}\) 的概率。

#### AND-OR 逻辑模型。
基于交互的解释提供了一种规范的方式将置信度得分 \(v(\cdot)\) 解释为一组交互。每个交互对应 LLM 自动使用的一个短语。具体来说，Chen 等人[8 (https://arxiv.org/html/2606.08129#bib.bib18)] 已经证明，神经网络的输出得分 \(v(\cdot)\) 可以分解为一组交互，每个交互贡献一个效应（\(I_{S}^{\mathrm{and}}\) 或 \(I_{S}^{\mathrm{or}}\)）。也就是说，**我们可以构造一个具有这种交互逻辑的逻辑函数，以精确匹配网络函数 \(v(\cdot)\) 在指数多个掩码状态上的形状**¹：
\[
\forall\mathbf{x}^{\prime}\in\Psi,\qquad\left\|\phi(\mathbf{x}^{\prime})-v(\mathbf{x}^{\prime})\right\|<\epsilon,
\]
\[
\phi(\mathbf{x}^{\prime})
=
\underbrace{\sum_{T\in\Omega^{\mathrm{and}}} I_{T}^{\mathrm{and}}\cdot \mathbbm{1}_{\mathrm{and}}\left(\begin{subarray}{c}\mathbf{x}^{\prime}\text{ triggers AND relation}\\ \text{between variables in }T\end{subarray}\right)}_{\text{一个 AND 交互}}
+
\underbrace{\sum_{T\in\Omega^{\mathrm{or}}} I_{T}^{\mathrm{or}}\cdot \mathbbm{1}_{\mathrm{or}}\left(\begin{subarray}{c}\mathbf{x}^{\prime}\text{ triggers OR relation}\\ \text{between variables in }T\end{subarray}\right)}_{\text{一个 OR 交互}}
+b.
\]
这个性质被称为**通用匹配属性**，其中很小的标量 \(\epsilon\) 保证了基于交互的解释的保真度。\(\Psi=\{\mathbf{x}_{S}\mid S\subseteq N\}\) 表示所有 \(2^n\) 个掩码状态的集合，其中 \(\mathbf{x}_{S}\) 是一个掩码样本，其中 \(S\) 中的变量被掩码¹。\(\Omega^{\mathrm{and}}\) 和 \(\Omega^{\mathrm{or}}\) 分别表示 AND 交互和 OR 交互的集合。相应的交互效应 \(I_{T}^{\mathrm{and}}, I_{T}^{\mathrm{or}}\in\mathbb{R}\) 和标量偏置 \(b\) 按照 Chen 等人[8 (https://arxiv.org/html/2606.08129#bib.bib18)] 的方法学习（详见附录 C (https://arxiv.org/html/2606.08129#A3)）。许多实证研究[22 (https://arxiv.org/html/2606.08129#bib.bib10),23 (https://arxiv.org/html/2606.08129#bib.bib14),44 (https://arxiv.org/html/2606.08129#bib.bib13)] 和定理[32 (https://arxiv.org/html/2606.08129#bib.bib9)] 表明，交互可以忠实地解释 LLM 使用的推理模式。

AND 触发函数 \(\mathbbm{1}_{\mathrm{and}}(\cdot)\in\{0,1\}\) 仅在 \(T\subseteq N\) 中的所有变量都出现在 \(\mathbf{x}^{\prime}\) 中时才被激活，捕获它们的协同效应。例如，在图 2(a) (https://arxiv.org/html/2606.08129#S2.F2) 中，AND 交互 \(S=\{\text{virtually},\text{virginia}\}\) 贡献了正效应 \(I_{S}^{\mathrm{and}}=0.19\) 用于预测目标词元“min”。OR 触发函数 \(\mathbbm{1}_{\mathrm{or}}(\cdot)\in\{0,1\}\) 在 \(T\) 中至少有一个变量存在时被激活，捕获 \(T\) 中变量之间的冗余效应。例如，在图 2(b) (https://arxiv.org/html/2606.08129#S2.F2) 中，OR 交互 \(S=\{\text{fly},\text{airspace}\}\) 贡献了负效应 \(I_{S}^{\mathrm{or}}=-0.53\) 用于预测“rules”。

#### 交互的稀疏性。
Ren 等人[32 (https://arxiv.org/html/2606.08129#bib.bib9)] 已经证明，从给定输入中提取的交互数量通常很少，并且理论上是有界的。在实践中，实证研究发现每个输入提示中只提取 50 到 150 个交互。我们在附录 A (https://arxiv.org/html/2606.08129#A1) 中提供了对稀疏性属性的额外实证验证。

### 2.2 交互作为原始推理模式
我们现在解释为什么交互可以被视为 LLM 的原始推理模式。一个理想的原始模式应该能准确解释 LLM 的预测得分，语义上可解释，并且是稀疏的。AND-OR 交互从理论和实证角度都满足这些性质。

#### 函数解释。
逻辑模型 \(\phi(\mathbf{x}^{\prime})\) 可以解释如下。它将 LLM 在每个输入掩码状态 \(\mathbf{x}^{\prime}\) 上的预测得分分解为两部分 \(v^{\mathrm{and}}(\mathbf{x}^{\prime})\) 和 \(v^{\mathrm{or}}(\mathbf{x}^{\prime})\)，并且 \(\phi(\mathbf{x}^{\prime})\) 中的交互效应可以通过 Möbius 变换[34 (https://arxiv.org/html/2606.08129#bib.bib29)] 导出。
\[
\forall\mathbf{x}^{\prime}\in\Psi,\quad v(\mathbf{x}^{\prime}) = v^{\mathrm{and}}(\mathbf{x}^{\prime})+v^{\mathrm{or}}(\mathbf{x}^{\prime}),
\]
\[
\mathrm{with}\quad \{I_{T}^{\mathrm{and}}\}_{T\subseteq N,T\neq\emptyset} = \text{Möbius}(\mathbf{v}^{\mathrm{and}}),
\]
\[
\{I_{T}^{\mathrm{or}}\}_{T\subseteq N,T\neq\emptyset} = -\text{Möbius}(\widehat{\mathbf{v}}^{\mathrm{or}}),
\]
其中 \(\text{Möbius}(\mathbf{v}^{\mathrm{and}})\) 表示对 \(\Psi\) 中 \(2^n\) 个掩码样本上 \(v^{\mathrm{and}}\) 函数的输出值应用 Möbius 变换。² \(\mathbf{v}^{\mathrm{and}}\in\mathbb{R}^{2^n}\) 将所有 \(v^{\mathrm{and}}(\cdot)\) 在所有掩码输入上的输出向量化，向量 \(\widehat{\mathbf{v}}^{\mathrm{or}}\in\mathbb{R}^{2^n}\) 定义为：\(\forall T\subseteq N,\ \widehat{v}^{\mathrm{or}}(x_{T})\triangleq v^{\mathrm{or}}(x_{N\setminus T})\)。第 2.1 节 (https://arxiv.org/html/2606.08129#S2.Ex1) 中的逻辑函数 \(\phi(\cdot)\) 可以看作逆 Möbius 变换²，它使用交互效应 \(\{I_{T}^{\mathrm{and}}\}\) 和 \(\{I_{T}^{\mathrm{or}}\}\) 重构上述函数 \(v^{\mathrm{and}}(\cdot)\) 和 \(v^{\mathrm{or}}(\cdot)\)，从而逼近原始网络输出 \(v(\cdot)\)。...

---

**脚注：**
¹ 输入词通过将其词元嵌入替换为基线向量 \(\mathbf{b}\in\mathbb{R}^{d}\) 来掩码，该向量表示无信息状态[8 (https://arxiv.org/html/2606.08129#bib.bib18)]。
² 详见附录 B (https://arxiv.org/html/2606.08129#A2)。