大语言模型中思维链推理的平均场动力学

# 大语言模型中思维链推理的平均场动力学

**摘要**

近年来，基于思维链推理的大语言模型（LLMs）得到了广泛应用，对其行为的理论解释可能有助于加深我们的理解并指导模型优化。在本研究中，我们引入了一个框架，在不简化模型架构或类比现有物理系统的情况下，寻求LLM推理中的统计规律性和理论解释。我们将LLM推理表述为线索图上的引导发现过程，并利用平均场近似推导出关于已发现线索比例的一维常微分方程。在实验中，通过学生LLM对教师LLM输出结果的归一化惊异度来识别线索词元，并通过在多个思维链上取平均获得统计规律。实验表明，所得的统计规律在同一数据集内具有可重复性，并且可以通过求解所提出的理论方程进行拟合。

**引言** – 基于思维链的大语言模型（LLMs）近年来展现出强大的推理能力，在数学推理[39 (https://arxiv.org/html/2608.05152#bib.bib1)、19 (https://arxiv.org/html/2608.05152#bib.bib2)、37 (https://arxiv.org/html/2608.05152#bib.bib3)、13 (https://arxiv.org/html/2608.05152#bib.bib4)]、竞赛编程[13 (https://arxiv.org/html/2608.05152#bib.bib4)、10 (https://arxiv.org/html/2608.05152#bib.bib5)]、医学问答[28 (https://arxiv.org/html/2608.05152#bib.bib6)、29 (https://arxiv.org/html/2608.05152#bib.bib7)]以及专业或学术考试[8 (https://arxiv.org/html/2608.05152#bib.bib8)、38 (https://arxiv.org/html/2608.05152#bib.bib9)、27 (https://arxiv.org/html/2608.05152#bib.bib10)]等选定任务上，其表现已接近人类水平。理解LLMs背后的内部机制或统计规律[22 (https://arxiv.org/html/2608.05152#bib.bib11)、36 (https://arxiv.org/html/2608.05152#bib.bib12)、17 (https://arxiv.org/html/2608.05152#bib.bib13)、25 (https://arxiv.org/html/2608.05152#bib.bib14)、4 (https://arxiv.org/html/2608.05152#bib.bib15)、42 (https://arxiv.org/html/2608.05152#bib.bib16)]可以为模型优化、效率提升和成本降低提供有益的指导。因此，这已成为理论研究的一个重要方向。

现有的理论研究从物理学启发的视角探索了包括LLMs在内的深度学习系统。一种常见的方法是从第一性原理出发。与大多数物理系统不同，深度学习模型的内部架构是完全已知的，这使得研究者可以基于神经网络的基本架构来构建可解释的理论[3 (https://arxiv.org/html/2608.05152#bib.bib17)、24 (https://arxiv.org/html/2608.05152#bib.bib18)、5 (https://arxiv.org/html/2608.05152#bib.bib19)、23 (https://arxiv.org/html/2608.05152#bib.bib20)、35 (https://arxiv.org/html/2608.05152#bib.bib21)]。然而，现代LLM的架构已经高度复杂，使得这类理论难以涵盖其所有专门结构。在实践中，忽略诸如残差连接[15 (https://arxiv.org/html/2608.05152#bib.bib22)]、多头注意力[34 (https://arxiv.org/html/2608.05152#bib.bib23)]或MoE[11 (https://arxiv.org/html/2608.05152#bib.bib24)]等架构组件会显著降低LLM的性能，从而限制了这些基于简化架构的理论的普适性。另一种方法是将LLM与已被充分研究的物理系统进行类比，例如自旋玻璃[21 (https://arxiv.org/html/2608.05152#bib.bib25)]、相变附近的系统[2 (https://arxiv.org/html/2608.05152#bib.bib26)、9 (https://arxiv.org/html/2608.05152#bib.bib27)]以及BKT类型的统计力学模型[32 (https://arxiv.org/html/2608.05152#bib.bib28)]。然而，这些物理系统并非为描述LLM而构建，从物理中引入到LLM研究中的概念往往难以严格定义。这削弱了此类理论方法的严谨性。

不同于从第一性原理分解LLM，本工作从集体行为的层面处理它们，并寻求其推理过程中的统计规律。我们不是将LLM与现有物理系统进行类比，而是试图构建一个专门针对LLM的理论模型。利用平均场近似，该理论导出一个常微分方程，能够捕捉实验中观察到的统计模式。

在理论上，我们将LLM中的思维链推理表述为一个线索发现过程。我们假设解决一个问题需要一组线索，每条线索要么已知要么未知。在推理过程中，LLM逐步将未知线索转化为已知线索。这些线索构成一个有向无环线索图，其中已知的上游线索促进下游线索的发现。在平均场近似下，我们推导出已知线索比例随时间演化的常微分方程。我们将该方程称为引导发现方程。其解给出随时间变化的线索发现率。

我们通过实验验证该理论：使用一个较强的教师LLM生成思维链，并使用一个学生LLM对其进行扫描。线索的可观测量为词元级归一化惊异度，它衡量两个LLM之间的能力差距，因此隐含地识别出解决问题的关键线索。通过收集大量思维链并对所得的线索发现率曲线进行平均，我们获得了统计规律，展示了两个核心结果：1）在同一数据集和相同LLM下，线索发现率遵循可重复的统计规律；2）平均线索发现率可以被引导发现方程部分拟合。这些发现表明，LLM推理可以被视为一个具有统计规律的物理系统，并且这些规律在某些情况下可以用一个简单的方程来描述。

**思维链推理作为线索发现** – 我们将LLM中的思维链推理表述为线索图上的引导线索发现，如图1 (https://arxiv.org/html/2608.05152#S0.F1)\(a\)所示。假设解决一个问题需要知道N条线索，其依赖关系形成一个有向无环图。LLM在此图上充当发现代理，逐步将未知线索转化为已知线索。该过程的时间变量对应推理链中的词元位置。每条线索具有二值状态\(X_{i}\in\{0,1\}\)，其中0表示未知，1表示已知。对于每条未知线索\(i\)，其状态可能在一个小的时间间隔\(dt\)内以一定概率从0切换到1。发现概率取决于其最近的上游邻居中有多少已经是已知的。由于上游邻居是能够直接支持线索\(i\)推断的线索，线索\(i\)的引导发现率随着已发现的上游线索数量的增加而增加。

请参阅说明
图1：\(a\) 线索发现示意图。一组线索（以圆圈表示）构成一个有向无环图。橙色填充和空心圆圈分别表示已知和未知线索。已知线索可以引导未知线索的发现，但只有位于注意力窗口内的线索才会被关注。注意力窗口由蓝色虚线圆圈标出。\(b\) 单个思维链的发现率。归一化惊异度超过阈值的词元被识别为线索词元。垂直线显示其归一化惊异度，蓝色实线显示由此产生的发现率曲线。\(c\) 对多个思维链取平均后的发现率曲线，显示出统计规律性。

此外，尽管LLM在生成每个新词元时原则上可以访问完整上下文，但其注意力机制通过注意力得分的加权平均来聚合上下文信息[33 (https://arxiv.org/html/2608.05152#bib.bib29)]。因此，LLM可能无法完全、均匀且全面地利用所有已知线索。因此，我们在理论中引入一个注意力窗口。在每个时刻，代理只关注已知线索的一个有限子集，只有这些被关注的线索才能对新线索的引导发现做出贡献。对于一条典型的未知线索\(i\)，我们假设其每条已知的最近上游线索以概率\(\rho\)进入注意力窗口。\(\rho\)的引入隐含地假设LLM具有从大量已知线索中选择相关线索的能力。相反，如果LLM代理只能从已知线索中随机采样，则选择过程退化为超几何分布。具体来说，假设总共有\(M\)条已知线索，其中\(c\)条是线索\(i\)的最近上游邻居。如果代理从\(M\)条已知线索中随机抽取\(k\)条进入注意力窗口，那么线索\(i\)的引导发现率取决于所选择的\(r\)条同时也是线索\(i\)最近上游邻居的线索数量。

**平均场理论** – 对于单个问题，线索发现图可能包含大量随机性，单个思维链的发现轨迹也可能高度不确定。然而，当收集大量样本并取平均时，所得到的行为可以表现出某种规律性。因此，我们引入平均场近似，这是统计物理中将多体相互作用简化为有效平均场的标准方法[7 (https://arxiv.org/html/2608.05152#bib.bib30)]。首先，我们假设每条线索具有相同数量的最近上游线索，记为\(d\)。其次，如果在某一时刻\(N\)条线索中有\(M\)条已知，那么对于一条具有代表性的未知线索\(i\)，其每条最近上游线索已知的概率为\(M/N\)。第三，如前所述，\(i\)的一条已知最近上游线索被关注到的概率为\(\rho\)。因此，在平均场近似下，引导发现过程可以通过二项分布来表述，即线索\(i\)的引导发现率由其\(d\)条最近上游线索中同时已知且被选入注意力窗口的数量\(r\)决定，每条上游线索满足此条件的概率为\(\rho m\)。

除了这种引导发现效应，我们还进一步考虑了线索的偶然发现，它代表了LLM对相应数据集的先验或内在知识。考虑到在任何时刻最多只能发现一条新线索，线索发现过程可以简化为一个一维常微分方程：

\[
\frac{dm}{dt}=(1-m)\big[\epsilon+\beta G(m)\big], \tag{1}
\]

\[
G(m)=\sum_{r=0}^{d}f(r)\binom{d}{r}(\rho m)^{r}(1-\rho m)^{d-r},
\]

其中\(m\)是因变量，表示已知线索的比例，即\(m=M/N\)。\(\epsilon\)表示偶然发现系数，而\(\beta\)表示引导发现系数。函数\(f(r)\)是引导发现核。它描述了未知线索\(i\)的引导发现概率如何依赖于既已知又被纳入注意力窗口的上游线索数量\(r\)。通常选择为单调递增函数。在随后的实验中，我们取\(f(r)=(r/d)^{0.1}\)，它在\(r\)较小时增长迅速，然后逐渐趋于饱和。

**可观测：归一化惊异度** – 接下来我们介绍用于验证理论的实验设置，以及主要的可观测变量——归一化惊异度。在实验中，一个较强的教师LLM被要求反复回答数据集中的多个问题，从而产生大量的思维链。然后，我们使用一个较弱的学生LLM来扫描教师LLM生成的思维链，并识别出学生LLM难以预测的词元。由于教师LLM通常远优于学生LLM，教师LLM推理过程中这些难以预测的词元可以被视为引导LLM获得更好答案的关键要素。因此，它们对应于我们理论中的线索，我们称之为线索词元。同时引入教师LLM和学生LLM对于在我们的设置中获得惊异度是必要的，该框架也广泛用于知识蒸馏[16 (https://arxiv.org/html/2608.05152#bib.bib31)、18 (https://arxiv.org/html/2608.05152#bib.bib32)]和弱到强泛化[6 (https://arxiv.org/html/2608.05152#bib.bib33)]等任务中。

惊异度\(s_{t}\)反映了学生LLM对教师LLM思维链中第\(t\)个词元的惊讶程度[26 (https://arxiv.org/html/2608.05152#bib.bib34)]。其定义为

\[
s_{t}=-\log p_{\theta}\left(x_{t}\mid\mathcal{C},x_{<t}\right), \tag{2}
\]

其中\(x_{t}\)是教师LLM思维链中的第\(t\)个词元，\(x_{<t}\)表示位置\(t\)之前的所有词元，\(\mathcal{C}\)表示提示和问题上下文，\(p_{\theta}\)是学生LLM预测的下一个词元概率分布。

然而，惊异度本身并不能完全反映两个LLM之间的能力差距。如果一个词元在学生LLM下获得较高的惊异度，这并不一定意味着学生模型无法生成该词元。可能只是因为句子结构的原因，该位置的词元本身具有不确定性。例如，一个句子的第一个词元通常有很多可能的选择，因此其惊异度自然很高。为了解决这个问题，我们对惊异度进行z-score归一化。使用学生LLM的前向预测熵和预测变分熵[20 (https://arxiv.org/html/2608.05152#bib.bib41)、1 (https://arxiv.org/html/2608.05152#bib.bib42)]，我们得到归一化惊异度\(z_{t}\)，

\[
z_{t}=\frac{s_{t}-H_{t}}{\sqrt{V_{t}}}, \tag{3}
\]

其中

\[
H_{t}=-\sum_{v\in\mathcal{V}}p_{\theta}\left(v\mid\mathcal{C},x_{<t}\right)\log p_{\theta}\left(v\mid\mathcal{C},x_{<t}\right), \tag{4}
\]

且

\[
V_{t}=\sum_{v\in\mathcal{V}}p_{\theta}\left(v\mid\mathcal{C},x_{<t}\right)\left[-\log p_{\theta}\left(v\mid\mathcal{C},x_{<t}\right)-H_{t}\right]^{2}. \tag{5}
\]

这里，\(H_{t}\)是学生模型的前向预测熵，也是惊异度的期望。它反映了学生模型在预测时的语义不确定性。预测变分熵\(V_{t}\)是惊异度的方差，反映了预测概率分布的集中程度。

最后，我们从归一化惊异度中获取线索的统计规律。对于特定回答中产生的每条独立思维链，我们记录每个词元位置的归一化惊异度。归一化惊异度越大的词元，越有可能是线索词元。为了实际简便，我们引入一个固定阈值\(\lambda\)来判断每个词元是否为线索词元。虽然这个阈