重新审视LLM推理中的均匀信息密度假设

# 重新审视大语言模型推理中的均匀信息密度假说 来源: https://arxiv.org/html/2510.06953  
Minju Gwak¹,², Guijin Son², Jaehyung Kim¹  
¹延世大学 ²OneLine AI  
mjgwak@yonsei\.ac\.kr, jaehyungk@yonsei\.ac\.kr  

###### 摘要  
均匀信息密度假说认为，有效沟通是通过维持稳定的信息流来实现的。在本研究中，我们在大型语言模型推理的背景下重新审视这一原则，探讨步骤级别的均匀性是否反映了推理质量。为此，我们引入了一个新颖的框架，通过基于熵的逐步密度度量，在局部和全局两个层面量化信息流的均匀性。在七个推理基准上的实验中，我们观察到一种反直觉的模式：高质量的推理表现出平滑的逐步过渡（局部均匀性），但在轨迹层面呈现出结构化的、非均匀的信息流（全局非均匀性）。结果表明，这些均匀性指标作为推理质量的预测因子，优于其他内部信号，并且这种与人类交流的差异并非模型缺陷，而是人类交流与LLM推理不同目标下的副产品。¹¹¹代码已发布在：https://github.com/talzoomanzoo/uid-reasoning  

## 1 引言  
链式思维推理已成为增强大型语言模型处理复杂推理任务的核心技术（Wei 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib1)；Kojima 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib2)；Chae 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib3)）。通过生成逐步的推理过程，CoT使模型能够将问题分解为更简单的子问题，从而提高准确性（Golovneva 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib4)；Prasad 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib5)；Yao 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib48)）。尽管取得了这些成功，但最近的研究强调了这种方法的脆弱性（Zhao 等人，2025a (https://arxiv.org/html/2510.06953#bib.bib6)）。例如，中间推理过程通常在逻辑上不一致或不连贯，因此即使生成长篇推理痕迹，模型也无法泛化到领域外的任务（Shojaee 等人，2025 (https://arxiv.org/html/2510.06953#bib.bib7)）。这就提出了一个关键问题：我们如何判断LLM是在有效推理，而不仅仅是生成表面上连贯的文本？  
（参见图注）图1：推理即信息流。人类交流平滑地分布信息以尊重信道容量，从而确保成功理解。LLM推理则跨推理步骤传输信息；失败源于局部过载（尖锐峰值）和信息利用不足（平坦的琐碎轨迹）。  
线索可能存在于人类交流本身；心理语言学中的均匀信息密度假说提出，说话者会尽可能均匀地分布信息，以平衡清晰度和效率（Fenk 和 Fenk-Oczlon, 1980 (https://arxiv.org/html/2510.06953#bib.bib36)；Genzel 和 Charniak, 2002 (https://arxiv.org/html/2510.06953#bib.bib37)；Clark 等人，2023 (https://arxiv.org/html/2510.06953#bib.bib38)；Jaeger 和 Levy, 2006 (https://arxiv.org/html/2510.06953#bib.bib30)）。也就是说，相对均匀的信息流对于有效沟通是必要的（Meister 等人，2021 (https://arxiv.org/html/2510.06953#bib.bib9)；Aylett 和 Turk, 2004 (https://arxiv.org/html/2510.06953#bib.bib44)），这与人类认知处理的极限相一致。当这种平衡被过多或过少的信息打破时，沟通就会恶化。受此启发，我们提出问题：类似的原理是否也支配着LLM的推理？  
正如人类说话者维持平衡的信息流以支持理解，有效的推理轨迹可能也需要跨步骤的类似均匀性。认知科学的最新发现支持这一观点：Bhambri 等人 (2025 (https://arxiv.org/html/2510.06953#bib.bib8)) 表明，对人类可解释的推理路径也更容易让模型生成和学习，这表明人类认知和机器推理之间存在共享结构。为了探究这一点，我们专注于分析LLM在具有挑战性的数学基准上生成的推理轨迹的信息流。具体而言，我们首先通过使用预测分布的熵来定义每步的信息密度测量，并检查它们与答案正确性的关系。然后，我们引入两个互补的度量，在全局和局部层面量化均匀性。我们的实验揭示了一种反直觉的模式：与人类交流不同，成功的LLM推理表现出高局部均匀性但低全局均匀性。在我们跨越七个具有挑战性的推理基准和三个LLM的实验中，这些均匀性指标在识别用于最佳N采样的高质量轨迹方面始终优于常规方法。我们发现这种差异并非模型缺陷，而是人类交流与LLM推理不同目标下的工具性副产品。总体而言，我们的贡献有三点：  
- ∘据我们所知，我们是首个在LLM推理背景下重新审视均匀信息密度假说的研究。  
- ∘与我们的假设相反，我们发现以愉悦度中的全局非均匀性和局部均匀性为特征的推理模式与具有挑战性的数学推理任务的成功相关。  
- ∘广泛的分析表明，偏离这种模式可作为预测失败案例的轨迹级内部信号，从而能够对响应级聚合和LLM推理评估进行互补性改进。  

## 2 探索LLM推理中的均匀信息密度假说  
### 2.1 背景：UID假说  
UID假说将语言视为通过有限容量噪声信道传输的信号（Meister 等人，2021 (https://arxiv.org/html/2510.06953#bib.bib9)；Tsipidi 等人，2024 (https://arxiv.org/html/2510.06953#bib.bib10)）。然后，UID假设说话者旨在高效传达信息，而不会使听者的处理资源不堪重负。形式上，设话语 u = [u₁, u₂, ..., uₙ] 为 N 个语言单元的序列，如单词、子词或字符，具体取决于表示的粒度。对于每个单元 uₙ，愉悦度定义为给定先前上下文后的意外程度：s(uₙ) = -log P(uₙ | u<ₙ)。一个基本的 UID 模型假设总处理努力与 ∑ s(uₙ)ᵏ + c·N 成比例，其中 c > 0 且 k > 1。这里，指数 k 编码了处理努力的非线性特征，即罕见或意外的单元比可预测的单元需要更大的努力。在这种表述下，跨单元的均匀愉悦度最小化总处理努力，而具有高度不均匀愉悦度值的“尖锐”语言信号会增加沟通负担（Meister 等人，2021 (https://arxiv.org/html/2510.06953#bib.bib9)）。  
虽然 UID 已在人类语言中得到验证，但其对机器推理的影响仍未被充分探索。LLM，或者更具体地说，最近的推理模型如 Deepseek-R1（DeepSeek-AI 等人，2025 (https://arxiv.org/html/2510.06953#bib.bib23)）和 Qwen3（Yang 等人，2025a (https://arxiv.org/html/2510.06953#bib.bib22)）会生成逐步的 CoT 轨迹，类似于人类言语随时间展开的方式。如果我们把每个推理步骤 zᵢ 视为一个带有愉悦度 s(zᵢ) 的单元，那么单个推理轨迹 z = [z₁, z₂, ..., zₙ] 可以以相同方式分析，得到总推理努力如下：E_reason(z) ∝ ∑ s(zₙ)ᵏ + c·N。那么，一个自然的问题出现了：UID 假说是否适用于 LLM 的良好推理模式？一个平滑、均匀的愉悦度轮廓可能反映了清晰和逻辑性的推理，而尖锐的峰值可能表明困惑或错误。因此，在本工作中，我们验证 UID 假说超越心理语言学范畴，应用于 LLM 的 CoT 推理，为理解推理模型为何成功或失败提供了新的视角。  

### 2.2 初步分析：LLM CoT 中的逐步信息密度  
我们首先为推理轨迹 z = [z₁, ..., zₙ] 定义步骤级信息密度 IDᵢ，其中每个推理步骤 zᵢ 由 Mᵢ 个 token 组成，即 zᵢ = [x₁, ..., x_{Mᵢ}]。我们使用 \n\n 将给定的推理轨迹划分为多个推理步骤，遵循 Lightman 等人 (2023 (https://arxiv.org/html/2510.06953#bib.bib26)) 的方法。²²虽然我们采用基于换行的分割，但我们在附录A中展示了我们的发现对于替代的逐步分割策略是鲁棒的。设 pₜ 为 token 位置 t 处的词汇表 V 上的预测分布。然后，为了表征 IDᵢ，我们考虑每个步骤中 token 的熵：Hₜ = -∑ pₜ(v) log pₜ(v)，以及使用熵的步骤级信息密度：IDᵢ = (1/Mᵢ) ∑_{t=1}^{Mᵢ} Hₜ。  
（参见图注）图2：AIME2025 上 LLM 推理轨迹的平均 IDᵢ 分数。正确的轨迹呈现下降趋势且平滑衰减，而错误的轨迹则显示出噪声熵且存在未解决的峰值。  
#### 使用熵作为代理的理由。我们使用熵作为信息密度的代理，因为它同时反映了模型置信度和推理中的变异性；低熵表示自信的预测，而较高的熵意味着在多个可能的延续之间存在不确定性（Shannon, 1948 (https://arxiv.org/html/2510.06953#bib.bib29)；Kuhn 和 Johnson, 2013 (https://arxiv.org/html/2510.06953#bib.bib46)）。此外，从信息论的角度来看，熵量化了编码预测分布所需的预期比特数，其中较高值对应更丰富的信息内容（Cover 和 Thomas, 2006 (https://arxiv.org/html/2510.06953#bib.bib45)）。因此，跨 token 聚合熵提供了推理困难的紧凑且可解释的信号。此外，我们的实验（见附录C.1 (https://arxiv.org/html/2510.06953#A3.SS1)）表明，与其他候选方法（如对数概率和基于置信度的方法）相比，使用熵作为信息密度更有效。图2 (https://arxiv.org/html/2510.06953#S2.F2) 比较了 AIME2025 中正确和错误解决方案的平均推理轨迹中 IDᵢ 的演变。这里，正确的轨迹呈现出清晰的全局趋势：熵以探索性波动开始，在轨迹中间稳定，然后稳步衰减至接近零，反映了结构化的解决过程并收敛于最终答案。相反，错误的轨迹则表现出平坦、嘈杂的熵轨迹，偶尔出现尖锐的峰值。  
#### 寻找结构视角的动机。当我们检查单个推理轨迹级别的熵峰值时，我们发现仅通过文本的语义内容来解读它们是困难的（见附录C.2 (https://arxiv.org/html/2510.06953#A3.SS2)）。具体来说，（1）正确和错误轨迹中的熵水平可能有很大差异，（2）转折词（例如，But, Alternatively, Wait）在正确轨迹中出现得更多，这与我们的直觉相反，以及（3）错误的推理轨迹可能简洁且步骤数更少。更重要的是，这种方法无法为跨各种基准的解释提供一致的基础，这凸显了对统一结构视角的需求。基于这一动机，我们引入了一个用于测量推理轨迹中信息密度均匀性的框架。  

### 2.3 测量 LLM CoT 中信息密度的全局和局部均匀性  
为了量化推理轨迹中信息密度的均匀性，我们首先区分先前心理语言学工作中讨论过的两种互补的均匀性概念（Meister 等人，2021 (https://arxiv.org/html/2510.06953#bib.bib9)；Collins, 2014 (https://arxiv.org/html/2510.06953#bib.bib27)）。**全局均匀性** 描述信息是否在整个轨迹中均匀分布，对应于长期范围内相对稳定的愉悦度水平。相比之下，**局部均匀性** 捕捉信息在相邻步骤之间是否平滑变化，反映的是渐进的连贯过渡而非突然跳跃。这两种概念以不同方式捕捉均匀性，因此在推理轨迹中可能显著不同：一个轨迹可能看起来全局均匀，但包含尖锐的局部中断，或者相反，表现出平滑的局部过渡，但信息跨步骤不均匀地集中。受此区别启发，我们引入两个基于 UID 的互补度量，分别操作化 LLM 推理轨迹中的全局和局部均匀性：（1）*全局方差* 和（2）*局部逐步峰值和下降*。  

#### 通过方差衡量全局均匀性。全局均匀性通过整个推理轨迹中步骤级信息密度的方差来衡量，捕捉信息是均匀分布还是集中在少数步骤中。形式上，对于推理轨迹 z = [z₁, ..., zₙ]，定义非负信息密度向量 u = [ID₁, ..., IDₙ]。经过最小-最大归一化后，其中 IDᵢ′ = (IDᵢ - m) / (M - m)，m = min_{1≤i≤N} IDᵢ，M = max_{1≤i≤N} IDᵢ，我们得到归一化向量 ũ = [ID₁′, ..., IDₙ′]。然后，归一化信息密度值的方差定义为：Var(ũ) = (1/N) ∑ (IDᵢ′ - μ)²，（1）其中 μ = (1/N) ∑ IDᵢ′。高方差表示全局非均匀性，即信息跨步骤不均匀地集中，而较低方差对应于全局均匀的轨迹。  

#### 通过逐步平滑度衡量局部均匀性。局部均匀性捕捉信息密度在相邻推理步骤之间如何平滑演变，衡量不确定性是逐渐解决还是通过突然过渡解决。给定 ũ，我们定义逐步变化 Δᵢ = IDᵢ′ - ID_{i-1}′，其中 i = 2, ..., N，并计算变化序列的均值和标准差为 μ_Δ = (1/(N-1)) ∑ Δᵢ 和 σ_Δ = √((1/(N-1)) ∑ (Δᵢ - μ_Δ)²)。为了识别显著的局部中断，我们定义阈值 T⁺ = μ_Δ + τ σ_Δ 和 T⁻ = μ_Δ - τ σ_Δ，其中 τ ∈ {2, 3}。然后，当 Δᵢ > T⁺ 时识别出*向上尖峰*，当 Δᵢ < T⁻ 时识别出*向下尖峰*。通过计算此类中断的数量，我们得到局部不连续性度量。这些度量共同提供了一种全面评估推理轨迹中信息流均匀性的方法，有助于识别模型是否遵循类似 UID 的模式。