大型语言模型中的推理源于受限推理流形

# 大语言模型中推理能力源于受限的推断流形

来源：https://arxiv.org/html/2605.08142
Yanbiao Ma1 Fei Luo1 Linfeng Zhang2,3 Chuangxin Zhao2 Mingxuan Wang1 Yinan Wu2 Zhe Qian1 Yang Lu4 Long Chen3 Zhao Cao1 Xiaoshuai Hao\advisor‡3 Ji\-Rong Wen\advisor1 Jungong Han\advisor2
1中国人民大学 2清华大学 3小米汽车 4厦门大学
\advisor通讯作者 ‡项目负责人
ybma1998@ruc\.edu\.cn, haoxiaoshuai@xiaomi\.com, jrwen@ruc\.edu\.cn, jghan@tsinghua\.edu\.cn

###### 摘要

大语言模型中的推理能力主要通过带有标签的基准进行评估，这往往将任务表现与内部推断的质量混为一谈。在此，我们通过检查推断过程中内部表示的演变，将推理研究为一种内在的动力学过程。我们发现，推断时的动力学一致地自组织成嵌入在高维表示空间中的低维流形。我们发现，尽管这种几何压缩普遍存在，但对于稳定或可靠的推理来说并不充分。相反，有效的推理动力学出现在一个具有三个特征的受限结构机制中：足够的表示表达能力、流形的自发压缩以及在压缩子空间内保持非退化信息体积。处于该机制之外的模型表现出特征性的病态推断动力学。基于这些见解，我们引入了一种统一的、无标签的诊断方法，该方法仅从内部动力学计算得出。这些发现表明，大语言模型中的推理从根本上受几何和信息约束的支配，为以基准为中心的评估提供了一个互补的框架。

参见标题图1：推断时的推理动力学自组织成低维流形。在通用认知刺激下，代表性大语言模型推断时表示轨迹的固有维度（ID）随层级的演变。尽管嵌入空间的 ambient 维度很高，但随着网络深度的增加，ID迅速下降，并稳定在远小于嵌入维度的数值上，这表明推断动力学被限制在一个紧凑的流形中。

大语言模型在数学\[wei2022chain,kojima2022large\]、科学以及常识领域\[tang2026multimodal,hurst2024gpt,xiao2025densing\]的推理方面表现出显著的改进。然而，推理能力仍然主要通过带有标签的基准和任务准确率进行评估\[srivastava2023beyond,liang2022holistic\]，这隐含地将推理视为不透明的输入-输出映射\[bubeck2023paper,mondorf2024beyond\]。此类评估将内部推断质量与数据集对齐及提示策略混淆在一起\[cao2025toward\]，对于推理如何在内部实现，以及为什么具有相似准确率的模型在鲁棒性和泛化能力上存在巨大差异，提供的见解有限。

为了解决这一局限性，我们从内部视角\[elhage2022toy,geva2023dissecting,ciceri2024inversion\]研究推理，将其特征化为在推断期间在表示空间中展开的动力学过程\[dreyer2025mechanistic\]。我们并不专注于正确性，而是分析当模型受到通用认知刺激时，其内部表示如何演变，这独立于特定任务的监督。

跨越不同的模型家族\[bai2025qwen25vltechnicalreport,yang2025qwen3,gemmateam2025gemma3technicalreport,guo2025deepseek\]、规模以及提示\[wang2024mmlu\]，我们观察到一个显著且一致的规律性：尽管处于高度表达的嵌入空间中，推断时的表示会自发地坍缩到极低的维度轨迹上。这些轨迹表明，推理动力学有效地被限制在嵌入环境表示空间中的低维流形内。这种维度坍缩是由刺激引起的，在多次运行中可重现，并且是在推断过程中涌现出来的，而非由架构约束强加的。然而，仅靠低维性并不能保证稳健的推理。具有类似压缩轨迹的模型可能表现出截然不同的推断行为，而过度的压缩可能导致脆弱或信息贫乏的动力学。

这些观察表明，稳健的推理占据了一个狭窄的允许内部结构机制。健康的推理需要足够的表示表达能力、推断动力学的自发低维组织，以及压缩流形内非退化的信息流动。违反这些约束中的任何一项都会导致特征性的病态机制，包括扩散探索、表示拥挤或退化坍缩。

在本工作中，我们揭示了内在约束，并引入了一种统一的、无标签的诊断方法，该方法仅从推断时的表示计算得出。在不依赖任务监督的情况下，该指标暴露出内部轨迹是否处于适合稳定推理的几何和信息允许机制中。应用于当代大语言模型后，它一致地区分了结构连贯的推断与病态动力学，并预测了下游的鲁棒性，尽管它完全与任务无关。总之，我们的结果重新定义了推理评估，从内部几何和信息流动的角度，而不仅仅是任务准确率。

参见标题图2：低维组织在不同刺激下具有鲁棒性，并与全局表示能力解耦。A，在不同通用认知刺激下，刺激引起的固有维度（ID；最近邻局部估计器，TLE）的分布，表明推断时的轨迹在不同提示和领域中都一致地集中在低维流形上。B，相同模型集的静态词汇嵌入的固有维度，其保持在接近环境嵌入维度的水平，这表明表示基底保留了高表达能力，且维度坍缩是推断动力学的刺激依赖属性，而非全局瓶颈。

## 结果

### 推断时的推理动力学自组织成低维流形

为了将推理特征化为一个内部过程，而非简单的输入-输出映射，我们分析了当代大语言模型\[bai2025qwen25vltechnicalreport,yang2025qwen3,gemmateam2025gemma3technicalreport,guo2025deepseek\]在通用认知刺激\[wang2024mmlu\]下诱发的推断表示轨迹。对于每个刺激，在每一层和每一个推断步骤，我们记录当前序列中最后一个令牌的隐藏状态。每一层内这种状态的序列被视为嵌入在模型高维表示空间中的离散轨迹。

在所有评估的模型中，我们观察到一个显著且高度可重现的现象：尽管嵌入在具有数千维的表示空间中，推理轨迹在推断过程中始终且自发地坍缩到低维流形上。如图1 (https://arxiv.org/html/2605.08142#S0.F1)所示，随着推断通过网络层进行，刺激引起的表示的固有维度\[ansuini2019intrinsic,ma2024unveiling\]迅速下降，并稳定在远低于环境嵌入维度的数值上。在许多情况下，固有维度收敛到少于十个自由度。我们进一步观察到模型间的差异：较弱或较早的模型往往表现出较慢且不太稳定的维度减少，而新一代模型则更一致地收敛到紧凑的流形。

这种维度坍缩在不同的模型家族和参数规模下具有鲁棒性，并不局限于特定的提示或任务类型。如图2 (https://arxiv.org/html/2605.08142#S0.F2)A所示，低维组织在不同认知刺激下（包括常识推理、语言推理和概念推断）一致地涌现。重要的是，这种结构是在推断过程中动态产生的，而非由架构瓶颈或显式正则化强加，这表明低维组织是现代语言模型中推理动力学的一种自发且通用的属性。紧凑推理流形的涌现与底层表示空间本身的表达能力形成鲜明对比。

为了区分由刺激引起的组织与全局表示限制，我们使用静态词汇嵌入估计通用表示的固有维度。如图2 (https://arxiv.org/html/2605.08142#S0.F2)B所示，在所有模型中，这些嵌入占据的空间其固有维度保持在接近环境维度的水平，这表明模型保留了用于表示多样化世界概念的高容量基底。接近全维度的世界表示与急剧压缩的推理轨迹共存，表明推理过程中的维度坍缩并不反映表示的退化，而是推断动力学的刺激依赖特异性。

总之，这些结果确立了大语言模型的一个基本经验特性：推理是实现在高表达能力表示空间内的低维动力学过程。推断时的动力学既不是对环境空间的扩散探索，也不是孤立表示之间的静态映射。相反，它们自组织成紧凑的流形，约束推理过程中内部状态的演变。同时，仅靠维度坍缩不足以区分稳健的推理与脆弱或退化的行为。正如我们在下一节所示，具有相似低维推理轨迹的模型可能表现出定性不同的推断动力学，这表明需要额外的结构约束来表征健康的推理过程。

参见标题图3：仅靠几何压缩无法解释稳健的推理。A，推断时表示轨迹的刺激引起固有维度（ID）与下游推理性能之间的关系，跨越不同家族和规模的模型，显示更强的压缩（更低的ID）并不始终对应更好的性能。B，几何与信息的联合演变：随着推断通过层进行，轨迹ID下降，而信息承载能力（信息体积V；见方法）增加，表明有效推理需要低维组织与非退化信息流共同作用。
参见标题图4：推断动力学的允许机制共同约束几何、信息和性能。模型被定位在一个三维空间中，该空间由刺激引起的固有维度（ID）、推断轨迹的信息承载能力（信息体积V；方法）和下游推理性能定义。高性能模型集中在由低ID和高V表征的狭窄区域内，而处于该机制之外的模型表现出退化或不稳定的性能，这与所提出的健康推理的结构约束一致。

### 仅靠低维结构不足以确保稳健的推理

推断时轨迹自发坍缩到低维流形自然引出了一个简单的解释：即更强的推理对应更强的压缩，以及逐渐降低的固有维度意味着更健康的推断动力学。然而，从理论角度来看，仅靠降维不足以保证有意义的计算。在极端情况下，无约束的压缩预计会将推理轨迹推向刚性低维曲线或近固定点，消除表示中间计算所需的自由度。

在经验上，我们发现固有维度本身并不能可靠地预测推理性能。跨越多个模型家族和参数规模，那些刺激引起的轨迹表现出较低固有维度的模型并不总是优于那些在稍高维度下运行的模型。在图3 (https://arxiv.org/html/2605.08142#Sx1.F3)A所示的代表性示例中，更强烈压缩的模型取得的推理性能与压缩较弱的模型相当，甚至更差。这些观察表明，虽然低维性是结构化推理的必要条件，但不足以表征推理质量。

这一局限性促使我们引入一个额外的量，以捕获推理流形内有多少信息是活跃存在的。为此，我们检查了几何压缩和信息内容在网络深度上的联合演变。我们观察到，随着推断进入更深的层，推理轨迹的固有维度系统性地下降。相反，推理流形的信息内容（由方法中定义的信息体积量化）表现出截然不同的趋势：在所有评估的模型中，它随深度增加而增加（图3 (https://arxiv.org/html/2605.08142#Sx1.F3)B）。

这一结果表明，推理过程中的维度压缩并不意味着信息丢失。相反，它反映了一种聚焦机制：更深的层抑制无关噪声（降低维度），同时放大与任务相关的概念变化（增加信息体积）。早期层通常表现出高维但信息稀疏的动力学，而更深的层则在高度受限的流形上运行，这些流形仍能维持大得多的信息内容。这些发现表明，有效的推理依赖于在紧凑的几何结构内保持高信息内容，而不是不分青红皂白的压缩。

至关重要的是，仅靠固有维度无法区分这两种机制。两个模型可能表现出相似程度的几何压缩，但在推理轨迹中保留和组织多少信息方面存在显著差异。观察到的信息内容随深度增加提供了直接的实证证据，表明健康的推理动力学并没有在几何约束和信息保存之间进行权衡，而是以协调的方式将两者整合在一起。

图4 (https://arxiv.org/html/2605.08142#Sx1.F4)通过联合绘制多个模型家族的固有维度、信息承载能力和推理性能来可视化这种关系。在这个三维景观中，每个模型根据其刺激引起的固有维度、推理流形的信息内容以及下游推理性能进行定位。跨越不同的架构和规模，高性能模型并不沿单轴分布，而是集中在以相对较低的维度和较高的信息内容为特征的受限区域内。位于任一极端（对应于过度压缩或信息不足机制）的模型往往表现出退化或不稳定的性能。

综上所述，这些结果确立了仅靠固有维度不足以表征...