推理的几何特征：任务难度的谱视角

# 推理的几何特征：任务难度的谱视角 来源：https://arxiv.org/html/2607.01571 $\*$$\*$脚注：同等贡献 Mahsa Bazzaz 东北大学 Adel Javanmard 南加州大学、谷歌研究 Vahab Mirrokni 谷歌研究 ###### 摘要 思维链（CoT）推理使得大型语言模型（LLM）能够通过生成中间推理步骤来解决复杂问题。尽管大量研究关注这些推理链的长度和内容，但其内部几何结构却鲜为人知。我们研究了 Transformer 模型隐藏状态空间中 CoT 轨迹的*几何*结构，将每个推理链形式化为 $\mathbb{R}^d$ 中的一条离散曲线，并通过谱、位置和运动学几何泛函对其进行表征。我们引入了有效维度 $d_\rho$ 作为轨迹复杂性的度量，并从理论上证明，具有更平坦特征值谱的轨迹对应更困难的任务，因为它们探索了更多的隐藏维度。最后，我们探讨了轨迹的运动学特征（平均位置、位置离散度、初始和当前隐藏状态、平均速度、平均速率和速率离散度）如何在生成完成之前预测解决方案的正确性，并可能为未来的早期停止策略提供参考。在来自 MATH500 数据集的数学推理问题上，$d_\rho$ 在区分简单与困难问题时达到了 $0.93$ AUC，而运动学特征仅从生成的前 $20\%$ 令牌即可预测正确性。这些正确性特征可跨不同难度的问题迁移，表明模型内部推理轨迹的*形状*是洞察任务难度和解决方案质量的原则性窗口。

## 1 引言

大型语言模型（LLM）通过思维链（CoT）提示展现了卓越的推理能力，模型在生成最终答案之前会生成中间推理步骤（Wei 等人，2022 (https://arxiv.org/html/2607.01571#bib.bib36)）。最近的系统，如 OpenAI 的 o1 和 DeepSeek R1，已经表明扩展测试时计算（允许模型“思考更久”）可以显著提高复杂推理任务的性能（OpenAI, 2024 (https://arxiv.org/html/2607.01571#bib.bib31); Guo 等人, 2025 (https://arxiv.org/html/2607.01571#bib.bib44)）。同时，人们观察到仅仅增加测试时计算可能会损害性能，这种现象被称为过度思考：推理长度并不直接转化为正确答案（Su 等人, 2025 (https://arxiv.org/html/2607.01571#bib.bib38)）。通常，人们期望模型在面对更困难的任务时进行更复杂的推理，而对更简单的任务则推理较少。最近的理论工作进一步表明，对于在线性回归的上下文权重预测任务上训练的 Transformer，当解决下游任务所需的技能在训练数据中表示不足时，增加测试时计算可能会损害性能（Javanmard 等人, 2025 (https://arxiv.org/html/2607.01571#bib.bib26)）。

尽管取得了这些理论和实证进展，但基本问题仍然存在：什么使得一个任务对通用 LLM 来说是困难的？任务难度如何影响模型的内部表示，我们能否仅从这些表示中预测难度？我们能否在生成完成之前及早识别有希望的推理路径？这些问题具有深刻的实际意义：当为一个问题生成 $n$ 个候选解决方案（best-of-$n$ 采样）时，我们能否根据早期轨迹的几何形状来优先选择哪些路径？

在本文中，我们通过研究 Transformer 模型隐藏状态空间中思维链轨迹的几何结构来解决这些问题。我们的关键见解是：当 LLM 在推理过程中生成令牌时，隐藏状态序列在 $\mathbb{R}^d$ 中勾勒出一条离散曲线，而这条曲线的*几何属性*编码了任务难度和解决方案质量的信息。

请参见图注

图 1：我们框架的概览。一个问题被输入 LLM，其思维链生成在隐藏状态空间中勾勒出一条离散曲线 $\gamma = (h_1, \ldots, h_n) \in \mathbb{R}^d$。（A）每个生成的令牌产生一个隐藏状态，形成我们分析其几何结构的轨迹。（B）困难问题比简单问题诱导出更高维的轨迹：困难问题的有效维度 $d_\rho$ 均值约为 $\approx 170$，而简单问题约为 $\approx 122$，提供了任务难度的几何度量。（C）推理链是否能得出正确答案，部分可从早期轨迹的几何泛函中检测出来：仅从生成的前 $20\%$ 令牌中提取的运动学特征，能在生成完成之前以高 AUC 预测解决方案的正确性。

我们的贡献如下：

- **CoT 几何的形式化框架** (第 3 节 (https://arxiv.org/html/2607.01571#S3))：我们将 CoT 推理形式化为 $\mathbb{R}^d$ 中的一条离散曲线，并引入提取推理轨迹谱、位置和运动学属性的几何泛函。
- **作为任务复杂度的有效维度** (第 4 节 (https://arxiv.org/html/2607.01571#S4))：我们引入了一个捕捉任务难度的几何函数。更精确地说，我们将推理曲线的有效维度 $d_\rho$ 作为任务难度的原则性度量。我们进一步刻画了哪些曲线能达到最高的有效维度，将其确立为最困难任务的几何代表。
- **难度预测** (第 5.3 节 (https://arxiv.org/html/2607.01571#S5.SS3))：仅使用有效维度特征，我们在预测数学问题是否简单或困难时实现了 AUC $\> 0.93 \> 0.93$。
- **正确性预测** (第 5.2 节 (https://arxiv.org/html/2607.01571#S5.SS2))：轨迹的七个运动学和位置特征，仅从生成的前 $20\%$ 令牌中提取，就能以 AUC $=0.806=0.806$ 预测解决方案的正确性，这对早期退出策略和 best-of-$n$ 排序具有潜在意义。

## 2 相关工作

思维链提示（Wei 等人, 2022 (https://arxiv.org/html/2607.01571#bib.bib36); Kojima 等人, 2022 (https://arxiv.org/html/2607.01571#bib.bib27)）已成为激发 LLM 多步推理的强大技术。最近的工作探索了扩展测试时计算（Snell 等人, 2024 (https://arxiv.org/html/2607.01571#bib.bib34); Welleck 等人, 2024 (https://arxiv.org/html/2607.01571#bib.bib37); Muennighoff 等人, 2025 (https://arxiv.org/html/2607.01571#bib.bib39)），像 OpenAI o1（OpenAI, 2024 (https://arxiv.org/html/2607.01571#bib.bib31)）和 DeepSeek R1（Guo 等人, 2025 (https://arxiv.org/html/2607.01571#bib.bib44)）这样的系统通过扩展推理链展示了强大的性能。另一条互补的研究路线观察到更多的推理并不总是更好：当任务所需的技能在训练中代表性不足时，过度思考会降低性能（Su 等人, 2025 (https://arxiv.org/html/2607.01571#bib.bib38)）。我们的工作从几何角度研究这些现象，关注的不是链的长度，而是它在隐藏状态空间中留下的形状。

Javanmard 等人 (2025 (https://arxiv.org/html/2607.01571#bib.bib26)) 对在线性回归的上下文权重预测任务上训练的 Transformer 的测试时扩展提供了理论分析。他们通过特征协方差矩阵的迹与最小特征值之比来刻画任务难度，表明更困难的任务需要更长的思维链才能达到给定的误差水平，并且训练中任务覆盖不足会导致额外的推理步骤损害性能。我们的工作在两个方面是互补但不同的。首先，我们在通用 LLM 中实证研究任务难度，而不是从易处理的线性模型中推导出来。其次，更根本的是，我们将分析单元从输出链转移到内部隐藏状态轨迹：我们表明任务难度在模型的表示空间中留下了几何特征，由轨迹协方差的有效维度 $d_\rho$ 捕捉，并且仅此量就高度预测问题难度。

Korbak 等人 (2025 (https://arxiv.org/html/2607.01571#bib.bib40)) 认为，思维链推理提供了一个独特的安全机会，因为对于足够困难的任务，Transformer 必须通过 CoT 将推理外部化才能完成它，从而使该推理在原则上是可观察的。他们关注生成文本的内容作为监控信号，并讨论该信号可能退化的条件。我们的工作在不同层面运作：我们不读取链的文本内容，而是读取产生它的隐藏状态的*几何*。这两个视角是互补的，CoT 文本监控和隐藏状态轨迹分析原则上可以结合，但我们的方法是模型内部的，不依赖模型产生可读的自然语言推理。

Sun 等人 (2026 (https://arxiv.org/html/2607.01571#bib.bib41)) 将 LLM 推理作为表示空间中的结构化轨迹进行研究，在显式的步骤边界（“步骤 1:”, “步骤 2:”, ...）提取隐藏状态，并表明这些激活形成线性可分的、特定于步骤的子空间，且随着层深变得更加明显。对于正确性预测，他们使用后期步骤的轨迹特征实现了高 AUC，并探索了推理时的干预措施，如激活导向（Turner 等人, 2023 (https://arxiv.org/html/2607.01571#bib.bib46)），以纠正偏离的轨迹。我们的工作共享轨迹视角，但追求不同的目标。我们不分析步骤边界的激活，而是将完整的令牌级隐藏状态序列视为连续曲线，并通过谱和运动学几何泛函对其进行表征。这使我们能够探究轨迹几何是否编码了任务难度。我们表明，轨迹协方差的有效维度 $d_\rho$（曲线作为一个整体的谱属性）能以高 AUC 预测问题是否简单或困难，并提供了为什么更困难的任务必然诱导出更高维轨迹的理论解释。我们进一步证明，轨迹的运动学特征携带了一个早期的正确性信号，该信号仅从生成的前 $20$ 百分比令牌中即可检测到，这为在不等待生成完成的情况下进行早期停止和 best-of-$n$ 排序开辟了一条实用途径。

最近的工作也提出了理解 LLM 如何推理的几何框架。Zhou 等人 (2025 (https://arxiv.org/html/2607.01571#bib.bib45)) 将推理建模为表示空间中的平滑流，使用轨迹的速度和 Menger 曲率表明逻辑结构，而非表面语义，主导了这些流的方向和幅度。他们的重点是可解释性。我们的工作采取互补方向：我们使用隐藏状态轨迹的几何泛函（特别是谱有效维度和运动学摘要）来预测任务难度和解决方案正确性，将轨迹几何直接与下游性能联系起来。

最后，Prasad 等人 (2026 (https://arxiv.org/html/2607.01571#bib.bib42)) 表明，有效的推理策略降低了学习目标的内在维度，其衡量标准是将模型微调到 GSM8K 上给定准确率阈值所需的最小 LoRA 参数数量。他们固定模型并改变推理策略，发现较低的内在维度与更好的泛化性能强相关。虽然他们的工作和我们的工作都使用维度的概念来表征推理，但这两个度量在概念上是不同的。他们的内在维度是由推理策略诱导的*学习问题*的属性，需要微调实验，并衡量一组推理链的可压缩性。我们的有效维度 $d_\rho$ 是*单次推理轨迹*的属性，它由一次前向传播中产生的隐藏状态的协方差计算得出，无需训练。这使得我们的度量在推理时适用，并能实现每个实例的任务难度和解决方案正确性预测。

## 3 问题形式化

在本节中，我们形式化思维链推理，并开发一个数学框架，通过几何泛函表征其动态。考虑一个具有 $L$ 层和隐藏维度 $d$ 的 Transformer 语言模型。设 $\mathcal{V}$ 表示有限词汇表，并设 $\mathcal{V}^*:=\bigcup_{n=0}^\infty \mathcal{V}^n$ 表示 $\mathcal{V}$ 上所有有限序列的集合（$\mathcal{V}$ 的 Kleene 闭包）。设 $\Delta(\mathcal{V})$ 表示 $\mathcal{V}$ 上概率测度的单纯形。该模型定义了一个从有限令牌序列到下一个令牌概率测度的映射：
$$\mu: \mathcal{V}^* \to \Delta(\mathcal{V}), \quad (x_1,\ldots,x_t) \mapsto \mu(\cdot \mid x_1,\ldots,x_t).$$ (1)
同样地，对于每一层 $\ell \in \{1,\ldots,L\}$，模型还在 $\mathbb{R}^d$ 中产生一个隐藏状态表示，其中 $d$ 是潜在表示的维度，即：
$$f^{(\ell)}: \mathcal{V}^* \to \mathbb{R}^d, \quad (x_1,\ldots,x_t) \mapsto H_t^{(\ell)} \in \mathbb{R}^d.$$ (2)
当层 $\ell$ 固定或上下文清晰时，我们记 $H_t \equiv H_t^{(\ell)}$。给定分布 $\mu(\cdot \mid x_1,\ldots,x_t) \in \Delta(\mathcal{V})$，下一个令牌根据温度参数 $T \ge 0$ 进行选择。具体而言，在温度 $T > 0$ 时，我们从调节后的分布中采样：
$$X_{t+1} \sim \mu_T(\cdot \mid x_1,\ldots,x_t), \quad \text{其中 } \mu_T(x) \propto \mu(x)^{1/T}.$$ (3)
在温度 $T=0$ 时，分布集中在众数上：
$$X_{t+1} = \arg\max_{x \in \mathcal{V}} \mu(x \mid x_1,\ldots,x_t).$$ (4)
这一区别至关重要：在 $T=0$ 时，给定提示，生成的序列是唯一的；在 $T>0$ 时，相同的提示会产生一个序列分布。

### 3.1 CoT 曲线的空间

在 $T=0$ 时，令牌选择是确定性的。给定一个提示，恰好有一个生成的令牌序列，这激励了以下离散曲线空间的定义。

**定义 1.** 固定最大序列长度 $n \in \mathbb{N}$。长度为 $n$ 的离散曲线空间为 $\mathcal{C}_n := (\mathbb{R}^d)^n$。元素 $\gamma \in \mathcal{C}_n$ 是一个元组 $\gamma = (h_1, \ldots, h_n)$，其中 $h_i \in \mathbb{R}^d$。对于 $m \le n$，我们通过重复最后一个元素 $n-m$ 次，有一个自然的嵌入 $\mathcal{C}_m \subseteq \mathcal{C}_n$（实际上，我们不应用这种填充，而是直接处理可变长度的轨迹）。设 $\mathcal{P} \subset \mathcal{V}^*$ 表示输入提示的空间。在 $T=0$ 时，模型定义了一个从提示集到曲线空间的确定性映射。特别地，我们有：
$$H: \mathcal{P} \to \mathcal{C}_n, \quad \mathcal{P} \mapsto (h_1, \ldots, h_m)$$