思维链何时有帮助、何时有害：LLM推理中串行深度瓶颈的实证研究

# 思维链何时有帮助、何时有害：LLM 推理中串行深度瓶颈的实证研究
来源：https://arxiv.org/html/2608.09942
Tughanbulut Kurtulushtkurtul1@stu\.vistula\.edu\.pl 波兰华沙维斯图拉大学计算机工程学院 ORCID：0009\-0009\-4861\-7126

###### 摘要

人们普遍认为，思维链（chain\-of\-thought，CoT）提示能普遍提升 LLM 推理能力。我们通过 HdpH\_\{\\\!dp\}带宽界（Chen et al.，2024 (https://arxiv.org/html/2608.09942#bib.bib1)）的概念框架来检验这一假设。虽然该形式界仅适用于渐近情形——即在极为庞大的提示长度下——但它揭示了一个基本架构瓶颈：深度超过 transformer 单次前向传播能力的串行计算必须被外部化，而这正是 CoT 所做的事情。我们的核心实证发现是一个基准内部的串行深度梯度：单次前向（无 CoT）准确率随各题项的串行深度单调下降，而 CoT 则近似与深度无关。我们在三个指令微调模型（Qwen\-2\.5\-7B/32B、Llama\-3\.1\-8B）和五个标准 NLP 基准上，于实际上下文长度下测量了 CoT 效应。受该框架启发的深度类别假设在其他方面得到支持。在深度较高的 P\-完全任务（GSM8K、MATH）上，CoT 在三个模型上提供了\+54\+54到\+68\+68个百分点的大幅恢复差距。相反，在浅层 TC0 任务（MMLU、ARC\-Challenge）上，强制 CoT 推理结构上多余：它在全部六个单元格上产生约零收益（Δ∈\[0\.0,\+4\.6\]\\Delta\\in\[0\.0,\+4\.6\]个百分点，无 Bonferroni 显著的负效应）；但这些高 TC0 基线（ARC 上高达 95%）可能反映的是预训练污染而非真正的浅层计算，因此这一零结果并非干净的架构检验。中间类别L\\mathbf\{L\}（HumanEval）中的任务表现出严格的模型规模依赖转变：32B 模型为\+23\.2\+23\.2个百分点，8B 模型为\+9\.1\+9\.1个百分点，7B 模型为−28\.7\-28\.7个百分点。跨基准的深度–恢复汇总相关性为 Spearman ρ=0\.661\\rho=0\.661（p=0\.007p=0\.007，n=15n=15），15 个基准级 McNemar 检验中有 9 个在 Bonferroni 校正后显著。我们的发现已在 OSF 上预注册，表明思维链并非通用的推理增强器，而是充当带宽绕过机制——帮助那些超出单次前向能力的串行计算，同时对已经适合的任务显得多余。

## 1 引言

LLM 理论中的一个核心问题是：transformer 能在单次前向传播内解决*哪些*计算问题。Chen et al\.（2024 (https://arxiv.org/html/2608.09942#bib.bib1)）通过*多方自回归通信模型*将其形式化。他们的主要结果（定理 1\.1）是首个针对多层仅解码器 transformer 的*无条件*下界：一个具有LL层、HH个注意力头、头维度dd、精度pp的 transformer，当Hdp=H×d×p≤n2−4LH\_\{\\\!dp\}=H\\times d\\times p\\leq n^\{2^\{\-4L\}\}时（其中n为提示长度），无法求解LL\-阶串行函数复合。等价地，HdpH\_\{\\\!dp\}是控制单次前向传播能执行多少串行计算的关键带宽参数。作为直接推论，该论文提供了*思维链的可证明优势*：一旦中间步骤被外部化到输出流中，单次前向传播指数级困难的任务会变得指数级容易。图 1 (https://arxiv.org/html/2608.09942#S2.F1)（第 2 节）示意性地展示了这一对比。

尽管理论优雅，HdpH\_\{\\\!dp\}界描述的是一个渐近区间。对其条件求逆，对于给定模型，失败保证非平凡的最小提示长度为n⋆=Hdp24Ln^\{\\star\}=H\_\{\\\!dp\}^\{\\,2^\{4L\}\}，对于本文研究的模型，其范围从n⋆≈101034\.4n^\{\\star\}\\approx 10^\{10^\{34\.4\}\}（Qwen\-7B）到n⋆≈101077\.8n^\{\\star\}\\approx 10^\{10^\{77\.8\}\}（Qwen\-32B）——远超任何物理上可实现的序列长度。因此，这一架构瓶颈是否对常用于比较已部署 LLM 的基准有任何影响，仍是未知数；这些基准的提示长度只有几百到几千个 token。

本文正是要检验这一间隙。我们 (1) 将五个广泛使用的 NLP 基准映射到 Chen et al\.（2024 (https://arxiv.org/html/2608.09942#bib.bib1)）的 CC 原语上，(2) 受 HdpH\_\{\\\!dp\}界启发，为每个基准推导出定性的深度类别假设，以及 (3) 检验两种条件——直接作答（无 CoT）与思维链（CoT）——是否产生串行深度解释所预期的准确率模式。

预注册假设包含两部分。积极方面：深度较高（P\-完全）的基准应表现出较大的 CoT 恢复增益，因为其高串行深度应超出单次前向容量。消极方面：深度较低（TC0）的基准应对 CoT 不敏感甚至受到主动惩罚，因为额外的串行 token 只会增加噪声，而不会解锁模型由于带宽不足而无法执行的计算。我们发现，积极的假设在全部三个模型和两个数学基准上都得到支持。消极的假设在正确提取答案后（见附录 B (https://arxiv.org/html/2608.09942#A2)）在 MMLU 或 ARC 上并不成立，因为 CoT 在全部六个单元格上近似中性（Δ∈\[0\.0,\+4\.6\]\\Delta\\in\[0\.0,\+4\.6\]个百分点）。唯一在正确提取后仍然存活的*负*单元格是 HumanEval/Qwen\-7B（−28\.7\-28\.7个百分点），而这属于类别L\\mathbf\{L\}基准，而非 TC0 基准。这些发现与 Sprague et al\.（2025 (https://arxiv.org/html/2608.09942#bib.bib17)）的大规模元分析一致；后者显示，在 100\+ 篇论文和 20 个数据集上，CoT 主要对数学和符号推理有帮助，对非符号任务几乎没有好处。

## 2 背景

### 2\.1 HdpH\_\{\\\!dp\}界

图 1：Chen, Peng & Wu (2024) 定理的示意图，作为概念动机。顶部：在单次前向传播机制中，深度为LL的任务受到 Hdp=H×d×pH\_\{dp\}=H\\times d\\times p 比特瓶颈的限制，且当 Hdp≤n2−4LH\_\{dp\}\\leq n^\{2^\{\-4L\}\} 时定理保证失败。底部：思维链将每一步外部化到输出流中，使每一层获得新的 HdpH\_\{dp\} 通道，从而使深度为LL的任务指数级变易。该界是渐近的，仅在极大n处生效，远超我们测试的上下文长度；图中阐释的是理论机制，而非关于经验行为的断言。

设一个仅解码器 transformer 具有LL层、每层HH个注意力头、头维度dd、数值精度pp位（FP16 为 16）。*带宽参数*为：

Hdp=H×d×p\.H\_\{\\\!dp\}\\;=\\;H\\times d\\times p\.

Chen et al\.（2024 (https://arxiv.org/html/2608.09942#bib.bib1)）无条件地证明，当Hdp≤n2−4LH\_\{\\\!dp\}\\leq n^\{2^\{\-4L\}\}时，具有LL层的仅解码器 transformer 无法求解LL\-阶串行函数复合。关键在于，这是一个渐近界。对该条件求逆，对于带宽为HdpH\_\{\\\!dp\}的模型，保证非平凡的最小提示长度为n⋆=Hdp24Ln^\{\\star\}=H\_\{\\\!dp\}^\{\\,2^\{4L\}\}。111将阈值设为模型带宽，即n2−4L=Hdpn^\{2^\{\-4L\}\}=H\_\{\\\!dp\}，求解得到n⋆=Hdp24Ln^\{\\star\}=H\_\{\\\!dp\}^\{\\,2^\{4L\}\}。对于所测试的模型，其范围从n⋆≈101034\.4n^\{\\star\}\\approx 10^\{10^\{34\.4\}\}（Qwen\-7B，L=28L\{=\}28）到n⋆≈101077\.8n^\{\\star\}\\approx 10^\{10^\{77\.8\}\}（Qwen\-32B，L=64L\{=\}64）——而我们的基准只有n≈102n\\approx 10^\{2\}–10310^\{3\}个 token。因此，形式界在任何物理可实现的上下文长度上都不生效，我们将其视为概念动机而非字面预测器。尽管如此，它确实指出了一个真实的架构属性：仅解码器 transformer 存在串行深度瓶颈，而需要超过单次前向传播带宽所允许的串行深度的任务必须将中间计算外部化——这正是思维链所做的。我们假设，即使在实用序列长度上，这一瓶颈也支配着经验推理失败，从而构成我们在 P\-完全基准上测得的 CoT 恢复增益的机制动机。

这一架构约束早已被 Nye et al\.（2022 (https://arxiv.org/html/2608.09942#bib.bib14)）从经验上预见；他们指出，模型“被要求在单次前向传播中执行这些任务，[因此]无法调整计算量”，并展示了将中间步骤经由显式草稿本（scratchpad）路由，可以在直接预测失败的多步算术上恢复准确率。HdpH\_\{\\\!dp\}界为草稿本为何恰恰在需要串行深度的任务上有帮助提供了概念层面的解释。

### 2\.2 CC 原语与基准映射

我们将每个基准粗略地启发式映射到 Chen et al\.（2024 (https://arxiv.org/html/2608.09942#bib.bib1)）的 CC\-原语分类体系中，仅将其作为推导预注册深度类别假设的工具：

表 1：基准到原语的映射（*启发式*）。“启发式原语”列是用于推导预注册假设的初始单一原语标签。LLM 作为裁判的评分者间一致性检查（§4 (https://arxiv.org/html/2608.09942#S4)）得到汇总 κ=0\.293\\kappa=0\.293，表明真实基准是多种原语的混合体，而非任何单一原语的实例。对于所检验的假设（H1–H4），起支撑作用的列是*深度类别*，而非具体原语标签；深度类别假设在同一类别内的原语重新标记下是稳健的。

| 基准 | 启发式原语 | 深度类别 |
|------|-----------|---------|
| GSM8K | kk\-阶串行复合 | P\-完全 |
| MATH | kk\-阶串行复合 | P\-完全 |
| MMLU | 集合不相交性 | TC0 |
| ARC\-Challenge | 稀疏奇偶性 | TC0 |
| HumanEval | 指针追踪 / kk\-复合 | L\mathbf\{L\} |

kk\-阶串行复合（GSM8K、MATH）要求将kk个算术运算串联起来，且每个运算依赖前一个——这是一项 P\-完全任务。Cobbe et al\.（2021 (https://arxiv.org/html/2608.09942#bib.bib4)）将 GSM8K 问题定义为需要 2–8 个串行步骤，直接量化了kk的范围。关键的是，他们还提供了对串行深度瓶颈的经验确认：微调一个 6B 模型，使其*不*经中间步骤直接输出最终答案，准确率会从 20\.6% 下降到 5\.2%——仅因移除中间计算步骤就导致 75% 的相对崩塌。这正是我们所研究的无 CoT 与 CoT 的对比，而他们的结果直接预示了我们的发现：P\-完全基准在单次前向生成下会急剧退化。集合不相交性与稀疏奇偶性（MMLU、ARC）只需要恒定深度电路，属于 TC0；它们从串行草稿本使用中获益甚少。MMLU（Hendrycks et al\.，2021a (https://arxiv.org/html/2608.09942#bib.bib8)）涵盖从初等数学到职业法律的 57 个学科，仅凭预训练知识进行零样本或少样本评估。我们暂时将 MMLU 视为以集合不相交性为主（TC0）：大多数问题要求选择其内容与模型中存储的事实有重叠的答案选项，选项之间不存在串行复合。这是一个粗略的聚合赋值；逐题情况见 §4 (https://arxiv.org/html/2608.09942#S4)。这一分类在 MMLU 论文内部也有支持：Hendrycks 等人发现，GPT\-3 在计算密集的 STEM 学科（需要串行算术——一种 P\-完全操作）上表现最差，在语言知识学科（事实检索——TC0）上表现最好。因此，MMLU 的聚合信号由 TC0 学科的大多数主导，意味着 CoT 没有收益。这一预期由 Sprague et al\.（2025 (https://arxiv.org/html/2608.09942#bib.bib17)）独立确认；他们显示，MMLU 全部 CoT 性能增益的 95% 可归因于文本或模型响应中包含等号的问题——即数学相关的少数部分——而 MMLU 的非数学问题无法从 CoT 获得可靠收益。Clark et al\.（2018 (https://arxiv.org/html/2608.09942#bib.bib3)）构建 ARC Challenge 分区时，使其*仅*包含基于检索的求解器和基于词共现的求解器都答错的问题；2018 年，没有任何基线——包括在 SQuAD 和 SNLI 上训练的神经模型——能在 Challenge Set 上显著超越随机基线（约25%\\approx 25\\%）。我们的模型在同一分区上的无 CoT 准确率达到 82–95%。我们并不将这一差距解释为支持任何特定原因的证据：现代指令微调模型确实远比 2018 年的基线更强，而考虑到该基准的普及度，预训练接触 ARC 也很有可能。我们将在 §5 (https://arxiv.org/html/2608.09942#S5) 回到这一点。HumanEval（Chen et al\.，2021 (https://arxiv.org/html/2608.09942#bib.bib2)）评估从文档字符串合成 Python 函数的能力。我们暂时将主导原语标为*指针追踪*——模型必须按顺序解析一串变量绑定和函数调用。逐题判别器（§4 (https://arxiv.org/html/2608.09942#S4)）更常将 HumanEval 题目标记为kk\-复合；指针追踪和kk\-复合都涉及串行依赖，且指针追踪可在对数空间内计算（类别L\\mathbf\{L\}），使该基准介于 TC0 和 P\-完全之间。我们假设这一类别上存在中等程度、随模型规模变化的 CoT 收益。这一分类也得到了 Chen et al\.（2021 (https://arxiv.org/html/2608.09942#bib.bib2)）本人的佐证：他们报告称，Codex 在合成链式任务上的准确率每增加一个操作就下降 2–3 倍，而且随着链长增长，模型无法正确地将操作绑定到变量上——这正是串行计算上串行深度瓶颈的特征。

##### 起支撑作用的是什么。

在本文其余部分，表 1 (https://arxiv.org/html/2608.09942#S2.T1)中起支撑作用的列是*深度类别*（P\-完全、TC0、类别L\\mathbf\{L\}），而非具体原语标签。原语标签是启发式的、逐题有噪声的，并且——正如 §4 (https://arxiv.org/html/2608.09942#S4) 中的 LLM 作为裁判检查所示（κ=0\.293\\kappa=0\.293）——在不同评分者之间并不稳定。深度类别是粗粒度的，在同一类别内的原语重新标记下依然成立，而且假设 H1–H4 正是由此推导出来的。

## 3 实验设置

### 3\.1 模型

我们评估了三个指令微调的仅解码器 transformer 模型，其 HdpH\_\{\\\!dp\}带宽跨度达1\.43×1\.43\\times倍（表 2 (https://arxiv.org/html/2608.09942#S3.T2)）。

表 2：模型架构与 HdpH\_\{\\\!dp\}值（FP16 时 p=16p=16）。HH= 查询头；Llama\-3\.1\-8B 使用 GQA 和 8 个 KV 头，但每个 token 的输出带宽由查询头 × 头维度决定。所有模型均为指令微调变体，不包含内部推理阶段；我们测试的单次前向条件直接作用于其单次前向传播计算。

### 3\.2 条件

无 CoT：一个直接作答的系统提示，并带有较短的输出上限：GSM8K、MMLU 和 ARC 为 32 个 token；MATH 为 64 个 token（以允许\\boxed\{\}格式）；HumanEval 为 256 个 token（生成可用函数体的最低要求）。所有上限均比 CoT 预算小≥8×\\geq 8\\times。对于 GSM8K、MATH、MMLU 和 ARC，短上限阻止模型将多步推理外部化到输出流中，直接操作化了单次前向传播条件；256 个 token 的 HumanEval 上限则是必然更宽松的操作化（函数体无法用几个 token 写完），这一注意事项我们将在 §5 (https://arxiv.org/html/2608.09942#S5) 中再讨论。

CoT：标准思维链提示（Wei e