结构化思维：改进推理与上下文剪枝

# 结构化思维：提升推理能力与上下文剪枝

来源：https://arxiv.org/html/2607.10386

Zain Sarwar  
芝加哥大学  
zsarwar@uchicago\.edu  

Supriyo Chakraborty  
Berkcan Kapusuzoglu  
Chia\-Hsuan Lee  
Anirban Das  
Stephen Rawls  
Kartik Balasubramaniam  
Sambit Sahu  
第一资本  

###### 摘要

大型语言模型（LLM）擅长生成长链思维，但冗长的推理轨迹往往既啰嗦又低效（尤其在内存方面）。本文提出**结构化思维**（Structured Thoughts），一种将推理过程组织成交替的 `<think>` 和 `<summary>` 块的框架：`<think>` 包含探索性草稿工作，而 `<summary>` 包含该步骤的提炼结论。我们通过将推理轨迹分割成 `<think>` 块，并提示 LLM 将每一步总结为对应的 `<summary>`，构建了一个结构化思维数据集。在此重新格式化的数据上对预训练基础模型进行微调后，模型会采用这种结构化推理风格，与标准 SFT 相比，在推理基准测试上性能提升高达 8.08%。明确的推理结构还支持上下文剪枝：在每个 `<think>`/`<summary>` 对之后，可以剪除 `<think>` 块，从而让模型保留结论，而无需在上下文中保留完整的草稿工作。一个概念验证的剪枝实现平均实现了 85% 的内存/上下文节省，同时在数学任务上的性能下降仅为 8.67%。

## 1 引言

标准 LLM 在需要多步骤逻辑或数学推理的任务上常常表现不佳。推理模型通过显式地生成中间步骤（在得出最终答案之前）来扩展 LLM 在此类复杂任务上的能力。通用 LLM 与面向推理的 LLM 之间的这种区别，对于在竞赛级数学、逻辑推理和编程等挑战性领域中取得良好表现已被证明至关重要（OpenAI, 2024 (https://arxiv.org/html/2607.10386#bib.bib29); Comanici et al., 2025 (https://arxiv.org/html/2607.10386#bib.bib30); Guo et al., 2025 (https://arxiv.org/html/2607.10386#bib.bib31); Bercovich et al., 2025 (https://arxiv.org/html/2607.10386#bib.bib4)）。

将预训练模型转化为推理模型需要利用推理轨迹进行后训练。最常见的首要步骤是**监督微调**（SFT），即训练模型模仿精心策划的**思维链**（CoT），这些思维链详细列出了中间步骤（Wei et al., 2022 (https://arxiv.org/html/2607.10386#bib.bib1)）。SFT 至关重要，因为它为模型提供了初始的推理格式和技能集。一旦模型学会了可靠地生成推理轨迹，就会应用**强化学习**（RL）方法进一步优化这些轨迹。RL 教会模型偏好那些能够导向正确答案的推理轨迹。

近期的大规模工作证明了这一方法的强大。OpenAI 的 o3 和 o3-mini 模型，以及 DeepSeek 的 R1（OpenAI, 2025 (https://arxiv.org/html/2607.10386#bib.bib34); Guo et al., 2025 (https://arxiv.org/html/2607.10386#bib.bib31)）等模型，在大规模推理数据集上结合了 SFT 和 RL，在数学和编码基准测试上实现了最先进的性能。这表明面向推理的后训练可以大幅扩展预训练 LLM 的能力。

当前推理研究的一个主要焦点是改进后训练的 **RL 阶段**。这些方法包括引入过程监督来奖励中间步骤（Lightman et al., 2023 (https://arxiv.org/html/2607.10386#bib.bib41); Uesato et al., 2022 (https://arxiv.org/html/2607.10386#bib.bib42); Shao et al., 2024 (https://arxiv.org/html/2607.10386#bib.bib33)），以及优化目标/算法本身，如近期对 R1-zero 风格训练的分析（Liu et al., (https://arxiv.org/html/2607.10386#bib.bib40)）。相反，我们的工作并不修改优化过程或奖励设计。我们施加了一种语法规则：每个解题步骤被组织成两个块：一个 `<think>` 块，包含探索性草稿工作（数学推导、验证、中间证明）；一个 `<summary>` 块，包含该步骤的结论。这种交替在工作和结果之间强制执行一个清晰的接口，类似于人类的推理过程——我们先经过深思熟虑，然后再总结发现。经验上，我们发现在这种结构化轨迹上微调模型，能够在多个基础模型上提升基准测试性能。

施加这种推理结构还有助于应对长轨迹带来的序列长度增长、KV缓存内存和注意力成本问题。在我们的结构化 SFT 方案中，每个 `<summary>` 都总结了其前面的 `<think>`，因此一旦生成结论，`<think>` 令牌就可以被剪除。我们通过在训练期间掩蔽 `<think>` 块来实现这一点，这教会模型在后续推理步骤中仅依赖结果。因此，在推理过程中，我们可以剪除已完成的 `<think>` 跨度，但保留它们的 `<summary>` 块。

总之，本文做出了两项贡献：
1.  我们证明，与仅包含以 `</think>` 标签形式提供的最小结构的标准 SFT 相比，结构化思维上的 SFT 在标准推理基准测试上带来了改进。
2.  我们评估了**结构感知剪枝**：训练时期的掩蔽和推理时期的剪枝，丢弃草稿工作，从而减少上下文长度和内存需求，同时性能下降幅度适中。

## 2 相关工作

#### 使用显式中间步骤进行推理。

近期 LLM 推理性能的激增与激发和利用中间步骤的技术密切相关。**思维链**（CoT）提示表明，模型受益于显式的、逐步的轨迹（Wei et al., 2022 (https://arxiv.org/html/2607.10386#bib.bib1)），包括零样本变体，它添加了诸如“让我们一步一步地思考”之类的简单指令（Kojima et al., 2022 (https://arxiv.org/html/2607.10386#bib.bib2)）。解码策略如 **自一致性** 汇集了不同的推理路径并选择多数答案，进一步提高了准确性（Wang et al., 2022 (https://arxiv.org/html/2607.10386#bib.bib5)）。基于搜索的方法（**思维树**）扩大了对潜在“思想”的探索，并支持回溯和预见（Yao et al., 2023 (https://arxiv.org/html/2607.10386#bib.bib6)）。这些工作表明，对中间步骤进行监督或使用中间步骤进行解码，可以提高基于数学和逻辑的任务的可靠性。

最近，研究人员已经开始探索直接**奖励**中间步骤。过程监督方法不仅奖励最终答案，还奖励各个推理步骤。例如，有奖励模型被训练来对中间解决方案进行评分（Lightman et al., 2023 (https://arxiv.org/html/2607.10386#bib.bib41); Uesato et al., 2022 (https://arxiv.org/html/2607.10386#bib.bib42)），以及通过奖励有用的中间推理来自适应地分配测试时计算的方法（Snell et al., 2024 (https://arxiv.org/html/2607.10386#bib.bib44)）。Qu et al. (2025 (https://arxiv.org/html/2607.10386#bib.bib43)) 引入了如果中间步骤增加产生正确答案的可能性则奖励该步骤的想法，并发现这提高了推理效率和性能。这些方法强调，使推理的中间结构显式化并加以奖励，可以提高推理性能。

#### 长上下文与内存高效推理。

大量文献试图通过修改注意力模式来降低长序列的注意力/内存成本。局部/滑动窗口或块稀疏注意力呈线性扩展，并将局部窗口与少量全局令牌或随机链接相结合以保持连通性（Beltagy et al., 2020 (https://arxiv.org/html/2607.10386#bib.bib7); Zaheer et al., 2020 (https://arxiv.org/html/2607.10386#bib.bib8)）。其他家族包括基于哈希的注意力（Reformer）和低秩/关键投影（Linformer）（Kitaev et al., 2020 (https://arxiv.org/html/2607.10386#bib.bib9); Wang et al., 2020 (https://arxiv.org/html/2607.10386#bib.bib10)）。与这些机制不同，我们的方法是**数据感知的**：我们直接在推理轨迹本身中插入结构，然后沿着这些语义上有意义的边界进行压缩，即剪除 `<think>` 块，同时保留它们的 `<summary>` 摘要。

#### PENCIL：通过调用-返回语法进行学习缩减。

Yang et al. (2025 (https://arxiv.org/html/2607.10386#bib.bib18)) 引入了一条缩减规则，当生成的序列匹配 `C [CALL] T [SEP] A [RETURN] ⇒ C A` 时触发：中间想法 `T` 和控制令牌被删除，答案 `A` 被合并回上下文 `C`。这使得能够通过反复剪除已解决的子问题来实现“长思想短记忆”，并在符号谜题（例如，接近完美的爱因斯坦谜题）上使用小型（约 25M）Transformer 和 2048 令牌上下文中表现出强劲效果。我们的工作与 PENCIL 最为相关，但在重要方面有所不同。(1) **结构提升推理**：我们表明，仅通过监督微调将推理语法引入模型本身就提高了基准准确性，而 PENCIL 主要针对内存效率，并未展示格式化带来的准确性提升。(2) **大规模设置**：PENCIL 在精心策划的谜题式任务上使用小模型进行评估，而我们研究的是基础规模模型（7B–8B），在具有数百万示例的大规模后训练语料库上进行评估，并使用标准推理基准。(3) **可扩展的结构与剪枝方法论**：为了实现大规模的结构化推理，我们 (a) 开发了一种无监督方法来从标准推理数据集生成结构化推理轨迹，(b) 在此结构化语料库上训练模型，使其生成结构化轨迹，以及 (c) 引入了第二阶段**掩蔽 SFT**，使用自定义注意力掩蔽来阻止在 `<summary>` 生成后访问 `<think>` 令牌。这些贡献对于将结构剪枝从玩具谜题扩展到实际 LLM 训练至关重要。

## 3 方法

我们的目标是通过在推理轨迹中引入结构并利用该结构进行剪枝，来提高推理模型的准确性和效率。本节描述了动机、数据集构建、模型训练和剪枝机制。我们概述了三个阶段：(i) 结构化数据上的监督微调（SFT），(ii) 感知剪枝的掩蔽 SFT，以及 (iii) 推理时的剪枝。

### 3.1 动机：通过显式结构实现更好的推理

对于大多数推理模型来说，推理过程的主体出现在一个单一的 `...<think>` 块内，随后是最终答案。在这个 `<think>` 块内部，模型通常将任务分解为多个子问题，并逐步解决。这些步骤通常包括模型使用各种推理技术，如自我反思和验证。虽然有用，但这些技术也导致了较长的推理轨迹。模型为每一步生成中间的代数运算、情况检查、证明和部分结论。我们将这些细粒度的数学和逻辑细节称为解决子问题所需的**草稿工作**。然而，当草稿工作、初步结论和最终答案混合在一起时，可能会模糊哪些令牌驱动了解决方案，使得更难将注意力分配给最决定性的信息。此外，如果草稿工作和结论仍然混合，后面的步骤可能会更无差别地关注冗余或已被取代的细节，这可能会增加出错的可能性。

与这种观点一致，Liu et al. (2023 (https://arxiv.org/html/2607.10386#bib.bib53)) 发现模型倾向于低估长上下文中间部分的信息（“迷失在中间”），而 Wu et al. (2025 (https://arxiv.org/html/2607.10386#bib.bib54)) 表明思维链长度与准确性呈倒 U 型关系，表明随着冗余/无关内容的积累，更长的轨迹最终会损害性能。此外，在上下文中保留整个轨迹会增加延迟和内存使用，因为每个令牌都必须存储在 KV 缓存中，即使只有一小部分最终是相关的。

引入一种将探索性草稿工作（`<think>`）与提炼结论（`<summary>`）分离的显式结构，可能有助于模型更好地区分推理过程和最终要点，减少冗余细节的干扰，并明确哪些信息应指导后续步骤。我们通过两个标签使这种格式显式化，并训练模型为每个推理步骤采用以下推理格式：
```
<think>探索性推理</think><summary>提炼结论</summary>
```
在监督微调下，模型学会在 `<think>` 块内进行推理，并将该步骤的主要发现提交到 `<summary>` 中，从而产生探索性计算和提炼结论被清晰分离的轨迹。我们相信这种分离使模型易于遵循其推理过程的逻辑流程，并帮助模型学会“在哪里集中注意力”。模型不会处理一个关键见解与低级探索交织在一起的扁平序列，而是被鼓励去学习 `<summary>` 块集中了每个推理步骤的关键信息。

图 1：原始轨迹 → 结构化轨迹。  
我们将自由形式的解答转换为块结构化轨迹，方法是：(i) 检测决策提示词（例如，“Wait”、“Hmm”）来**分割**答案为步骤大小的跨度，(ii) 将每个跨度包裹为 `<think>`（草稿工作），以及 (iii) 提示一个更大的指令调优模型将该跨度**总结**为简明的 `<summary>`（该步骤的要点）。底层问题和最终答案保持不变，并且轨迹可以在 `<think>`/`<summary>` 边界处进行语义剪枝。

### 3.2 阶段 1：结构化监督微调（SFT）

#### 数据集构建。

我们从现有的后训练推理数据集开始，例如 Llama-Nemotron Math v1.1（Bercovich et al., 2025 (https://arxiv.org/html/2607.10386#bib.bib4)），其中包含数学问题以及带推理轨迹的答案。我们分两步预处理这些轨迹：
1.  **分割**：我们的目标是获得每个独立推理步骤“开始”和“结束”的粗略但有用的概念。因此，我们采用先前工作中的启发式方法（Qu et al., 2025 (https://arxiv.org/html/2607.10386#bib.bib43)）来近似步骤边界。我们扫描每个推理轨迹，寻找决策提示词（例如，“Wait”、“Hmm”、“Let me try again”），并简单地在这些点处按规则分割轨迹。最后，我们将每个分割包裹在 `<think>` 标签之间。我们的分割方法有意保持简单，将更高级的分割技术（例如使用监督模型（Somasundaran and others, 2020 (https://arxiv.org/html/2607.10386#bib.bib64)））留待未来工作。
2.  **总结**：我们需要为每个 `<think>` 块提供简洁的结论。理想情况下，我们可以简单地指示推理模型为每个推理步骤生成一个结论。然而，我们发现公开可用的推理模型在遵循指令方面表现不佳。Li et al. (2025 (https://arxiv.org/html/2607.10386#bib.bib62)) 发现基于 CoT 的推理与模型的指令遵循能力呈负相关，因为他们发现 CoT 阻止了对指令遵循令牌的关注。类似地，Fu et al. (2025 (https://arxiv.org/html/2607.10386#bib.bib63)) 观察到推理能力与数学任务上的指令遵循之间存在类似关系，并表明指令遵循能力随着推理轨迹长度的增加而恶化。因此，我们的解决方案是从外部指令调优模型（Llama-70B-Instruct）获得这些摘要。对于每个 `<think>` 块，我们提供 (i) 原始问题，(ii) 作为局部上下文的简短解答前缀，以及 (iii) 当前的 `<think>` 块内容。