推理不一定要依赖更长的思维链。PDR = 并行草稿 → 蒸馏为紧凑工作空间 → 精炼，并推动帕累托前沿的移动。https://t.co/4Sca6dFu4Q https://t.co/AHwyg53xd7

重新思考思维令牌：大语言模型作为改进算子

来源：https://arxiv.org/html/2510.01123

1. Meta超级智能实验室
2. 伦敦大学学院
3. Mila，蒙特利尔大学
4. Anthropic
5. 普林斯顿大学
   \contribution[*] 工作完成于 Meta
   Aniket Didolkar, Suchin Gururangan, John Quan, Ruan Silva, Ruslan Salakhutdinov, Manzil Zaheer, Sanjeev Arora, Anirudh Goyal

[[[[

摘要

推理训练激励LLM生成长思维链（long CoT），这除了其他作用外，还允许它们通过自我检查来探索解决策略。这提高了准确性，但同时也增加了上下文长度、令牌/计算成本和答案延迟。我们提出一个问题：当前模型能否利用其元认知在这个帕累托前沿上提供其他组合，例如，在更低的上下文长度和/或延迟下获得更好的准确性？抽象地，我们将模型视为对其自身“思想”的改进算子，具有连续的可能策略。我们研究了一种推理族：并行-蒸馏-精炼（\PDR），它执行以下操作：(i) 并行生成多样化草稿；(ii) 将它们蒸馏到一个有界的文本工作空间中；以及 (iii) 基于此工作空间进行精炼，生成输出并作为下一轮的种子。重要的是，上下文长度（因此计算成本）可以通过并行度来控制，不再与生成的令牌总数混淆。我们报告了当前模型的 \PDR 实例化，这些实例化在比长CoT更低的延迟下取得了更好的准确性。将并行度设置为11会产生一种子情况：序列精炼（\SR）（迭代改进单个候选答案），它提供了优于长CoT的性能（但以更高的延迟为代价）。这种模型编排的成功引发了一个问题：是否可以通过进一步训练来移动帕累托前沿。为此，我们使用强化学习（RL）训练了一个8B8B的推理模型，使其与作为推理方法的 \PDR 保持一致。在具有可验证答案的数学任务上，迭代管道在匹配的顺序预算下超过了单次基线，其中 \PDR 带来了最大的增益（AIME 2024 上 +11%，AIME 2025 上 +9%）。

1 引言

参考图1：AIME 2024：准确率与顺序预算 BseqB_{\mathrm{seq}} 的关系。我们比较了长CoT、\SR 和 \PDR；虚线是奥克尔上界（Oracle-\PDR），它在相同预算下完美地将任何正确解决方案传输到紧凑工作空间中。

扩展语言模型以解决更困难的问题越来越依赖于在推理时引出显式的推理痕迹（“思维令牌”）(Wei et al., 2022; Jaech et al., 2024 [https://arxiv.org/html/2510.01123v1#bib.bib23]; Guo et al., 2025 [https://arxiv.org/html/2510.01123v1#bib.bib18])。虽然更长的痕迹通常与准确性相关，但它们将推理深度与序列长度纠缠在一起，并且继承了长上下文的失效模式(Ghosal et al., 2025 [https://arxiv.org/html/2510.01123v1#bib.bib15])。与此同时，该领域正朝着自我改进发展：系统通过自我导向操作（批评、修订、辩论、采样和选择）来改进自身的输出，无需专家监督(Gou et al., 2023 [https://arxiv.org/html/2510.01123v1#bib.bib16]; Du et al., 2023b [https://arxiv.org/html/2510.01123v1#bib.bib12]; Irving et al., 2018 [https://arxiv.org/html/2510.01123v1#bib.bib22]; Yao et al., 2023 [https://arxiv.org/html/2510.01123v1#bib.bib51]; Pan et al., 2025 [https://arxiv.org/html/2510.01123v1#bib.bib34]; Zhang et al., 2025 [https://arxiv.org/html/2510.01123v1#bib.bib53])。退一步看这些丰富的工作，人们开始将LLM推理视为一个可塑的概念；不是单一的“推理踪迹”，而是从更大的池中做出的选择：生成新的答案；批评/修订/辩论/总结生成的答案；创建一个更新的答案。这个选择带来了一个未被探索的帕累托前沿：

在固定推理过程约束的情况下，例如：(i) 所有生成的总令牌数，(ii) 生成链的最大深度（“延迟”），(iii) 总上下文长度，以及 (iv) 总计算量（以复杂且系统相关的方式依赖于上述所有因素），最佳可能的任务准确率是多少？

参考图2：(a) 并行-蒸馏-精炼（\PDR）。在第 rr 轮中，模型生成 MrM_{r} 个并行草稿，然后使用 (b) 中的方案之一将它们蒸馏到一个紧凑的工作空间中；精炼后的状态作为下一轮的种子。(b) 用于构建工作空间的蒸馏方案（例如，全局摘要、共享 top-k、每个样本 top-k、随机 k）。(c) 三种推理模式。顶部——长思维链：单一长痕迹。中部——序列精炼（SR）：一个草稿在短轮次中更新。底部——\PDR：每轮生成 MrM_{r} 个草稿，蒸馏到工作空间中，然后精炼。示例显示了一个 3 轮配置 M=(8,4,1)M=(8,4,1)（配置是一个超参数，任何其他选择都是可能的）。在各面板中，每次调用的顺序预算 BseqB_{\mathrm{seq}}（延迟代理）保持不变，而 \PDR 通过并行性增加总计算量 BtotalB_{\mathrm{total}}，而不增加每次调用的上下文。

混杂因素是，仅靠迭代并不能保证进展。简单地要求模型“再试一次”可能会忘记有用的部分结果并重复之前的错误。将所有先前的尝试天真地附加到上下文中，会重现长上下文的失效模式，并使成本随轮次数量增加而增加。当前模型存在锚定偏差（见图6 [https://arxiv.org/html/2510.01123v1#S4.F6]、8 [https://arxiv.org/html/2510.01123v1#A4.F8]）以及健忘。一个可行的方案需要一个紧凑的状态，该状态 (i) 保留突出的事实和中间结果，(ii) 标记分歧和未解决的子目标，(iii) 保持有界，以便每次生成（和整体上下文大小）保持简短。

本文研究在紧凑上下文大小下生成大量令牌的推理策略。推理不是通过长思维链，而是分阶段进行：在允许的上下文/令牌预算内生成解决方案，然后编写一个有限的、按轮次进行的摘要/报告（例如，列出共识、矛盾、中间结果和未解决的子目标）。下一阶段仅从该摘要开始，并使用可用工作空间进行新的生成（这些生成受益于摘要中积累的智慧）。迭代这个过程可以生成长的“思维”，但上下文大小是有界的。111 这样的LLM属于传统的随机空间有界计算框架。计算复杂性理论 Arora & Barak (2007) 表明它能够进行令人惊讶的强大推理，例如确定甚至无法容纳在工作内存中的更大图的连通性；参见第C节 [https://arxiv.org/html/2510.01123v1#A3]。

我们研究两种推理实例化：(i) 序列精炼（\SR），其中单个工件（解决方案、证明、程序）在固定步数内迭代改进；(ii) 并行-蒸馏-精炼（\PDR）（轮次工作空间），其中每轮并行采样 MM 个草稿，将其蒸馏成一个有界的摘要用于下一轮，然后继续。工作空间在轮次之间不持久；每轮都重新合成。一个核心挑战是信息综合：压缩显著的事实和中间结果；标记不确定性；以及淘汰过时的信息。其有效性取决于四种元技能：验证（通过自我判断和跨候选检查检测并定位错误）、精炼（使用反馈/上下文改进工件）、压缩（仅通过有界摘要保留过去历史，而非重放）和多样化（探索性变化以避免共识崩溃）。

学习改进短上下文迭代。
教会模型一个有效利用此改进算子的策略也很有意义。推理模型的标准RL训练通常优化一个单一的、基于提示的长思维链，最终答案获得奖励 [Shao et al., 2024 (https://arxiv.org/html/2510.01123v1#bib.bib39); Guo et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib18)]。相比之下，\PDR 由多个短迭代组成，这些迭代读取一个有界摘要，写入一个精炼版本，并重新合成一个新的摘要。这产生了信息流上的训练测试不匹配（短更新 vs. 单一长痕迹）。为了确保训练与部署一致，我们优化了一个目标，该目标在训练期间展开算子本身：采样 MM 个短草稿，将它们蒸馏成一个紧凑摘要，并基于提示加上该摘要来生成一个改进的尝试。我们使用可验证的奖励来监督端到端的计算。这个目标缩小了训练-测试差距。

结果。
在数学任务上，迭代管道在匹配的顺序预算下超过了单次基线；浅层 \PDR 带来了最大的增益（例如，AIME 2024 上 +11%，AIME 2025 上 +9%）。通过一种与算子一致的RL目标使训练与推理一致，该目标优化了测试时使用的相同读/写接口，从而带来了进一步的改进（例如，在混合标准RL和算子RL时，AIME 2024 和 AIME 2025 上大约 5%）。这些发现表明，具有短上下文和紧凑摘要的迭代可以替代长痕迹，同时保持延迟不变。

2 背景与相关工作

概述。 本节将我们的工作置于几个试图扩展测试时推理的线程中：长痕迹思维链和自一致性；自我改进和辩论；结构化搜索（思想树/图）；多痕迹选择与聚合；将计算转化为监督；记忆/摘要；自适应多轮RL；以及学习搜索/规划。我们通过一个统一的视角来看待这些：推理作为在明确预算下的轮次改进算子；保持每次调用的顺序预算 Bseq\mathrm{B}_{\text{seq}} 固定，同时改变总计算量 Btotal\mathrm{B}_{\text{total}}。我们并不声称这些微观原语本身是新的：并行采样、聚合和选择 [Wang et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib44); Fu et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib14); Zhao et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib54)]、序列修订、批评-修订-验证和辩论 [Madaan et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib31); Gou et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib16); Shinn et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib40); Du et al., 2023b (https://arxiv.org/html/2510.01123v1#bib.bib12)]、结构化搜索 [Yao et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib51); Besta et al., 2024 (https://arxiv.org/html/2510.01123v1#bib.bib7)]，以及摘要/记忆 [Wu et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib47); Yang et al., 2024 (https://arxiv.org/html/2510.01123v1#bib.bib50)] 都已被充分探索。我们的贡献在于 (i) 将这些部分形式化在一个单一的轮次算子（\SR, \PDR）内，(ii) 在匹配的 BseqB_{\text{seq}} 下通过浅层并行轮次和蒸馏，在改变 BtotalB_{\text{total}} 的同时分析计算归一化深度，以及 (iii) 通过算子一致的RL使训练与部署一致。下面的文本按照这些轴组织先前的工作，并阐明相似之处和差异。

具有长痕迹的测试时推理。
引出逐步的“思维链”可以提高多步任务的准确性 [Wei et al., 2022 (https://arxiv.org/html/2510.01123v1#bib.bib45)]。最近的“推理”模型（例如，OpenAI o1、Deepseek r1）明确地用更多的测试时思考换取更好的结果，增加了令牌和延迟 [Jaech et al., 2024 (https://arxiv.org/html/2510.01123v1#bib.bib23); Guo et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib18)]。采样多个痕迹并聚合答案（自一致性）进一步提高性能，但成本随样本数量增加 [Wang et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib44)]。我们的方法针对一个互补的设计点：保持每次调用简短，同时通过一个有限制的、重新合成的摘要让证据在轮次间积累。

自我改进。
越来越多的研究工作让模型批评和改进自身的输出：Self-Refine 交替进行自我反馈和修订 [Madaan et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib31)]；Reflexion 维护文本记忆以指导后续尝试 [Shinn et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib40)]；CRITIC 使用工具进行验证并根据结果进行修订 [Gou et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib16)]。多智能体辩论通过论证和对抗性检查提高了事实性和推理能力 [Irving et al., 2018 (https://arxiv.org/html/2510.01123v1#bib.bib22); Du et al., 2023b (https://arxiv.org/html/2510.01123v1#bib.bib12)]。我们的算子在自我改进的精神上是一致的，但通过使用轮次性的、重新合成的紧凑状态 C(r)C^{(r)} 而不是重放完整历史来约束每次调用的上下文。计算即教师（CaT）从并行展开中合成一个单一参考，并朝着它优化策略，将额外的推理计算转化为无参考的监督。我们的重点不同：我们在推理时在 \PDR 内使用并行性进行探索和蒸馏，并在固定的 Bseq\mathrm{B}_{\text{seq}} 下明确分析计算，同时改变 Btotal\mathrm{B}_{\text{total}}。

多痕迹选择与聚合。
置信度感知的测试时缩放并行生成多个痕迹，并使用模型内部置信度进行过滤或重新加权，在不进行额外训练的情况下改进准确率-计算权衡 [Fu et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib14)]。另一条线训练一个聚合器，使用RL而非多数投票或奖励模型排名来选择或组合解决方案 [Zhao et al., 2025 (https://arxiv.org/html/2510.01123v1#bib.bib54)]。相比之下，我们将推理本身视为轮次算子（\SR, \PDR），将聚合视为提高性能所需的元认知能力之一，并提出 \PDR RL 以减少训练-推理不匹配。Zheng et al. (2025 [https://arxiv.org/html/2510.01123v1#bib.bib55]) 提出了 Parallel-R1，一个通过渐进课程灌输并行思维的RL框架：在较简单提示上进行监督微调以引导行为，然后在较难问题上进行RL。在数学基准（MATH, AMC23, AIME）上，Parallel-R1 改进了序列思维RL基线，并表明并行思维作为训练中期的探索支架，然后在后期辅助验证。

超越单链的结构化搜索。
提示方案显式地结构化探索：思想树（ToT）扩展和评估推理分支 [Yao et al., 2023 (https://arxiv.org/html/2510.01123v1#bib.bib51)]；思想图（GoT）泛化到任意思想图 [Besta et al., 2024 (https://arxiv.org/html/2510.01123v1#bib.bib7)]；从易到难将问题分解为按顺序解决的子问题 [Zhou et al., 2022 (https://arxiv.