DeepLook: 前瞻引导的深层推理

# DeepLook: 通过前瞻实现更深层思考 来源：https://arxiv.org/html/2607.22602 杨庭鑫 慕尼黑工业大学 德国慕尼黑 tingxin\.yang@tum\.de &王泽丰¹¹footnotemark:1 慕尼黑大学 德国慕尼黑 wang@dbs\.ifi\.lmu\.de &王梦月 慕尼黑工业大学 德国慕尼黑 mengyue\.wang@tum\.de &周星辰 慕尼黑工业大学 德国慕尼黑 Xingcheng\.zhou@tum\.de &马云普 MCML, LMU, MemAgents实验室 德国慕尼黑 cognitive\.yunpu@gmail\.com ###### 摘要 推理时缩放已成为提升大型语言模型推理能力的一种强大范式，在困难推理任务上，其效果往往超越单纯的参数缩放。然而，现有方法在推理轨迹内分配计算资源方面仍存在效率低下的问题。基于推理失败通常在错误答案变得明确之前就表现出早期不确定性这一观察，我们引入了DeepLook，一种无需训练的监控-干预解码框架，它将前瞻计算集中在不确定性瓶颈处。DeepLook将词元级置信度聚合为片段级信号，在置信度相对于近期历史下降时触发干预，并通过固定视野的前瞻探索候选续写。分支根据平均前瞻置信度(ALC)——即展开续写过程中片段级置信度的平均值——进行排序，然后通过剪枝和投票进行聚合。在DeepSeek-R1-8B、Qwen3-32B、GPT-OSS-20B和GPT-OSS-120B四个模型上，针对四项竞赛级数学基准测试，DeepLook优化了准确率-词元成本帕累托前沿：在16个设置中的11个中，其准确率超越了DeepConf-low，同时将数据集级词元生成平均减少了87.3%，其中包括在AIME25上使用Qwen3-32B提升3.1%，以及在BRUMO25上使用GPT-OSS-20B提升8.8%。这些结果表明，与统一缩放完整的推理轨迹相比，有选择性的、面向未来的干预能够实现显著更强的准确率-成本权衡。代码可在此处获取。 请参阅图注图1：DeepLook概念概述与准确率-词元成本前沿。此三面板示意图展示了核心动机（左图），对比了统一的暴力缩放与在不确定性瓶颈处的选择性前瞻。中间面板展示了DeepLook的三步流程：片段监控、分支和ALC排序。最后，右面板将DeepLook置于更高准确率、更低词元成本的帕累托前沿上，突出了其87.3%的平均词元减少量和代表性的准确率提升。实验详情请见第4.1节 (https://arxiv.org/html/2607.22602#S4.SS1) ## 1 引言 大型语言模型(LLM)已迅速成为复杂推理的主要基础，在数学、符号和常识问题上，推理时推理策略带来的强劲提升，而不仅仅是架构变化(Wei等人,2022 (https://arxiv.org/html/2607.22602#bib.bib30); Wang等人,2023 (https://arxiv.org/html/2607.22602#bib.bib31); Snell等人,2025 (https://arxiv.org/html/2607.22602#bib.bib33))。这一转变使得测试时缩放成为现代推理系统的核心设计轴：不同于仅依赖更大的预训练模型，各种方法越来越多地在解码过程中分配额外计算，以采样、搜索、验证或精炼候选解决方案(Wang等人,2023 (https://arxiv.org/html/2607.22602#bib.bib31); Yao等人,2023a (https://arxiv.org/html/2607.22602#bib.bib32); Lightman等人,2024 (https://arxiv.org/html/2607.22602#bib.bib34); Madaan等人,2023 (https://arxiv.org/html/2607.22602#bib.bib29); Snell等人,2025 (https://arxiv.org/html/2607.22602#bib.bib33))。在此背景下，关键问题不再是额外的推理时计算是否有帮助，而是当推理轨迹冗长、容易出错且生成成本高昂时，如何有效地使用这些计算。 然而，在推理密集型推理中，当前的方法仍然存在一个重要的差距。诸如自一致性之类的全轨迹聚合方法通过采样多个独立解决方案来提高鲁棒性，但这同时也迫使模型重新生成长的高置信度前缀和许多样本间基本共享的非关键步骤(Wang等人,2023 (https://arxiv.org/html/2607.22602#bib.bib31); Brown等人,2024 (https://arxiv.org/html/2607.22602#bib.bib16); Snell等人,2025 (https://arxiv.org/html/2607.22602#bib.bib33))。诸如DeepConf之类的置信度感知方法通过使用模型内部的置信度信号过滤低质量轨迹，提供了一种更高效的替代方案(Fu等人,2025 (https://arxiv.org/html/2607.22602#bib.bib1))。然而，置信度和自我评估仍然是局部或轨迹级别的信号；如果没有明确的未来检查，模型就会遭受短视问题：一个看似合理的下一步可能导致整体上糟糕的续写(Bachmann and Nagarajan,2024 (https://arxiv.org/html/2607.22602#bib.bib41); Ma等人,2024 (https://arxiv.org/html/2607.22602#bib.bib3); Xu等人,2025a (https://arxiv.org/html/2607.22602#bib.bib4))。更广泛的搜索、规划和深思框架也会评估超越下一个词元的替代方案，但它们通常依赖于树或图扩展、智能体式规划或潜在预生成计算，这使得它们不太适合在单个推理轨迹中少数几个不确定点进行干预(Yao等人,2023a (https://arxiv.org/html/2607.22602#bib.bib32); Besta等人,2024 (https://arxiv.org/html/2607.22602#bib.bib38); Zhou等人,2024 (https://arxiv.org/html/2607.22602#bib.bib39))。因此，即使是近期强大的系统也仍然面临着一个核心困境：来自额外测试时探索的准确率提升与获取这些提升所需的词元成本之间的矛盾。 为此，我们提出以下问题：LLM如何通过仅在不确定片段处进行干预，同时避免局部置信度的短视性，从而以高效计算的方式进行测试时推理缩放？ 针对这个问题，我们对模型内部的置信度动态进行了实证研究。如图2 (https://arxiv.org/html/2607.22602#S1.F2)所示，DeepSeek-R1-8B正确和错误的轨迹呈现出明显不同的置信度特征。错误的轨迹平均包含更多的不确定片段（图2(a) (https://arxiv.org/html/2607.22602#S1.F2.sf1)），并且其第一个不确定段落在生成中出现得更早（图2(b) (https://arxiv.org/html/2607.22602#S1.F2.sf2)）。这表明更强、更早的置信度下降与最终答案错误的更高概率相关。这些下降标志着额外计算最有可能发挥作用的点：推理可以干预持续的低置信度瓶颈，而不是重新采样完整的轨迹。然而，仅靠触发只能识别*何时*分支，并不能确定哪个续写会保持可靠，这促使我们在投入更多计算之前进行未来检查。 受此原则指导，我们引入了DeepLook，一个置信度触发的前瞻框架，它首先检测推理何时变得不确定，然后使用未来置信度来选择哪个续写值得进一步计算。其核心思想是在解码过程中监控片段级置信度，仅在局部不确定性瓶颈处触发干预，然后根据平均前瞻置信度(ALC)对候选续写进行排序，ALC定义为在固定视野展开续写中片段级置信度的平均值。通过结合选择性触发、固定视野前瞻评估和自适应剪枝，DeepLook旨在保持测试时缩放的鲁棒性优势，同时大幅减少浪费的计算。图DeepLook: 通过前瞻实现更深层思考以三面板示意图展示了这种方法：它对比了选择性干预与统一缩放，详细说明了由此产生的解码流程，并总结了DeepLook在准确率-词元成本帕累托前沿上的位置。 我们在四个竞赛级基准测试（AIME24、AIME25、BRUMO25和HMMT25）上评估了DeepLook(Maxwell-Jia,2024 (https://arxiv.org/html/2607.22602#bib.bib14); MathArena,2025a (https://arxiv.org/html/2607.22602#bib.bib12),b (https://arxiv.org/html/2607.22602#bib.bib13),c (https://arxiv.org/html/2607.22602#bib.bib11))，使用了包括DeepSeek-R1-8B、Qwen3-32B、GPT-OSS-20B和GPT-OSS-120B在内的代表性开源模型(DeepSeek-AI等人,2025 (https://arxiv.org/html/2607.22602#bib.bib9); Yang and others,2025 (https://arxiv.org/html/2607.22602#bib.bib8); OpenAI等人,2025 (https://arxiv.org/html/2607.22602#bib.bib10))。在这些设置中，DeepLook将准确率-词元成本权衡转向了显著更低的推理成本：在大多数情况下，它匹配或超越强基线，同时仅使用其词元预算的10%-20%，并且相对于DeepConf-low，将数据集级词元生成平均减少了87.3%。这些提升也适用于更大的采样预算；例如，在AIME25上使用Qwen3-32B时，DeepLook超越了Cons@512，同时使用的词元数量大约减少了17倍。这些结果表明，有针对性的前瞻和剪枝能够恢复测试时探索的优势，而无需统一生成完整的轨迹。 我们的贡献总结如下： \\scriptsize1⃝ 置信度触发的前瞻框架。我们提出了DeepLook，一个无需训练的推理框架，它监控片段级置信度，仅在持续的不确定性瓶颈处进行分支，并在将词元花费在完整续写之前使用前瞻。 \\scriptsize2⃝ 前瞻置信度分支选择。我们引入了平均前瞻置信度(ALC)，一种固定视野的置信度信号，用于根据候选续写在展开片段上的平均置信度而非仅局部置信度对其进行排序。 \\scriptsize3⃝ 准确率-成本评估。我们在四个竞赛级数学基准测试上，使用四个代表性模型评估了DeepLook，展示了改进的准确率-词元成本权衡，相对于DeepConf-low平均减少了87.3%的词元。 请参阅图注(a)不确定片段计数n\_\{\\mathrm\{unc\}\}。 请参阅图注(b)首次不确定性位置比率r\_\{\\mathrm\{first\}\}。 图2：置信度诊断与DeepSeek-R1-8B上的错误相关。我们分析了(a)不确定片段的数量和(b)首次不确定片段的位置密度。错误的轨迹（橙色）倾向于表现出更频繁的不确定性，并且重要的是，与正确的轨迹（蓝色）相比，其不确定性*出现得更早*。这种区分促使我们采用将早期置信度下降作为前瞻探索触发器的策略。 ## 2 相关工作 #### 高效的测试时缩放。推理时推理通过思维链提示(Wei等人,2022 (https://arxiv.org/html/2607.22602#bib.bib30); Kojima等人,2022 (https://arxiv.org/html/2607.22602#bib.bib27))、重复采样(Wang等人,2023 (https://arxiv.org/html/2607.22602#bib.bib31); Brown等人,2024 (https://arxiv.org/html/2607.22602#bib.bib16))和复合推理系统(Chen等人,2024 (https://arxiv.org/html/2607.22602#bib.bib15))提高了LLM的可靠性，但这些提升往往伴随着巨大的词元成本(Feng等人,2025 (https://arxiv.org/html/2607.22602#bib.bib17); Sui等人,2025 (https://arxiv.org/html/2607.22602#bib.bib18); Liu等人,2025 (https://arxiv.org/html/2607.22602#bib.bib19); Qu等人,2025 (https://arxiv.org/html/2607.22602#bib.bib20))。因此，近期工作致力于研究如何更经济地使用测试时计算，包括自适应计算控制(Aggarwal and Welleck,2025 (https://arxiv.org/html/2607.22602#bib.bib21); Zhang等人,2025 (https://arxiv.org/html/2607.22602#bib.bib26))、推理压缩(Xia等人,2025 (https://arxiv.org/html/2607.22602#bib.bib23); Xu等人,2025b (https://arxiv.org/html/2607.22602#bib.bib24))、剪枝(Hou等人,2025 (https://arxiv.org/html/2607.22602#bib.bib22))、验证器引导推理(Lightman等人,2024 (https://arxiv.org/html/2607.22602#bib.bib34))和基于反馈的优化(Madaan等人,2023 (https://arxiv.org/html/2607.22602#bib.bib29))。然而，许多有效的缩放策略仍然在完整轨迹上运行：自一致性和最佳N选一可以提高准确率，但会重复生成长的高置信度前缀，并将大量词元花费在仅在少数关键推理步骤上有所不同的轨迹上(Wang等人,2023 (https://arxiv.org/html/2607.22602#bib.bib31); Brown等人,2024 (https://arxiv.org/html/2607.22602#bib.bib16))。DeepLook通过将全轨迹缩放转变为选择性补全来针对这种冗余，仅当在线信号识别出值得重新审视的局部推理片段时，才分配额外的计算。 #### 置信度感知计算。模型内部和在线生成信号提供了一种自然的方式来决定*何时*应该花费额外的推理。现有方法使用这些信号进行基于置信度的提前退出、部分轨迹剪枝(Yang等人,2025 (https://arxiv.org/html/2607.22602#bib.bib25); Tu等人,2026 (https://arxiv.org/html/2607.22602#bib.bib2))、答案选择和轨迹过滤(Kang等人,2025 (https://arxiv.org/html/2607.22602#bib.bib5); Fu等人,2025 (https://arxiv.org/html/2607.22602#bib.bib1))。这一研究方向得到了更广泛证据的支持，即模型概率、校准、语义不确定性和自我评估与生成质量相关(Kadavath等人,2022 (https://arxiv.org/html/2607.22602#bib.bib35); Kuhn等人,2023 (https://arxiv.org/html/2607.22602#bib.bib36))。然而，仅凭置信度本身是一个不完美决策规则：词元级概率可能是嘈杂的，而整条轨迹的分数可能过于粗糙，无法定位解决方案变得不稳定的步骤。因此，DeepLook主要将置信度用作一个*触发器*：持续的局部不确定性决定在何处进行分支，而一个独立的前瞻信号则评估哪些续写应该被保留。 #### 采样中的探索。基于探索的推理解决了另一个互补问题，即允许分支后*如何*评估替代方案。关于非短视解码的工作直接针对下一个词元可能性的局限性，通过使用短视野远见，根据候选词元或部分续写的下游行为对其进行评分(Bachmann and Nagarajan,2024 (https://arxiv.org/html/2607.22602#bib.bib41); Ma等人,2024 (https://arxiv.org/html/2607.22602#bib.bib3); Xu等人,2025a (https://arxiv.org/html/2607.22602#bib.bib4))。基于搜索的推理方法则扩展出更大的思想、轨迹或展开空间，从而可以在候选未来之间进行审慎比较(Yao等人,2023a (https://arxiv.org/html/2607.22602#bib.bib32); Li等人,2026 (https://arxiv.org/html/2607.22602#bib.bib7); Xing等人,2026 (https://arxiv.org/html/2607.22602#bib.bib6))。相关的规划和智能体框架进一步证明了在思想图、模拟状态和行动轨迹上进行显式探索的价值(Besta等人,2024 (https://arxiv.org/html/2607.22602#bib.bib38); Hao等人,2023 (https://arxiv.org/html/2607.22602#bib.bib37); Zhou等人,2024 (https://arxiv.org/html/2607.22602#bib.bib39); Yao等人,2023b (https://arxiv.org/html/2607.22602#bib.bib28))，而潜在深思表明，面向未来的计算也可以在可见生成之前被内化(Zelikman等人,2024 (https://arxiv.org/html/2607.22602#bib.bib40))。这些方法推动了面向未来评估的发展，但广泛的搜索可能会引入大量的分支开销。DeepLook以一种更狭窄的形式采用了远见原则：它仅在置信度触发的不确定性瓶颈处执行固定预算的前瞻，