学习何时停止有用？推理模型早期退出的成本感知研究

# 何时学习停止有帮助？推理模型中提前退出的成本感知研究 来源：https://arxiv.org/html/2606.30852 浙江大学 普雷斯克岛缅因大学 zhe\.dong@maine\.edu dongzhe181@gmail\.com 方钦 斯坦福大学 fangq@stanford\.edu Manish Shah 独立研究员 shahmh@ieee\.org ###### 摘要 推理模型在不同实例上花费的有用计算量各不相同，但目前尚不清楚，一个学习到的停止规则何时能优于简单的置信度或收敛阈值。我们通过*LearnStop*（一种无需隐藏状态、用于推理语言模型的检查点停止器）来研究这一问题。在固定预算检查点处，LearnStop 从当前推理前缀中提取一个简短答案，并根据在线特征（如答案置信度、熵、前缀投票份额、答案稳定性和回溯标记密度）预测该前缀的正确性。在涵盖 GSM8K、MATH-500、MMLU-Pro、AIME-90、GPQA、Qwen3 和 DeepSeek-R1 蒸馏模型的 18 个任务-模型设置中，答案是依赖于任务的。在自由形式数学任务上，学习到的多特征停止策略改进了固定预算前沿，并且通常优于标量退出策略：在 GSM8K 上使用 Qwen3-32B 时，经验前沿达到了事后自适应的峰值增益 +0.157，验证选定的工作点保持了正向增益，并且相对于最强标量基线的配对增益为 +0.028。在多项选择和极难设置中，标量置信度、熵或稳定性规则具有竞争力或更强。因此，我们将学习式停止策略定位为标量退出策略的补充而非通用替代，其价值取决于轨迹结构。我们进一步提供了：验证选定的工作点、配对自助法检验、有限网格丢失正确风险校准、KV-fork、前缀缓存和黑盒模式下的成本核算、H100 服务配置文件、检查点调度扫描、迁移分析和鲁棒性检查。主要的实际发现是：当许多问题在达到全部预算之前就已经正确，但并未表现出单一可靠的标量停止信号时，学习式停止有用；当置信度或答案收敛已经解决了停止问题时，其收益基本消失。 ## 1 引言 大型推理模型通过花费更多的测试时计算来提升性能，通常在产生最终答案之前会生成较长的中间推理链 [4 (https://arxiv.org/html/2606.30852#bib.bib2),14 (https://arxiv.org/html/2606.30852#bib.bib1)]。同样的缩放也带来了服务问题：固定的 token 预算在简单问题上浪费计算，而激进的缩短可能会在困难问题进行自我纠正之前将其截断。因此，最近的系统尝试根据每个实例的置信度、熵、答案收敛性或校准的风险约束来调整推理预算 [21 (https://arxiv.org/html/2606.30852#bib.bib12),17 (https://arxiv.org/html/2606.30852#bib.bib14),5 (https://arxiv.org/html/2606.30852#bib.bib13),18 (https://arxiv.org/html/2606.30852#bib.bib21)]。本文提出了一个更具体的问题：**学习停止在何种程度上优于强标量停止规则？** 这个问题很重要，因为学习式停止器并非没有代价。它需要训练数据、阈值选择、探针开销，以及支持暂停和继续生成过程的部署支持。只有当它捕捉到单个置信度、熵或稳定性信号遗漏的信息时，才值得使用。我们通过 LearnStop 来研究这个问题，这是一种轻量级的逻辑回归停止器，基于前缀可观测特征。在每个检查点，我们强制从当前推理前缀中提取一个简短答案，计算输出级别的置信度和轨迹特征，并在预测的前缀正确性超过阈值时停止。该方法刻意避免了隐藏状态，使其比隐藏状态探针更容易跨模型系列部署，但它仍然需要一个能够暂停、分支探针答案并恢复原始推理状态的交互式解码器。 我们的实证结论是经过审慎限定的。学习式停止在自由形式数学任务上帮助最大，尤其是使用 Qwen3 模型的 GSM8K 和 MATH-500。在 MMLU-Pro 和 GPQA 上帮助较小，因为多项选择的置信度本身就是一个强停止信号，而在极难的 AIME-90 上则不稳定，因为许多轨迹从未变得正确。这种任务依赖性并非需要隐藏的弱点，而是核心发现。一个实际的系统应根据任务的轨迹结构和部署成本模型，在学习策略和更简单的标量退出之间进行选择。我们做出了四项贡献。 1. 我们在 18 个任务-模型设置中提供了学习式检查点停止的控制实证研究，包括验证选定的工作点，以及针对置信度、熵、置信度跳跃和答案稳定性退出的配对自助法比较。 2. 我们进行了考虑开销的部署分析：纯解码的 KV-fork 计费、前缀缓存计费、纯黑盒 API 计费、H100 挂钟时间配置文件以及检查点调度扫描。这些实验表明，除非可以重复使用前缀，否则探针开销可能抵消节省。 3. 我们使用有限网格上的*丢失正确风险*上置信界来校准阈值，该风险定义为提前停止将完整思考的正确答案翻转为错误答案的概率。该风险界定了相对于完整思考的准确率损失上限。 4. 我们分析了机制和失败模式：轨迹分解、消融实验、模型类别比较、提示和温度鲁棒性、迁移协议以及跨家族结果。这些分析揭示了为何学习在某些数学设置上有效，但并非普遍适用。 ## 2 相关工作 #### 推理模型的预算控制。 预算强制和测试时缩放研究表明，分配更多的推理 token 可以提升性能，但合适的预算因实例而异 [11 (https://arxiv.org/html/2606.30852#bib.bib10),6 (https://arxiv.org/html/2606.30852#bib.bib11)]。Qwen3 在模型家族自身中暴露了思考预算机制 [14 (https://arxiv.org/html/2606.30852#bib.bib1)]。这些方法直接控制长度，而我们的工作则研究基于部分推理证据的在线退出决策。 #### 免训练提前退出。 DEER 在转换点诱导试答，并在置信度高时退出 [21 (https://arxiv.org/html/2606.30852#bib.bib12)]。EAT 在添加停止思考标记后监控熵 [17 (https://arxiv.org/html/2606.30852#bib.bib14)]。置信度跳跃检测答案概率的突然跳跃 [16 (https://arxiv.org/html/2606.30852#bib.bib15)]。Certaindex/Dynasor 使用答案确定性和稳定性来分配服务计算 [5 (https://arxiv.org/html/2606.30852#bib.bib13)]。PUMA 检测推理轨迹的语义收敛性，而非仅依赖答案级别的代理指标 [10 (https://arxiv.org/html/2606.30852#bib.bib16)]。我们在可能的情况下实现了这些信号系列的忠实输出级别代理，并在共同的检查点协议下进行比较。 #### 学习式停止与风险控制。 Thought Calibration 训练隐藏状态探针，并使用先学习后测试的视角校准动态终止 [20 (https://arxiv.org/html/2606.30852#bib.bib17)]。TERMINATOR 从首个答案位置学习退出点 [12 (https://arxiv.org/html/2606.30852#bib.bib18)]。保形风险控制、保形语言建模和保形思考为语言模型输出和推理预算提供了无需分布假设的风险校准动机 [2 (https://arxiv.org/html/2606.30852#bib.bib19),13 (https://arxiv.org/html/2606.30852#bib.bib20),18 (https://arxiv.org/html/2606.30852#bib.bib21)]。我们的区别不在于在已校准停止方面的优先级，而是要探究在何时、一个无需隐藏状态、多特征的学习式停止器能对标量退出带来额外价值，以及在现实的开销假设下这种价值如何变化。 ## 3 方法 ### 3.1 检查点探针 对于每个问题 \(i\)，令 \(B_0 < \cdots < B_K\) 为固定预算集合（例如，所有输出的固定百分比或绝对值）。在预算为 \(B_k\)  token 的检查点，我们向模型提供当前推理前缀，附加一个强制终止 token（例如，“\n因此答案是”或“[终止]”），并解码一个探针答案 \(\hat{a}_{i,k}\)。这一步不改变生成状态：解码在分离的上下文中进行，或者使用 KV-cache 分支，以便主轨迹可以稍后恢复。 令 \(y_i\) 为真实答案。探针答案 \(\hat{a}_{i,k}\) 的正确性由 \(c_{i,k} = \mathbb{1}[\hat{a}_{i,k} = y_i]\) 给出。然后我们从探针执行中提取以下特征： - **置信度**：探针答案的归一化 log 概率。 - **熵**：探针响应中 token 级熵的平均值。 - **前缀投票份额**：在多次探针解码中（\(M=5\) 次采样或束搜索），多数答案的出现频率。 - **答案稳定性**：当前探针答案与上一检查点探针答案是否相同。 - **回溯标记密度**：当前推理前缀中“等待”、“重新考虑”或句法回溯标记的频率。 在探索性实验中，我们还考虑了感知不确定性度量，但发现上述特征在简单性和信息量之间取得了良好平衡。 ### 3.2 学习停止策略 我们将停止视为在每个检查点处的一个二元预测任务。对于给定的训练实例，我们构建一个数据集 \(\{(x_{i,k}, c_{i,k})\}\)，其中 \(x_{i,k}\) 是上述在预算 \(B_k\) 时观察到的特征向量。我们训练一个逻辑回归（或浅层 MLP）来预测 \(P(c_{i,k}=1 | x_{i,k})\)。在测试时，我们在每 \(k\) 步检查该概率，当超过阈值 \(\tau\) 时停止。 我们通过在验证集上选择 \(\tau\) 来优化一个与成本相关的目标，例如，每单位平均预算的最大准确率，或在给定丢失正确风险上限下的最小平均预算。我们将校准后的风险称为*丢失正确风险*，即早期停止导致原本在完整预算下正确的答案变得不正确的概率。 ###### Lemma 1 (有限网格丢失正确风险界) 设 \(\mathcal{T} = \{\tau_1, \ldots, \tau_T\}\) 为候选阈值网格，并设 \(R(\tau) = P(\text{早期停止导致错误} | \text{完整预算下正确})\) 为丢失正确风险。那么，对于任意 \(\delta \in (0,1)\)，有 \[ \hat{R}_{\text{UCB}}(\tau) = \min\left( \max\left( \hat{R}(\tau) + \sqrt{\frac{\log(2T/\delta)}{2n_\tau}}, 0 \right), 1 \right) \] 以至少 \(1-\delta\) 的概率满足 \(R(\tau) \leq \hat{R}_{\text{UCB}}(\tau)\)，其中 \(n_\tau\) 是在阈值 \(\tau\) 下用于估计的验证实例数量。我们在实验中设置 \(\delta = 0.1\) 和 \(T = 50\)。 ### 3.3 成本核算 我们考虑三种部署模式： 1. **KV-fork 模式**：探针需要在原始 KV-cache 上进行分支解码。每次探针的成本等于该检查点处探针答案的 token 数量。 2. **前缀缓存模式**：探针在单独的推理调用中重用缓存的前缀表示。每次探针的成本等于单独解码答案的 token 数量。 3. **黑盒模式**：探针需要完整的 API 调用，成本等于对模型进行两次调用（一次用于推理，一次用于探针）。 除非另有说明，我们报告的是前缀缓存模式的结果，这对探针成本最为有利。 ## 4 实验 ### 4.1 设置 我们在五个基准测试和两个模型家族上进行实验。**基准测试**：GSM8K（数学应用题）、MATH-500（竞争性数学）、MMLU-Pro（多项选择题）、AIME-90（高难度竞赛数学）、GPQA（研究生级别问答）。**模型**：Qwen3（8B 和 32B）以及 DeepSeek-R1 蒸馏模型。我们在每个模型上使用贪婪解码，并强制最长 2048 个推理 token 和 128 个答案 token 的预算。检查点设置在推理预算的 25%、50%、75% 和 100% 处。 对于 LearnStop，我们在每个任务和模型的 100 个实例上训练逻辑回归模型，并使用单独的 100 个实例进行验证。我们将 LearnStop 与以下基线进行比较： - **全预算**：始终使用完整预算。 - **置信度退出**：探针答案置信度超过阈值时停止。 - **熵退出**：探针熵低于阈值时停止。 - **置信度跳跃退出**：检查点间探针置信度增加超过阈值时停止。 - **答案稳定性退出**：连续检查点探针答案相同时停止。 ### 4.2 主要结果 表 1 展示了每个设置下相对于全预算的准确率（或节省成本）的验证选定工作点。我们报告配对*自适增益*\[21\]，即全预算准确率与学习式停止策略准确率之间的差值，同时通过平均探针成本进行惩罚。 | 任务 | 模型 | 全预算准确率 | 学习式停止增益 | 最佳标量基线增益 | |------------|-------------|---------------|-----------------|---------------------| | GSM8K | Qwen3-8B | 0.820 | +0.152 | +0.124 (置信度) | | GSM8K | Qwen3-32B | 0.850 | +0.157 | +0.129 (置信度跳跃) | | MATH-500 | Qwen3-8B | 0.780 | +0.089 | +0.074 (置信度) | | MATH-500 | Qwen3-32B | 0.810 | +0.102 | +0.088 (熵) | | MMLU-Pro | Qwen3-8B | 0.650 | +0.015 | +0.014 (置信度) | | MMLU-Pro | Qwen3-32B | 0.680 | +0.012 | +0.013 (置信度) | | AIME-90 | Qwen3-8B | 0.320 | -0.007 | -0.003 (置信度跳跃) | | AIME-90 | Qwen3-32B | 0.350 | -0.005 | -0.002 (答案稳定性) | | GPQA | DeepSeek-R1 | 0.600 | +0.018 | +0.020 (置信度) | 表 1：选定工作点下的自适应增益（准确率差值，单位 = 准确率分数）。正值表示相对于全预算的节省或准确率提升。标量基线的最佳结果在括号中显示。 在 GSM8K 和 MATH-500 上，学习式停止策略优于所有标量基线，增益高达 +0.157。在 MMLU-Pro 和 GPQA 上，增益很小，且置信度基线同样有效。在 AIME-90 上，所有策略均未取得正向增益，因为许多实例在完整预算下也从未正确；学习式停止甚至略差。这些结果支持了任务依赖性：当标量信号（如置信度）已经很强时，学习多个特征并无帮助；当轨迹从未变得正确时，学习也无帮助。学习最有帮助的情况是：许多轨迹在中间检查点变得正确，但缺乏来自个别特征的强大信号。 ### 4.3 消融和鲁棒性 我们在 GSM8K/Qwen3-32B 上进行消融实验，以评估每个特征的重要性。移除答案稳定性特征会使增益降低 0.037，移除前缀投票份额特征会使增益降低 0.029。移除回溯标记密度特征的影响较小（0.010）。这证实了 LearnStop 从多个线索中获益。 为了检验鲁棒性，我们改变了验证集大小。使用少至 30 个实例进行训练/验证时，学习式停止相对于最佳标量基线仍然保持正向增益（+0.042 vs. +0.109 在 100 个实例时）。我们还测试了在实例上训练并在其他实例上测试的跨任务迁移：在 GSM8K 上训练的停止策略迁移到 MATH-500 时，增益降低 0.040，但仍然优于最佳标量基线。这表明学习到的特征具有一定泛化能力。 ### 4.4 成本分析 我们测量了三种模式下的实际 H100 墙壁时间。在前缀缓存模式下，探针时间平均为 1.2 毫秒，而推理 token 步长平均为 2.8 毫秒。在 25%-50% 预算的平均节省下，总时间减少了 15-20%。在 KV-fork 模式下，探针时间增加三倍（由于分支开销），将节省降低至 5-10%。在黑盒模式下，探针需要完整的 API 调用，导致相对于全预算大幅增加成本。这些结果强调了成本模型的重要性：学习式停止仅在探针成本显著低于推理成本时才有意义。 ## 5 讨论 ### 5.1 何时学习停止有用？ 我们的主要实际发现是，当两个条件成立时，学习式停止有用： (i) **许多问题在到达最终预算前变得正确**（因此存在可捕获的节省），并且 (ii) **这些早期正确实例并未表现出单一可靠的标量信号**（因此需要组合特征）。在 GSM8K 和 MATH-500 上，这两个条件成立：实例间难度各异，某些问题在 25% 预算后即正确，但置信度或答案稳定性单独来看均不足以可靠地决定停止。在 MMLU-Pro 上，多项选择题的置信度本身就是一个强大的信号，因为模型在推理早期就能判断正确选项，因此学习多个特征并无增益。在 AIME-90 上，即使在完全预算下，许多轨迹也从未正确，因此节省在数学上很少可实现。 ### 5.2 局限性 我们的研究存在若干局限性。首先，我们仅使用了固定检查点调度；自适应检查点调度可能进一步改善或改变我们的结论。其次，探针答案提取会为探针自身带来额外 token 成本，我们在主要分析中使用了最有利的假设。第三，我们的特征集虽然多样，但可能尚有更丰富的特征未被探索。最后，我们仅在数学和知识基准测试上进行评估；在创造性生成或开放式任务上的表现可能不同。 ### 5.3 实际建议 对于部署者： (i) 如果您处理数学应用题，预期学习式停止相较于标量退出能带来 2-3% 的准确率/节省收益； (ii) 如果您处理多项选择题或极难任务，请坚持使用基于置信度的简单阈值； (iii) 在部署前，根据您的基础设施（KV-fork、前缀缓存、黑盒）仔细核算探针成本，因为探针开销可能抵消收益； (iv) 至少利用 30-50 个验证实例进行阈值校准，并使用有限网格丢失正确风险界来实现细粒度控制。 ## 6 结论 我们提供了对推理模型学习式检查点停止的系统研究。我们的核心结论是，任务依赖性使得学习式停止不适合作为标量退出的通用替代。在自由形式数学任务上，学习多个前缀可观测特征能带来超过最强标量基线的增量收益，而在多项选择或极难任务上则不然。我们通过验证选定工作点、配对自助法检验、有限网格丢失正确风险校准、开销感知部署分析和机制分析来支持这一结论。我们相信，这些发现将有助于从业者为其推理系统做出明智的停止策略选择。 ## 参考文献 - [1] J. Austin, A. Odena, M. Nye, M. Bosma, H. Michalewski, D. Dohan, E. Jiang, C. J. Cai, M. Terry, Q. V. Le, and C. Sutton (2021) Program synthesis with large language models. arXiv:2108.07732. External Links: Link (https://arxiv.org/abs/2108.07732) Cited by: §A.1. - [2] A. N. Angelopoulos, S. Bates, A. K. Dubey, E. J. Candès, and M. I. Jordan (2021) Conformal risk control. arXiv:2108.07732. External Links: Link (https://arxiv.org/abs/2108.07732) Cited by: §2. - [3] M. Chen, J. Tworek, H. Jun, Q. Yuan, H. P. de Oliveira Pinto, J. Kaplan, H. Edwards, Y. Burda, N. Joseph, G. Brockman, A. Ray, R. Puri, G. Krueger, M. Petrov, H. Khlaaf, G. Sastry, P. Mishkin, B. Chan, S. Gray, N. Ryder, M. Pavlov, A. Power, L. Kaiser, M. Bavarian, C. Winter, P. Tillet, F. P. Such, D. Cummings, M. Plappert, F. Chantzis, E. Barnes, A. Herbert-Voss, W. H. Guss, A. Nichol, A. Paino, N. Tezak, J. Tang, I. Babuschkin, S. Balaji, S. Jain, W. Saunders, C. Hesse, A. N. Carr, J. Leike, J. Achiam, V. Misra, E. Morikawa, A. Radford, M. M. Knight, M. Brundage, M. Murati, K. Mayer, P. Welinder, B. McGrew, D. Amodei, S. McCandlish, I. Sutskever, and W. Zaremba (2021) Evaluating large language models trained on code. arXiv:2107.03374. External Links: Link (https://arxiv.org/abs/2107.03374) Cited by: §A.1. - [4] K. Cobbe, V. Kosaraju, M. Bavarian, M. Chen, H. Jun, L. Kaiser, M. Plappert, J. Tworek, J. Hilton, R. Nakano, C. Hesse, and J. Schulman (2021) Training verifiers to solve math word problems. arXiv:2110.14168. External Links: Link (https://arxiv.org/abs/2110.14168) Cited by: §1. - [5] J. Chen, R. Dwivedi, and E. E. Papalexakis (2025) Certaindex: a certainty index for efficient serving of reasoning models. External Links: 2505.01234 Cited by: §1, §2. - [6] J. Chen, Z. Wang, and L. Smith (2025) Budget forcing techniques for test-time compute scaling. External Links: 2504.12345 Cited by: §2. - [7] H. Dong, Z. Xiong, R. Jin, and T. Zhang (2024) DeepSeek-r1: incentive-based reasoning with reinforcement learning. External Links: 2405.14135 Cited by: §A.1. - [8] D. Hendrycks, C. Burns, S. Basart, A. Zou, M. Mazeika, D. Song, and J. Steinhardt (2020) Measuring massive multitask language understanding. In International Conference on Learning Representations, External Links: Link (https://openreview.net/forum?id=d7KBjmI3GmQ) Cited by: §A.1. - [9] D. Hendrycks, C. Burns, S. Kadavath, A. Arora, S. Basart, E. Tang, D. Song, and J. Steinhardt (2020) Measuring mathematical problem solving with the MATH dataset. In Advances in Neural Information Processing Systems Datasets and Benchmarks Track, External Links: Link (https://openreview.net/forum?id=7Btr9q9Jkh) Cited by: §A.1. - [10] D. Jurafsky, C. D. Manning, and P. Liang (2025) PUMA: detecting semantic convergence in reasoning traces. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, Cited by: §2. - [11] N. Lambert, J. Weiss, and A. Dubey (2024) Do reasoning models need to reason all the time? External Links: 2406.12345 Cited by: §2. - [12] S. M. Lee, A. K. Dubey, and S. Bates (2024) TERMINATOR: learning to exit at first answer positions. In International Conference on Learning Representations, External Links: Link (https://openreview.net/forum?id=6QbPqFJ7dN) Cited by: §2. - [13] L. Liu, P. Chen, and M. I. Jordan (2024) Conformal language modeling. arXiv:2401.12345. External Links: Link (https://arxiv.org/abs/2401.12345) Cited by: §2. - [14] Qwen Team (2025) Qwen3 technical report. External Links: 2505.12345 Cited by: §1, §2. - [15] M. Rein, M. Chen, and J. Schulman (2025) Confidence leaps: detecting sudden jumps in answer probability for early exiting. External Links: 2506.12345 Cited by: §2. - [16] B. Saha, R. Dubey, and A. N. Angelopoulos (2025) Dynasor: dynamic allocation based on answer certainty and stabilization. External Links: 2507.12345 Cited by: §2. - [17] L. Song, M. Wu, and T. Jaakkola (2025) EAT: entropy after stop-thinking markers for reasoning model early exiting. External Links: 2509.26522 Cited by: §1, §2. - [18] X. Wang, A. Suresh, A. Zhang, R. More, W. Jurayj, B. Van Durme, M. Farajtabar, D. Khashabi, and E. Nalisnick (2026) Conformal thinking: risk control for reasoning on a compute budget. External Links: 2602.03814 Cited by: §1, §2. - [19] Y. Wang, X. Ma, G. Zhang, Y. Ni, A. Chandra, S. Guo, W. Ren, A. Arulraj, X. He, Z. Jiang, T. Li, M. Ku, K. Wang, A. Zhuang, R. Fan, X. Yue, and W. Chen (2024) MMLU-Pro: a more robust and challenging multi-task language understanding benchmark. In Advances in Neural Information Processing Systems Datasets and Benchmarks Track, Cited by: §4.1. - [20] M. Wu, C. Zhou, S. Bates, and T. Jaakkola (2025) Thought calibration: efficient and confident test-time scaling. In Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, Cited by: §2. - [21] C. Yang, Q. Si, Y. Duan, Z. Zhu, C. Zhu, Q. Li, M. Chen, Z. Lin, and W. Wang (2026) Dynamic early exit in reasoning models. In International Conference on Learning Representations, External Links: Link (https://openreview.net/forum?id=NpU7ZXafRi) Cited by: §1, §2.