用力思考而非聪明思考：推理模型未能在问题间合理分配测试时计算

# 推理模型未能跨问题合理分配测试时计算

来源：https://arxiv.org/html/2608.07968

## 思考深入但不聪明：推理模型未能跨问题合理分配测试时计算

陈瑞1， 易泽诚*1， 李明1， 梁永源1， 周天一2， Soheil Feizi1

1马里兰大学学院市分校  
2MBZUAI，阿联酋

\{cfan42, yzcheng, minglii, cheryunl@umd\.edu, sfeizi\}@umd\.edu, tianyi\.zhou@mbzuai\.ac\.ae

项目：https://github.com/Fcr09/thinking-hard-not-smart

###### 摘要

推理语言模型日益使用测试时计算来提升性能，但现有评估通常一次只研究单道题目上的计算使用。然而，当多道问题共享端到端的成本或延迟约束时，模型必须决定如何在它们之间分配有限的推理计算。我们引入了一种考试式评估框架来研究这一场景：模型中，一个推理模型必须在一道共享的 token 预算下，将预算分配给难度和分值不同的问题，以最大化总分。在多个开源和前沿推理模型上，我们发现模型未能在共享预算下跨不同难度和分值的问题进行战略性分配。模型在很大程度上表现为贪婪的串行求解器：它们按呈现顺序优先处理问题，将大量努力前置到靠前的问题上，并且对分值不敏感；这些问题数量越多，这些倾向就越明显。显式的规划提示能让计算分配更均匀，但并未产生对分值或难度敏感的优先级排序。同样的行为模式也从数学推理扩展到了代码推理。这些发现确立了全局预算分配是一种独立能力，它无法被传统的逐题评估所捕捉，并且对当前推理模型仍是一项挑战。

思考深入但不聪明：推理模型未能跨问题合理分配测试时计算

陈瑞*1， 易泽诚11footnotemark: 11， 李明1， 梁永源1， 周天一2， Soheil Feizi1

1马里兰大学学院市分校  
2MBZUAI，阿联酋

\{cfan42, yzcheng, minglii, cheryunl@umd\.edu, sfeizi\}@umd\.edu, tianyi\.zhou@mbzuai\.ac\.ae

项目：https://github.com/Fcr09/thinking-hard-not-smart

## 1 引言

参见图1

图1：三种评估范式。(a) 标准范式：单道问题，预算不受限制。(b) 每道问题有独立的预算上限。(c) 我们的设置：N道有分值的问题竞争一个全局预算，这检验的是跨问题分配能力。

推理模型通过学会在困难问题上花费更多推理时间计算而变得更强OpenAI (2024 (https://arxiv.org/html/2608.07968#bib.bib24)); Guo et al\. (2025a (https://arxiv.org/html/2608.07968#bib.bib9)); Snell et al\. (2024 (https://arxiv.org/html/2608.07968#bib.bib29)); Muennighoff et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib22))。然而，更多推理并不总是有用的，模型即使面对单个问题也可能过度思考Chen et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib2)); Ma et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib21)); Fan et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib6))。当多个问题竞争有限预算时，决策变得更加困难，因为继续解决一个问题会减少留给其他问题的计算量。一个模型不仅要知道如何解决一个问题，还要知道哪些问题值得尝试、何时放弃、以及何时返回。传统的逐题评估掩盖了这种能力，因为每个问题都有自己的预算，不会在问题之间产生权衡。考试式评估为此提供了一个受控的探针：多道分值可见的问题竞争一个总预算，总分提供了一个具体目标。这类似于一个背包问题Kellerer et al\. (2004 (https://arxiv.org/html/2608.07968#bib.bib13))，其中预算是容量，题目分数是价值，而模型特定的解题成本是重量。由于成本和成功概率并未显式给出，一个具有策略性的模型必须估计价值相对成本的关系，在推理过程中修正这一判断，并放弃那些不再值得继续投入的尝试。我们要问：推理模型在跨问题分配计算时，是否展现出这种元认知控制？

现有工作通过显式限制、自适应计算或难度条件预算来控制单个问题的推理投入Aggarwal and Welleck (2025 (https://arxiv.org/html/2608.07968#bib.bib1)); Wang et al\. (2025a (https://arxiv.org/html/2608.07968#bib.bib31)); Wu et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib34)); Wen et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib33)); Han et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib11))。批式提示将多个问题组合到一次请求中，以分摊共享指令并降低推理成本Cheng et al\. (2023 (https://arxiv.org/html/2608.07968#bib.bib4))，相关工作还研究了多问题评估和组合指令Wang et al\. (2025b (https://arxiv.org/html/2608.07968#bib.bib32)); Li et al\. (2025b (https://arxiv.org/html/2608.07968#bib.bib16))。RESTPan et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib25))更直接地压力测试推理模型，同时呈现多个问题，并研究它们在多上下文压力下的性能退化。这些设置并未聚焦于：在一个显式预算下，实际发生的推理努力如何响应问题价值、成本和呈现顺序。并行的研究TRIAGENazi and Dipta (2026 (https://arxiv.org/html/2608.07968#bib.bib23))评估的是在求解执行前就确定的分配计划；我们则研究模型在执行多个问题的过程中浮现出来的实际分配，模型可以自由地重新排序、推迟、重访或放弃问题。

我们通过图1 (https://arxiv.org/html/2608.07968#S1.F1) 所示的考试式评估来操作化这一探针。每场考试让模型自由决定尝试哪些问题、以什么顺序、投入多少努力。我们从Omni\-MATHGao et al\. (2024 (https://arxiv.org/html/2608.07968#bib.bib7))构建配对的考试，并系统地改变同一组问题的长度、呈现顺序和分值。这些受控变体使我们能够区分对呈现位置的简单敏感性与对问题分值和难度的真正敏感性。我们还将直接求解与规划指令进行比较，以检验显式的预算分配机会是否能改善这种行为。我们的研究涵盖五个本地部署的开源权重模型和两个DeepSeek\-V4 API模型。相同的发现也推广到了CRUXEval\-OGu et al\. (2024 (https://arxiv.org/html/2608.07968#bib.bib8))上的代码领域。

#### 关键发现。

- •模型是串行地分配计算，而非战略性地分配。模型大多按照呈现顺序解题，对后面的问题投入逐步减少，并且对给定的分值几乎不敏感。因此，它们的分配更多地受“下一个出现的是哪道题”支配，而不是“哪道题最值得尝试”。
- •预算压力放大了失败。平均来看所有模型，随着考试长度N增加，解题顺序与呈现位置之间的相关性增强，而模型投入大量精力的问题覆盖率则单调下降。
- •规划改变的是分布，不是优先级。规划指令提高了覆盖率，但并未引入对分值敏感的分配。对相同问题重新排序和重新定价只带来极少的策略性调整。同样的位置驱动模式也推广到了代码推理。

#### 贡献。

我们设计了一个受控框架来研究共享预算推理，一种基于轨迹的分析来刻画实际努力和解题顺序，并提供了广泛证据表明：对象级推理能力并不能确保跨问题的策略性控制。当前模型知道如何对眼前的问题深入思考，但不知道如何决定哪个问题值得思考。

## 2 相关工作

#### 单问题的测试时计算控制。

扩展推理时计算可以提升推理能力(Snell et al\.,2024 (https://arxiv.org/html/2608.07968#bib.bib29); Guo et al\.,2025a (https://arxiv.org/html/2608.07968#bib.bib9); Muennighoff et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib22))，但也可能导致过度思考Chen et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib2))。现有方法通过长度控制(Aggarwal and Welleck,2025 (https://arxiv.org/html/2608.07968#bib.bib1); Hou et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib12); Li et al\.,2025a (https://arxiv.org/html/2608.07968#bib.bib15),c (https://arxiv.org/html/2608.07968#bib.bib18))、自适应努力(Wang et al\.,2025a (https://arxiv.org/html/2608.07968#bib.bib31); Wu et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib34))以及难度条件预算(Han et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib11); Wen et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib33))来提高效率。相关工作还研究了预算感知评估(Wang et al\.,2024 (https://arxiv.org/html/2608.07968#bib.bib30))、任意时间推理(Zhang et al\.,2026 (https://arxiv.org/html/2608.07968#bib.bib37))，以及推理轨迹的结构和元认知控制(Li et al\.,2025d (https://arxiv.org/html/2608.07968#bib.bib19),2026 (https://arxiv.org/html/2608.07968#bib.bib17); Ma et al\.,2026 (https://arxiv.org/html/2608.07968#bib.bib20))。这些方法决定的是：对于给定问题应花费多少计算量。我们研究的则是：当多个问题竞争同一个预算时所产生的机会成本。

#### 多问题提示和位置敏感性。

批式提示将多个问题组合到一次请求中，以分摊共享指令并降低推理成本(Cheng et al\.,2023 (https://arxiv.org/html/2608.07968#bib.bib4))，其他工作则在多个问题或组合指令上评估模型(Wang et al\.,2025b (https://arxiv.org/html/2608.07968#bib.bib32); Li et al\.,2025b (https://arxiv.org/html/2608.07968#bib.bib16))。REST同时呈现多个推理问题，以研究多上下文退化以及上下文优先级分配(Pan et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib25))。另一个独立的研究脉络(Chen et al\.,2024 (https://arxiv.org/html/2608.07968#bib.bib3); Schilcher et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib28))表明，模型行为可能对提示元素的排序或推理前提的排列敏感。这些研究确立了多问题干扰和顺序敏感性，但并未聚焦于：在一个显式的全局预算下，实际发生的推理努力如何响应可见的问题价值和模型特定的成本。

#### 全局分配和元推理。

理性元推理将计算本身视为一种决策，使用其期望价值来确定哪个推理操作值得执行(Russell and Wefald,1991 (https://arxiv.org/html/2608.07968#bib.bib26); Sabbata et al\.,2025 (https://arxiv.org/html/2608.07968#bib.bib27))。近期工作(Zhai et al\.,2026 (https://arxiv.org/html/2608.07968#bib.bib36))开始使用学习到的逐实例预算策略在输入之间分配测试时计算。ROI\-Reasoning(Zhao et al\.,2026 (https://arxiv.org/html/2608.07968#bib.bib38))在全局 token 上限下训练模型进行背包式的“解决或跳过”分配，但保持固定的处理顺序。与此并行，TRIAGE(Nazi and Dipta,2026 (https://arxiv.org/html/2608.07968#bib.bib23))评估的是事前计划的质量；相比之下，我们诊断的是在求解过程中联合浮现的实际分配，其中模型可以在轨迹中途重新排序、推迟或放弃问题。

## 3 共享预算的多问题推理

我们评估推理模型能否在多个相互竞争的问题之间分配有限的推理预算。

### 3.1 任务形式化

一场考试是

E=\{(q_i,v_i)\}_{i=1}^N，(1)

其中q_i是问题，v_i是其可见的分值。在每场考试中，模型一次性看到所有问题及其分值，获得B个推理 token 的共享预算，目标是最优化得分率：

\frac{1}{\sum_{i=1}^N v_i}\sum_{i=1}^N v_i\mathbbm{1}[\hat{a}_i=a_i]。(2)

在我们的设置中，推理分为两个阶段。首先，模型为整场考试生成一条推理轨迹，上限为B个生成 token。提示并不要求特定的解题顺序或预算切分。其次，在推理阶段结束后，我们通过一个单独的后续轮次要求给出最终答案，并将已有的推理轨迹作为对话历史。该阶段仅用于答案提取，不计入共享预算。

### 3.2 数据集和考试构建

我们的主要实验使用Omni\-MATH(Gao et al\.,2024 (https://arxiv.org/html/2608.07968#bib.bib7))。我们从基准难度标签不超过5的问题中均匀采样，并构建N∈{5,10,20}的考试。难度标签仅用于实验构建和分析，不会展示给模型。对于每个N值，我们采样50场基础考试，每场由一组固定问题组成。相同的考试会在不同的评分方案、问题顺序、提示策略和模型之间复用，因此比较的差异只来自于被改变的那个因素。

### 3.3 模型和解码

我们评估五个本地托管的开源权重推理模型：DeepSeek\-R1\-Distill\-Qwen\-7B/14B (DQ\-7/14)Guo et al\. (2025b (https://arxiv.org/html/2608.07968#bib.bib10)) 和 Qwen3\-8B/14B/32B (QW\-8/14/32)Yang et al\. (2025 (https://arxiv.org/html/2608.07968#bib.bib35))，通过vllmKwon (2025 (https://arxiv.org/html/2608.07968#bib.bib14))提供服务。我们还评估DeepSeek\-V4 Flash和Pro的预览版API (DSV4\-F/P)DeepSeek\-AI et al\. (2026 (https://arxiv.org/html/2608.07968#bib.bib5))。对于本地托管模型，推理使用温度0.6、top\-p=0.95和top\-k=20。API模型使用其可用的默认控制参数运行。所有模型的答案提取都使用贪心解码。数学答案从\boxed{}输出中解析，并使用附录A (https://arxiv.org/html/2608.07968#A1)中所述的LLM判断器进行评估。

### 3.4 实验因素

我们改变分数分配、问题顺序和提示策略。

#### 评分方案。

我们考虑四种方案：

- •固定：每个问题值为10分。
- •随机：每个问题获得1到15之间的整数分数，与难度和位置无关。
- •对齐：更难的问题获得更多分数。
- •反转：更容易的问题获得更多分数。

对于对齐评分，难度在每场考试内归一化，并映射到整数范围[1,15]：

v_i=\left\lfloor 1+14\frac{d_i-d_{\min}}{d_{\max}-d_{\min}}\right\rfloor，(3)

其中d_i是问题i的难度。对于反转评分，

v_i=\left\lfloor 15-14\frac{d_i-d_{\min}}{d_{\max}-d_{\min}}\right\rfloor。(4)

如果所有问题难度相同，则每题获得10分。

#### 问题顺序。

每场考试以三种顺序之一呈现：随机（rand）、难度升序（asc）或难度降序（dsc）。随机顺序将位置与难度分离，而排序条件则检验模型在提示序列之外是否能偏离呈现顺序，