放大不意味着可预测：思维模型中的推理行为

# 增强不等于预测：思维模型中的推理行为  
来源：https://arxiv.org/html/2608.13760  

###### 摘要  
推理模型中哪些推理行为与正确答案相关？以推理为导向的训练是否会放大这些行为？这一区分很重要，因为以推理为导向的训练可能使推理痕迹显得更像深思熟虑，却没有放大那些与模型正确性最相关的行为。我们用“行为提升”（Behavioral Lift）指标量化这种不匹配，该指标衡量模型推理痕迹中某行为存在与不存在时，正确率的变化幅度。在涵盖纯文本和视觉-语言推理的 15 个模型和 6 个基准测试中，我们用一套分类法标注了 15,282 条推理痕迹，该分类法的核心行为同时适用于大型语言模型（LLM）和视觉-语言模型（VLM）。我们发现了“放大-提升差距”（Amplification-Lift Gap）的证据：思维模型强烈放大自我纠正、假设检验和不确定性承认行为，而提升幅度最大的行为是置信度校准、知识对齐和自我意识。置信度校准在两种模态中都是正确性最强的正向信号之一，却几乎未被放大；不确定性承认被放大了 3-7 倍，却与正确性关联微弱或呈负相关。我们发现，以推理为导向的训练并未优先放大提升幅度最大的行为，这促使我们提出过程级目标，奖励校准和基于事实的推理，而不仅仅是表面形式。  

## 1 引言  
近期，以推理为导向的后训练进展催生了一波“思维”模型：在回答前生成长推理链的语言和视觉-语言模型。OpenAI 的 o1 (OpenAI 2024 ([1](https://arxiv.org/html/2608.13760#bib.bib19)))、DeepSeek-R1 (Guo et al. 2025 ([9](https://arxiv.org/html/2608.13760#bib.bib9)))、Qwen3 (Yang et al. 2025 ([26](https://arxiv.org/html/2608.13760#bib.bib26)))、Kimi-k1.5 (Team et al. 2025 ([22](https://arxiv.org/html/2608.13760#bib.bib22))) 等模型现在通常能在难题上产生长推理链，并且常常优于其指令微调版本。然而，更长的推理链也更容易让人将深思熟虑与可靠推理混为一谈。准确率表明模型是否得出正确答案，但并不揭示模型使用了哪些行为、遇到了哪些失败，或者思维痕迹中更常见的行为是否与正确性最相关。  

在本文中，我们研究思维模型是否放大了与正确答案最相关的推理行为。这一区分至关重要，因为一个行为可能变得更频繁，却不一定更能诊断成功推理。模型可能因困惑而表现出更多保守行为，因早期错误而更多地自我纠正，或在未正确检验假设的情况下进行多假设分支。相反，较少见的行为，如根据推理强度校准置信度或应用恰当的领域框架，可能更能预测成功。  

近期工作已开始通过认知启发的分类法、可训练性信号和从思维链痕迹中发现策略来分析推理痕迹 (Gandhi et al. 2025 ([8](https://arxiv.org/html/2608.13760#bib.bib8)); Kargupta et al. 2025 ([11](https://arxiv.org/html/2608.13760#bib.bib11)); Lee et al. 2025 ([13](https://arxiv.org/html/2608.13760#bib.bib13)))。我们不仅描述推理痕迹中出现的行为，还通过比较思维模型和指令模型，并区分*行为普遍性*与*行为提升*来深入研究。  

为了区分普遍性和提升，我们用跨模态行为分类法标注推理痕迹，涵盖推理行为、失败模式、推理质量标签、推理类型标签、摘要指标，以及针对多模态 VLM 的视觉基础。我们形式化了两个指标：(1) 行为提升（Behavioral Lift），衡量模型痕迹中某行为存在与不存在时正确率的差异；(2) 恢复率（Recovery Rate），衡量模型尽管表现出至少一种推理失败，仍能达到正确答案的频率。  

我们使用该分类法评估了来自 7 个模型家族的 15 个模型，涵盖 6 个基准测试，任务范围从纯视觉谜题 (VisualPuzzles) (Song et al. 2025 ([21](https://arxiv.org/html/2608.13760#bib.bib21))) 和逻辑推理 (LogiQA2) (Liu et al. 2020 ([15](https://arxiv.org/html/2608.13760#bib.bib15)))，到数学推理 (MathVista, MATH-500) (Lu et al. 2024 ([16](https://arxiv.org/html/2608.13760#bib.bib16)); Hendrycks et al. 2021 ([10](https://arxiv.org/html/2608.13760#bib.bib10)))，再到知识密集型问答 (MMMU, MMLU-Pro) (Yue et al. 2024 ([28](https://arxiv.org/html/2608.13760#bib.bib28)); Wang et al. 2024 ([23](https://arxiv.org/html/2608.13760#bib.bib23)))。通过 LLM-as-judge 标注，我们生成了 15,282 份行为分析图谱。  

参考图 1：思维导向训练放大的内容与预测成功的内容之间的脱节。每个点代表九种跨模态高阶行为之一，在 VLM 和 LLM 中取平均值 (N=15,282)。右上象限为空：思维训练最放大的行为并非与正确性最相关的行为。  

我们的分析揭示了“放大-提升差距”：思维训练最放大的行为并非与正确性最相关的行为。如图 1 ([https://arxiv.org/html/2608.13760#S1.F1](https://arxiv.org/html/2608.13760#S1.F1)) 所示，没有行为既被强烈放大又强烈预测成功。思维模型选择性地放大了自我纠正、假设检验和不确定性承认，而对包括置信度校准和知识对齐在内的其他六种行为则基本保持不变。置信度校准在两种模态中都是正确性最强的正向信号之一 (+72–80%)，而不确定性承认虽然被强烈放大，却与正确性关联微弱或呈负相关。思维模型在需要扩展推理的任务上恢复得更好，在知识密集型任务上失败更少，而指令模型在需要快速识别逻辑形式即可成功的任务上可能表现更优。  

本文有四个贡献：  
- • 我们引入了行为提升（Behavioral Lift）指标，它区分了行为出现的频率及其与推理正确性的关联强度。  
- • 我们引入了一个包含 9 种行为和 15,282 条标注痕迹的跨模态行为分类法，这些痕迹来自 6 个基准测试上的 15 个 LLM 和 VLM。  
- • 我们为放大-提升差距提供了经验证据，发现以思维为导向的模型并未表现出提升幅度最大的行为。  
- • 我们确立了“恢复”作为思维模型优势背后的机制；我们发现，当任务奖励扩展计算或从失败中恢复时，思维模式有所帮助。  

我们发布了所有标注提示、指标代码和行为标注。  

## 2 分类法与指标  
我们开发了一个从多个维度刻画推理痕迹的行为分类法，并定义了两个捕捉推理质量方面的指标。该分类法包括跨模态推理行为、失败模式、推理质量标签、推理类型标签、摘要指标，以及针对 VLM 的视觉基础。  

### 2.1 设计原则  
以下三个原则指导分类法：(1) 我们标注推理过程（而不仅是最终答案），区分有效逻辑与幸运猜测；(2) 我们使用模态中立语言定义跨模态的九种高阶行为；(3) 我们区分行为普遍性与行为提升，因为频繁出现的行为并不总是与成功最相关的行为。  

### 2.2 分类法结构  
分类法分为六组，完整定义见附录表 24 ([https://arxiv.org/html/2608.13760#A7.T24](https://arxiv.org/html/2608.13760#A7.T24)) 和 26 ([https://arxiv.org/html/2608.13760#A7.T26](https://arxiv.org/html/2608.13760#A7.T26))。其中两组支持本文的主要分析：支持跨模态比较的九种高阶行为，以及支持恢复率分析的失败模式。其余组提供特定模态的基础和描述性上下文：推理质量区分可靠推理与幸运猜测，推理类型刻画所使用的推理形式，摘要指标提供简洁的痕迹级总结，视觉基础捕捉 VLM 痕迹中的图像使用。我们在附录 G ([https://arxiv.org/html/2608.13760#A7](https://arxiv.org/html/2608.13760#A7)) 中单独分析了这些 VLM 特定的基础标签。  

**高阶行为（9 种，两种模态均定义）**。遵循元认知文献中的区分 (Nelson 1990 ([18](https://arxiv.org/html/2608.13760#bib.bib18)); Brown 1987 ([4](https://arxiv.org/html/2608.13760#bib.bib4)))，我们将九种行为（表 1 ([https://arxiv.org/html/2608.13760#S2.T1](https://arxiv.org/html/2608.13760#S2.T1))）组织为三个功能类别：**控制/调节**（计划、目标跟踪、假设检验、自我纠正）、**监控/判断**（不确定性承认、置信度校准、自我意识）和**认识论基础**（证据引用、知识对齐）。¹ 我们的分组基于元认知中监控与控制/调节的标准区分 (Nelson 1990 ([18](https://arxiv.org/html/2608.13760#bib.bib18)); Schraw & Dennison 1994 ([20](https://arxiv.org/html/2608.13760#bib.bib20)))，同时将证据引用和知识对齐视为单独的认识论基础家族。我们根据这些类别在推理痕迹中的可观察角色来定义它们，而非声称与特定内部认知机制相对应。这三个类别是描述性的，将跨模态行为置于文献脉络中，而我们的经验分析则根据思维导向训练对行为的放大强度对其进行分组。所有九种行为均使用模态中立语言定义（例如，无论模型是纠正视觉解释还是数学推导，“自我纠正”指代的行为相同）。这些行为是放大分析和行为提升分析的基础。  

**失败模式（每种模态 7 种，4 种两种模态共用定义）**。每个失败模式被标注为存在或不存在（true 表示失败发生）。四种失败模式在 LLM 和 VLM 痕迹中使用相同定义：逻辑失败（无效推理）、事后合理化（从答案反向工程的推理）、捷径（跳过必要步骤）和幸运猜测（推理错误但答案正确）。VLM 变体增加了视觉幻觉、视觉忽视和语言偏见方面的失败模式。LLM 变体增加了事实错误、上下文误读和知识缺口方面的失败模式。先前的行为分类法 (Gandhi et al. 2025 ([8](https://arxiv.org/html/2608.13760#bib.bib8)); Kargupta et al. 2025 ([11](https://arxiv.org/html/2608.13760#bib.bib11))) 表征了模型表现良好的方面，但未强调失败案例。明确的失败标注使我们能够进行恢复率分析，衡量模型在表现出失败的情况下是否能达到正确答案。  

表 1：用于跨模态分析的九种行为。完整定义见附录表 24 ([https://arxiv.org/html/2608.13760#A7.T24](https://arxiv.org/html/2608.13760#A7.T24)) 和 26 ([https://arxiv.org/html/2608.13760#A7.T26](https://arxiv.org/html/2608.13760#A7.T26))。  

### 2.3 指标  
我们定义两个指标来研究驱动本文的问题。  
**行为提升**。模型推理的正确率在行为存在时差异有多大？对于每个行为 b，我们计算：  
提升(b) = P(正确 | b=true) - P(正确 | b=false) \text{Lift}(b) = P(\text{正确}\mid b=\texttt{true}) - P(\text{正确}\mid b=\texttt{false}) \quad (1)  
正向提升² 意味着该行为存在时与更高的准确率相关；负向提升意味着与更低的准确率相关。我们注意到，提升并不蕴含因果关系：一个行为可能有高提升，是因为模型正走在正确道路上，而非它是正确性的原因。因此，我们将提升作为推理行为的描述性度量，而非行为效应的因果估计。我们在主要分析中按模态对所有模型的样本合并计算提升，并报告每个模态的值以评估跨模态一致性。补充分析在单个基准测试和单个模型内计算相同量以评估稳定性。  

**恢复率**。模型能否在表现出推理失败的情况下仍达到正确答案？对于模型 m 的一组响应：恢复(m) = P(正确 | ∃ f ∈ F_all : f=true) \text{恢复}(m) = P(\text{正确}\mid \exists\, f\in\mathcal{F}_{\text{all}}:f=\texttt{true}) \quad (2)  
其中 F_all 包括相关模态的所有 7 种失败模式。高恢复率表明模型尽管存在检测到的失败，仍能达到正确答案。  

## 3 实验设置  
我们在 6 个基准测试上评估了 15 个模型，选择模型以实现思维和指令变体之间的家族内匹配比较，选择基准测试以覆盖从推理到知识密集型任务的任务谱。  

### 3.1 模型  
我们选择那些思维和指令微调变体均来自同一模型家族且公开可用的模型，以实现家族内比较（见附录表 6 ([https://arxiv.org/html/2608.13760#A7.T6](https://arxiv.org/html/2608.13760#A7.T6))）。我们的评估包括来自 3 个家族、参数量从 3B 到 9B 的 15 个开源权重模型：4 个思维和 3 个非思维 VLM，以及 4 个思维和 4 个非思维 LLM，在可用处尽可能有匹配的思维/非思维对。  

### 3.2 基准测试  
我们选择基准测试以覆盖每种模态的三种任务类型。对于 VLM：VisualPuzzles（视觉推理）、MathVista（视觉数学推理）和 MMMU（多模态知识）。对于 LLM：LogiQA2（逻辑推理）、MATH-500（数学推理）和 MMLU-Pro（涵盖 14 个领域的知识密集型任务）。这种设计在每个模态内创建了从基于结构到知识密集型推理的任务谱。我们针对每个基准测试收集 350 个响应，MathVista 除外，我们使用 testmini 分区中的 300 个。最终计数略低于这些目标，因为少量响应因输出解析失败而被排除。我们总共标注了 15,282 个响应。  

### 3.3 评估协议  
**推理**。所有模型在标准化条件下评估，保留完整痕迹用于标注；详情见附录 A ([https://arxiv.org/html/2608.13760#A1](https://arxiv.org/html/2608.13760#A1))。  
**行为标注**。我们使用 LLM-as-judge (GPT-4o) 标注每个响应。判断模型接收问题、标准答案和模型的完整输出，并对相关分类法中的所有行为产生二元标注。对于置信度校准，判断模型仅在模型表达的置信度与痕迹中观察到的推理强度一致时标记 true，当痕迹明显相对于该推理过度自信或不够自信时标记 false。标注提示为每种行为提供了明确的定义和标准（附录页 G ([https://arxiv.org/html/2608.13760#A7](https://arxiv.org/html/2608.13760#A7)) 和 G ([https://arxiv.org/html/2608.13760#A7](https://arxiv.org/html/2608.13760#A7))）。  
**判断验证**。为评估标注可靠性，我们将 GPT-4o³ 的标注与三个独立判断模型（DeepSeek-V3 (DeepSeek)、Gemini-2.5-Flash (Google) 和 Gemini-3-Flash (Google)）的标注进行比较。GPT-4o 也被证明能有效监控来自 CoT 痕迹的更强推理模型 (Baker et al. 2025 ([2](https://arxiv.org/html/2608.13760#bib.bib2)))；我们的使用是分类法标注，我们通过跨判断器一致性、人工检查和鲁棒性分析来验证。