推理微调诱导持续潜在策略状态

# 推理微调诱导持久的潜在策略状态

来源：https://arxiv.org/html/2607.18532

Abir Harrasse¹\*、Michael Lan¹\*、Hunar Batra²、Fateme Hashemi Chaleshtori³、Chaithanya Bandi¹  
¹Martian，²牛津大学，³犹他大学  
\*主要贡献者

###### 摘要

推理专用语言模型相比基础模型展现出显著的性能提升，但导致多步推理改进的内部变化仍未被充分理解。目前尚不清楚推理微调是改善了局部的 token 级能力，还是在全局上重组了模型随时间组织推理的方式。我们通过将思维链推理建模为一个切换动力系统 (SDS) 来探讨这个问题，在该系统中，内部表征在离散的潜在策略状态下演化。我们的框架将时间感知对比表征学习与离散模式发现相结合，从激活轨迹中恢复潜在策略。在四个基准测试和从 1.5B 到 32B 参数的模型规模上，经过推理微调的模型相比其基础模型展现出更丰富的潜在策略组织，其特点是更具差异性的转移结构以及与模型相关的状态利用率、持久性和混合性变化。恢复出的模式表现出与不同推理阶段对齐的功能特化，大量控制实验证实其结构并非由正确性、表征学习或建模先验所解释，而是依赖于推理轨迹的连贯时间组织。因果干预进一步表明这些模式在功能上是有意义的：状态交换消融降低了单步预测拟合度，而将推理动态移植到基础模型上则能提高在困难推理问题上的性能。最后，在 12 个模型-数据集设置中的 11 个中，SDS 引导的易失败推理前缀剪枝优于自一致性，性能提升高达 12.5 个百分点。综合来看，我们的结果表明推理微调在全局上重组了潜在动态，为推理模型的机制分析和过程级控制提供了新视角。  
代码：https://github.com/withmartian/mi-cot

## 1 引言

大型语言模型在经过专门的微调后，在思维链 (CoT) 推理方面展现出显著改进 (DeepSeek-AI, 2025 (https://arxiv.org/html/2607.18532#bib.bib9); Shao 等人, 2024 (https://arxiv.org/html/2607.18532#bib.bib26); Huang 等人, 2026 (https://arxiv.org/html/2607.18532#bib.bib13))。然而，导致这些改进的内部变化仍未被充分理解 (Yue 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib39); Wu & Choi, 2025 (https://arxiv.org/html/2607.18532#bib.bib34); Ward 等人, 2025a (https://arxiv.org/html/2607.18532#bib.bib32))。特别是，目前尚不清楚推理微调主要是改善了局部的 token 级能力，还是在全局上重组了那些构成扩展时域推理结构的潜在计算动态。建立这种结构具有挑战性，因为 CoT 推理是一个分支时间过程，涉及随机采样和可能的轨迹分布 (Macar 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib19); Lee 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib15))。因此，CoTs 被建模为能够捕捉分支推理状态之间长程转移的动力系统 (Carson, 2025 (https://arxiv.org/html/2607.18532#bib.bib6))。这一观点表明，推理行为可能受低维潜在策略状态支配，这些状态在整个推理过程中塑形未来的内部动态。

参见说明 参见说明  
图 1：左侧：我们框架的概览。基础模型 Mθ\\mathcal\{M\}\_{\\theta} 经过推理微调生成 Mθ′\\mathcal\{M\}\_{\\theta^\{\\prime\}}。我们为每个模型的激活轨迹拟合一个切换动力系统 (SDS)，并恢复潜在模式的序列。推理微调重组了状态利用率、持久性和混合性，同时产生了更具差异性的转移动态。恢复出的推理策略可以移植到基础模型 MT\\mathcal\{M\}\_{T} 上，以测试其因果和功能相关性。右侧：模型激活 h1:nh\_{1:n} 使用 CEBRA 对比编码器编码为低维表征 z1:nz\_{1:n}。通过前向-后向平滑的 EM 算法恢复离散的潜在模式序列 s1:ns\_{1:n}，其中 st∈\{1,...,K\}s\_t\\in\\\{1,\\ldots,K\\\} 表示步骤 tt 处活跃的推理策略状态。

在这项工作中，我们通过使用*切换动力系统* (SDS) 对激活轨迹进行建模，来比较微调后的推理模型与其基础模型，该模型能够恢复离散的、低维的潜在策略状态 (Ackerson & Fu, 1970 (https://arxiv.org/html/2607.18532#bib.bib1); Ghahramani & Hinton, 2000 (https://arxiv.org/html/2607.18532#bib.bib11); Linderman 等人, 2017 (https://arxiv.org/html/2607.18532#bib.bib17))。我们将 SDS 与时间感知的对比流形学习 (Schneider 等人, 2023 (https://arxiv.org/html/2607.18532#bib.bib25)) 相结合，发现推理微调诱导了更丰富的潜在策略组织，这最一致地体现在更具差异性的转移结构上。状态利用率、持久性和混合性也发生变化，其贡献因模型和数据集而异。恢复出的状态表现出与推理阶段对齐的功能特化，而当状态空间过度碎片化时，预测性会下降。总体而言，推理微调似乎全局性地重组了内部动态，使模型能够在扩展的跨度上维持和切换连贯的计算模式。我们将这种时间和功能结构称为*潜在推理策略*，但不假设它定位于模型的某个特定组件。我们的贡献如下：

1. 1. 我们形式化了一个动力系统框架，用于揭示基础模型与推理微调模型之间内部推理结构的差异。
2. 2. 我们提供了经验证据，表明推理微调诱导了更丰富的潜在策略组织，其特点是更具差异性的转移结构以及与模型相关的状态利用率、持久性和混合性变化。
3. 3. 我们引入了 CEBRA 用于潜在推理状态分析，并表明在我们的设置中，它比 PCA 提供了更强的预测拟合度与结构化模式恢复之间的平衡。
4. 4. 我们展示了推断出的潜在推理策略是可操作的：因果状态交换和政策移植干预确立了恢复动态的功能相关性和可迁移性，而 SDS 引导的易失败推理前缀剪枝 (PrefixGuard) 在 12 个模型-数据集设置中的 11 个中优于自一致性，性能提升高达 12.5 个百分点。

## 2 相关工作

**比较基础模型与推理微调模型。** 推理微调通常结合监督微调、蒸馏和使用可验证奖励的强化学习 (RLVR) (Lambert 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib14); DeepSeek-AI, 2025 (https://arxiv.org/html/2607.18532#bib.bib9))。越来越多的研究表明，RLVR 通过将概率质量重新分配至基础模型已经支持的、更可能成功的轨迹，而不是创建全新的推理过程，来改进推理 (Yue 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib39); Wu & Choi, 2025 (https://arxiv.org/html/2607.18532#bib.bib34); Nguyen 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib22); Zhu 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib41))。虽然经过 RL 训练的模型在小采样预算下通常优于其基础模型，但基础模型有时可以在较大的 pass@kk 下匹敌甚至超越它们，这表明 RLVR 改善了轨迹排序和采样效率，同时缩窄了探索范围 (Yue 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib39); Nguyen 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib22); Ward 等人, 2025a (https://arxiv.org/html/2607.18532#bib.bib32))。Wu & Choi (2025 (https://arxiv.org/html/2607.18532#bib.bib34)) 通过支持和熵来刻画这种效应，而 Wang 等人 (2025a (https://arxiv.org/html/2607.18532#bib.bib29)) 表明 RLVR 不成比例地作用于与推理轨迹中关键分支对应的高熵 token (Huang 等人, 2026 (https://arxiv.org/html/2607.18532#bib.bib13))。这些发现关注的是后训练如何改变*哪些*推理链被选中；我们则追问它如何改变这些链展开时的内部动态。

**推理的机制可解释性与控制。** 先前的机制可解释性工作表明，推理微调重新利用了基础模型中已存在的潜在表征，而不是构建全新的机制 (Ward 等人, 2025a (https://arxiv.org/html/2607.18532#bib.bib32); Minder 等人, 2026 (https://arxiv.org/html/2607.18532#bib.bib20); Ward 等人, 2025b (https://arxiv.org/html/2607.18532#bib.bib33); Muhamed 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib21); Wang 等人, 2025b (https://arxiv.org/html/2607.18532#bib.bib30))。Venhoff 等人 (2025b (https://arxiv.org/html/2607.18532#bib.bib28)) 进一步认为基础模型已经包含许多相关的推理行为，后训练主要教会模型何时部署它们。在更细粒度上，思考 token 和思想锚点识别出不成比例地影响后续推理的决策点 (Qian 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib24); Bogdan 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib5))，而转向向量方法局部化和操控单个推理行为 (Venhoff 等人, 2025a (https://arxiv.org/html/2607.18532#bib.bib27))。隐藏状态聚类也提供了推理通过离散内部阶段展开的证据 (Liang 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib16))。相关方法利用这种轨迹结构进行推理时改进。CTRLS 将 CoT 推理建模为潜在状态转移，并使用分布强化学习进行状态感知探索 (Wu 等人, 2026 (https://arxiv.org/html/2607.18532#bib.bib35))，而 SEAL 在潜在空间中分离执行、反思和转移思想，并将表征引导向更富有成效的推理 (Chen 等人, 2025 (https://arxiv.org/html/2607.18532#bib.bib7))。与那些在一个模型内建模、排序或控制轨迹的方法不同，我们追问推理微调如何相对于其基础模型重组潜在动态。我们的 SDS 公式通过状态利用率、持久性、转移组织和预测动态来解决这个问题，随后是因果策略移植和流程级的易失败推理轨迹剪枝。

**内部表征的动态和生成模型。** 我们的方法建立在理论工作之上，这些工作确立了从观测轨迹恢复切换动力系统和相关马尔可夫切换模型的条件 (Ackerson & Fu, 1970 (https://arxiv.org/html/2607.18532#bib.bib1); Ghahramani & Hinton, 2000 (https://arxiv.org/html/2607.18532#bib.bib11); Linderman 等人, 2017 (https://arxiv.org/html/2607.18532#bib.bib17))。Balsells-Rodas 等人 (2024 (https://arxiv.org/html/2607.18532#bib.bib4)) 提供了从数据中识别 SDS 参数和离散模式的条件。作为补充，Luo 等人 (2026 (https://arxiv.org/html/2607.18532#bib.bib18)) 在残差流激活上训练扩散模型，以捕捉网络内部状态的分布，并为更忠实的干预提供先验。我们将 SDS 与对比表征学习 (Schneider 等人, 2023 (https://arxiv.org/html/2607.18532#bib.bib25)) 相结合，使用 CEBRA 来获得在我们的设置中经验上支持比 PCA 更强的模式恢复的嵌入。同期，Carson (2025 (https://arxiv.org/html/2607.18532#bib.bib6)) 展示了句子级隐藏状态可以用低维切换线性动力系统建模，其中模式捕捉推理轨迹中不同的漂移和转移模式。与他们的基于 PCA 的状态空间研究单个模型内的模式不同，我们使用 CEBRA 衍生的嵌入来比较配对的基础和推理微调模型，并测试恢复出的差异是否在因果和实践上可行。

## 3 推理作为切换动力系统

### 3.1 问题设定

我们研究 LLM 中的推理是否可以用持久的、低维的潜在策略状态来描述，这些状态支配未来的内部激活动态。我们将其形式化为一个预测性潜在变量问题：我们假设存在一个离散的潜在状态（即模式）st∈{1,...,K}s\_t\\in\\\{1,\\dots,K\\\}，它 (i) 随时间持续存在，(ii) 支配内部表征的演化，并且 (iii) 可以从观测到的激活轨迹中识别。设 ht∈Rdh\_t\\in\\mathbb\{R\}^d 表示推理步骤 tt 处的残差流激活，其中每个步骤对应于模型生成的思维链轨迹中一个确定性分割的句子。我们通过采样模型对每个推理提示的完整响应来获得轨迹，然后使用基于标点符号的边界将每条轨迹分割成句子级单元；hth\_t 在第 tt 个句子的最后一个 token 处提取。关于选择 CEBRA 而非 PCA 进行降维，以及选择 EM 而非混合专家公式进行参数估计，均在附录 E.4 (https://arxiv.org/html/2607.18532#A5.SS4) 中进行了经验论证。

### 3.2 切换动力系统公式

我们将推理建模为一个潜在马尔可夫过程，其中离散策略状态 sts\_t 支配连续内部表征 ztz\_t 的局部演化：

P(st+1=j∣st=i)\displaystyle P(s\_\{t+1\}=j\\mid s\_\{t\}=i)=Tij,\displaystyle=T\_\{ij\}, (1)
P(zt+1∣zt,st=i)\displaystyle P(z\_\{t+1\}\\mid z\_\{t\},s\_\{t\}=i)=pi(zt+1∣zt).\displaystyle=p\_\{i\}(z\_\{t+1\}\\mid z\_\{t\}). (2)

在用于推断的线性-高斯实例中，动态采用以下形式：

zt+1=Astzt+bst+εt,εt∣st∼N(0,Σst),z\_\{t+1\}=A\_\{s\_\{t\}\}z\_\{t\}+b\_\{s\_\{t\}\}+\\varepsilon\_\{t\},\\quad\\varepsilon\_\{t\}\\mid s\_\{t\}\\sim\\mathcal\{N\}(0,\\Sigma\_\{s\_\{t\}\}), (3)

其中 {st}\\{s\_\{t\}\\} 是一个不可约、非周期的马尔可夫链，转移矩阵为 T⋆T^\{\\star\}。我们进一步假设非平凡的自转移 pstay>1/K⋆p\_\{\\mathrm\{stay\}\}>1/K^\{\\star\}（持久模式）以及 i≠ji\\neq j 时不同的模式参数（完整理论和形式化假设见附录 B (https://arxiv.org/html/2607.18532#A2)）。

### 3.3 通过 CEBRA 进行降维

原始激活 hth\_t 使用 CEBRA 风格的对比编码器 (Schneider 等人, 2023 (https://arxiv.org/html/2607.18532#bib.bib25)) 投影到观测到的 dd 维嵌入轨迹 ztz\_t 中。正样本对来自同一问题的临时相邻步骤；负样本来自同一问题的临时远距离步骤或来自不同问题的步骤。编码器使用 InfoNCE 目标进行训练：

LNCE=−log⁡exp(zt⊤zt+/τ)exp(zt⊤zt+/τ)+∑t−exp(zt⊤zt−/τ),\\mathcal\{L\}\_\{\\text\{NCE\}\}=-\\log\\frac\{\\exp(z\_\{t\}^\{\\top\}z\_\{t^\{\+\}\}/\\tau)\}\{\\exp(z\_\{t\}^\{\\top\}z\_\{t^\{\+\}\}/\\tau)+\\sum\_\{t^\{\-\}\}\\exp(z\_\{t\}^\{\\top\}z\_\{t^\{\-\}\}/\\tau)\},