停止向量：内化因果干预以实现高效推理

# 内化因果引导干预以实现高效推理  
**来源**：https://arxiv.org/html/2608.28859  
**作者**：Tinuade Adeleke  
**隶属**：独立研究员  

###### 摘要  
推理模型不会在知道答案时就停止。在DeepSeek-R1-Distill-Qwen-7B上，思维链的长度大约是模型自身答案概率稳定所需长度的两倍，而其中可缩减的部分因问题而异，因此全局长度惩罚无法有效去除。我们通过将因果可解释性发现内化到权重中来实现这一目标。核心机制是**停止向量**：该模型第18层的一个均值差方向，其引导强度控制着模型的思考时长，而复制的价值轴（Jiang et al., 2026）则无此效果。将该干预安装到权重中比看起来更困难。直接最大化向量在目标方向上的标量投影会破坏下游固定读取器所依赖的非轴向维度，导致生成变长而非变短；有效的方法是**重建整个受引导的激活值**，同时固定非轴向维度为其自然值。通过24个问题拟合（无需强化学习），该停止机制在保持准确率的前提下，在五个未见基准测试中减少了约四分之一的思考量，且缩减量与每个问题可缩减空间的相关性达到0.70。它还修复了随难度增加而加剧的非终止问题——解码时置信度钩子反而会加剧该问题。我们并非声称在原始压缩-准确率权衡上优于精心调优的长度惩罚（Arora & Zanette, 2025; Liu et al., 2025）或解码时早退方法（Yang et al., 2025）；本工作的贡献在于**停止机制的获取方式**。

## 1 引言  
推理模型通过两个可见阶段作答：以``和`</think>`为界的长思维链（Wei et al., 2022; Guo et al., 2025; Jaech et al., 2024），随后给出最终答案。思维链提高了准确率，但这些模型往往**过度思考**，在得出正确答案后仍会重复推导、复核，甚至推翻原答案（Chen et al., 2024; Sui et al., 2025）。在DeepSeek-R1-Distill-Qwen-7B上，知道答案与停止思考之间的差距显著且稳定：基础模型上基于探针的置信度估计中位数约在1,650个思考令牌时饱和，且在所有训练变体中保持相近，而相同生成过程的中位数长度达3,700个令牌，比率高达2.24倍。比较需在同等条件下进行：13%的生成过程在16k上限前未饱和，它们贡献了最长达约4,100个输出令牌（或均值6,280，即结果表报告的统计量），若将其计入分子会虚增比率。这类长尾生成危害显著：若能在最佳内部时刻停止，开发集准确率可从0.664提升至0.823，因为它在21.0%的问题上会推翻正确答案，却仅在5.1%的问题上挽救错误答案。

#### 为何常规目标无效  
奖励简短性、模仿短轨迹或偏好简短补全都无法实现**问题自适应停止**（完整分析见附录A）。无论是长度惩罚还是针对模型已知答案点预算逐步优化的**结果级强化学习**，都只能修剪最长尾部。内部可回答点并未移动，而简单的全局长度惩罚与我们尝试的每种问题特定预算方案效果相当甚至更优，因为针对5000令牌轨迹的单一标量奖励无法定位停止点。监督模仿与偏好方法则互补性失效：停止与提交令牌仅占令牌损失的0.34%，因此普通微调无法改变长度，长度归一化偏好抵消了长度信号，偏好优化会导致似然位移；只有提高停止令牌的权重才能改变长度，但这会以准确率每降一点换长度缩短一点为代价。因此我们为推广设定了门槛：**方法必须在保持准确率的前提下缩短其自身训练问题的生成长度**（第6.1节）。

#### 从诊断到干预  
我们的方法源于近期的可解释性成果。Jiang et al. (2026) 基于上下文强化学习数据构建线性价值轴，证明引导该轴可调节置信度、自我纠正和冗长性。我们在自身模型上复现了其均值差方法论，并研究两个方向：一是其从上下文猜测游戏中构建的价值轴，二是基于数学推理中模型答案锁定点构建的方向。价值轴与停止向量近似正交，不控制数学停止行为，因此作为对照组；而停止向量是因果性停止开关（第4节）。这解耦了以往失败目标混为一谈的两要素：**如何停止**（因果执行器）与**何时停止**（由强制回答点给出的问题时序信号）。

#### 贡献  
（1）在DeepSeek-R1-Distill-Qwen-7B上，第18层均值差停止向量是因果性停止开关：引导它可缩短生成长度（ρ=−0.82），而Jiang et al.的价值轴效果平坦（+0.09）（第4节）。（2）实现控制需**重建受引导激活值**并固定非轴向维度；标量投影目标会破坏非轴向维度并延长生成（第5节）。（3）成果是无需钩子、问题自适应的自我停止机制：通过24个问题拟合（无强化学习），在保持准确率的前提下，在五个未见基准中平均减少约24%的思考量，问题自适应性（可缩减空间与实际缩减的相关性达0.70），且在三个随机种子上稳定（第6节）。（4）量级匹配的方向特异性对照（价值轴或随机方向）无法安装停止机制（第6.2节）。（5）停止机制同时修复了基础模型的非终止问题——该病理随难度加剧（第6.4节）。（6）扩展性与失败模式：单次训练会侵蚀停止向量，权重空间突发合并可安全扩展数据，截断是干净负向结果，我们基于相同评估器的解码时最强竞争方法实现在困难集上保持准确率，而原方法会牺牲准确率（第7、8节）。

#### 我们未声称的内容  
我们未声称在原始压缩-准确率权衡上优于精心调优的长度惩罚强化学习方法（Arora & Zanette, 2025; Liu et al., 2025）或解码时早退方法（Yang et al., 2025）。我们的效率具有竞争力而非最优；贡献在于**机制**及**无服务时开销、无需强化学习流水线**的部署方案。

## 2 相关工作  
#### 高效推理  
推理模型的过度思考已有充分记录（Chen et al., 2024; Sui et al., 2025），缓解方案分为四类：长度惩罚强化学习（奖励更短的正确生成过程，DLER为当前最优）、测试时预算控制（推理时限制令牌预算）、解码时动态早退（置信度信号超阈值时停止）、监督或基于提示的思维链压缩。DLER最接近我们，其更新选择性权重合并与难度感知截断与我们的想法相邻，但仍是基于多问题的结果级强化学习。我们的停止机制与这四类正交：**基于因果内部信号的问题自适应学习**。

#### 读取推理状态  
平行研究表明，隐藏状态可线性编码思维链在完成前是否会成功（Afzal et al., 2025）以及中间答案是否正确（Zhang et al., 2025）。Zhang et al. (2025) 使用此类探针作为验证器触发早退，报告约24%的令牌减少且准确率不变。我们的目标是**基于真实强制回答测量**而非学习探针，且将停止机制安装在权重中，因此推理无需辅助模型。

#### 激活引导与方向内化  
大量工作通过均值差构建概念方向并在推理时读取或引导（Li et al., 2023; Turner et al., 2023; Rimsky et al., 2024; Arditi et al., 2024），属于表示工程范畴。最接近的是将方向移入权重的工作：Arditi et al. (2024) 通过权重正交化固化拒绝消融，Ackerman (2024) 通过最大化余弦相似性将引导向量微调到残差流，Fierro & Roger (2025) 在权重空间隔离行为方向并主张此类编辑比激活引导更具泛化性。我们在两点上与前者不同：**现有表示调整最大化标量余弦相似性**，而我们证明这会破坏非轴向维度，因此需要重建整个受引导激活值；我们固定下游读取器并针对问题特定点，安装**条件停止**而非全局行为偏移。

#### 价值轴  
Jiang et al. (2026) 基于上下文强化学习构建价值轴，证明引导该轴可调节Qwen3-8B上的置信度表达、回溯和冗长性。我们采用其均值差构建方法，但在DeepSeek-R1-Distill-Qwen-7B上，其价值轴与我们停止向量近似正交，不控制数学停止行为，因此作为对照组。同期研究发现强化学习会招募类似功能轴（Han et al., 2026），且语言不确定性是可操作的线性特征（Ji et al., 2025）。

#### 模型合并  
我们的安全扩展结果基于权重空间合并：我们以模型汤的方式平均独立训练的LoRA适配器，并与符号感知TIES方案对比，两者均可通过任务算术理解（微调模型减去基础模型定义可组合任务向量）。

## 3 背景：测量模型何时知道答案  
#### 实验设置  
所有训练和评估在Modal（H200 GPU）上运行。模型为DeepSeek-R1-Distill-Qwen-7B（7B参数，28层）。训练问题与离线池来自DeepScaleR；我们在完整MATH500、AMC、AIME 2024/2025集上进行零样本评估。我们保留**价值轴**指代Jiang et al. (2026) 基于上下文强化学习数据构建的方向，该方向在我们的模型上作为对照组（第4节），而将我们基于数学推理中模型答案锁定前后位置构建的均值差方向称为**停止向量**。

#### 强制回答点  
训练模型在知道答案时停止需要可靠测量其“知道”的时刻，基于探针的置信度估计无法安全用于截断：仅检查答案首字母的探针常在推理前因答案格式先验触发，且在93-100%简单池案例中，高置信度下的重构显示页面既无金标准答案也无模型最终答案。因此我们测量真实情况：提取推理至某点，附加短模板`\n\n**Final answer:** $\boxed{`，让模型贪婪输出答案并评分（math_verify将1/2、0.5和$\frac{1}{2}$视为等价）。**强制回答点**$B_{\text{end}}$是强制回答已正确的最早前缀；它自由运行且格式鲁棒，其后所有内容在原则上均为可削减空间。当$B_{\text{end}}$留下大量空间时问题**可压缩**（“金发姑娘”），若无空间则为**锚点**；24个问题的训练集及其独立保留集均为可压缩问题。离线在基础模型上测量并要求金标准答案时，$B_{\text{end}}$是训练目标而非部署信号；将“可以在此强制回答”转化为“选择在此停止”是本工作的目标。

#### 两个方向  
参照Jiang et al. (2026)，我们构建均值差方向：