SPARK：基于敏感性的大语言模型潜在推理状态分析与引导

# SPARK: 基于敏感性的大语言模型潜在推理状态分析与引导

来源：https://arxiv.org/html/2607.10296

张东旭¹，孙一丁¹，郭子豪¹，杨向阳¹，唐凯²，陈林¹，谭成³，朱继华¹

###### 摘要

大语言模型（LLMs）的推理失败通常通过最终答案来评估，但错误的答案并不能揭示模型失败的原因。相同的错误输出可能反映了能力缺失、不稳定的推理轨迹，或未能激活冻结模型中已有的推理状态。现有的提示（prompting）和基于基准（benchmark）的评估方法大多在输出层面操作，而通用的激活引导方法（activation-steering）通常应用全局方向，未诊断哪些示例需要干预。在本文中，我们引入了SPARK，它利用隐藏状态响应来诊断模型是否内部进入有效的推理状态，并指导轻量级的测试时引导（test-time steering）。关键观察是，原始的隐藏状态敏感性（susceptibility）受到提示长度的强烈混淆，特别是在程序化和算法推理中，更难的序列化实例自然变得更长。因此，SPARK使用长度控制下的敏感性来分离输入尺度效应和剩余推理激活，并结合该信号与跨层协调来选择推理活跃锚点（active anchors）和激活不足的困难样本。我们使用FRONTIER-4.5K作为受控的程序化推理套件，用于潜在状态分析和难度感知分析，并在GSM8K和MATH-500上仅通过前向基准分析评估SPARK-Steering。我们的方法在Qwen3系列模型上表现一致；在MATH-500上，Qwen3-4B的准确率从82.0%提升至84.6%，Qwen3-8B从82.4%提升至85.6%。这些结果表明，敏感性不仅可以作为推理失败的诊断信号，还可以作为针对性测试时干预的实用指南。

关键词：大语言模型，思维链，潜在推理状态

![图1](https://arxiv.org/html/2607.10296#S0.F1)
图1: SPARK的动机和概述。基准评估观察正确和错误的答案，并用准确率曲线总结性能，但隐藏了潜在推理状态。SPARK通过潜在状态分析和测试时引导来补充这种输出层面的视角。它诊断隐藏状态响应，选择推理活跃锚点和激活不足的困难目标，并评估引导是否能改善困难示例同时保留简单案例。

## 1 引言

大语言模型（LLMs）在数学、符号和算法推理任务上取得了快速进展[wu2026intern, xu2026nanoresearch, huang2026cfms]，然而它们的推理失败仅从最终答案难以解释[zhang2025ascot]。一个模型可能可靠地解决简单实例，在中等难度输入上变得不稳定，并在问题结构复杂化时急剧失败[tang2026mitigatinghallucinationsinterlayerconsistency, tang2026seememitigatinghallucinationslarge, guo2026fademitigatinghallucinationsreducing]。基准准确率仅在输出层面捕捉这种行为模式[srivastava2023beyond, liang2022holistic]。它告诉我们何时性能下降，但未揭示内部状态发生了何种变化。这一点很重要，因为两个错误答案可能对应不同的内部状态。一种情况，模型可能不具备所需的能力[hendrycks2021measuring]。另一种情况，它可能拥有部分能力但未能激活当前输入所需的潜在计算[wei2022emergent]。此外，困难的推理问题往往变得更长且结构更密集[zhang2026chain]，因此弱的隐藏状态响应可能反映输入规模而非真正的推理崩溃。

当前的评估实践在观察失败与决定如何干预之间形成了差距。准确率曲线可以定位行为能力的边界，但它们未指定当困难示例失败时应该改变什么。提示方法将模型视为黑盒[wei2022chain, kojima2022large]，而微调则改变参数并模糊了冻结模型是否已经包含可用推理状态的问题[hu2022lora, wang2026pointrft, sun2026tri]。因此，一个有用的推理诊断指标应当能在前向传播过程中测量，无需参数更新，并能提供可操作的信号用于针对性测试时干预。

我们通过隐藏状态敏感性来解决这个问题。受敏感性作为对微小扰动的响应的启发[goodfellow2014explaining, novak2018sensitivity]，我们测量当向输入嵌入施加小噪声时，transformer隐藏状态的反应强度。这为每个问题产生一个轻量级的响应信号，初步直觉是接近行为边界的例子可能表现出放大或不稳定的内部响应。我们的实验表明这种直觉需要细化。在程序化推理中，原始敏感性受到提示长度的强烈影响[press2021train, liu2024lost]，特别是在算法任务中，更难的图结构实例在序列化后自然变得更长。随着难度增加，原始隐藏状态响应可能大幅下降，因为输入变长；如果没有长度控制，一个看似描述推理的指标可能实际上描述的是输入规模。

这一观察促使我们采用长度控制下的敏感性视角。我们不是问一个问题是否有高或低的原始响应，而是将其响应与相似长度输入中的预期响应进行比较。由此产生的残差信号在移除主要的输入规模混淆后，能更好地反映推理激活。正残差表明内部激活强于单由长度预测的结果，而负残差则表明激活不足。这种区分对于困难失败尤其重要，因为弱的原始响应可能被误认为是长提示的平凡结果。我们提出SPARK，用于敏感性引导的潜在推理状态分析与引导。遵循图1（https://arxiv.org/html/2607.10296#S0.F1）中的流程，该框架首先从难度-准确率曲线估计行为边界。然后，它使用长度控制下的敏感性和跨层协调来分析潜在状态[geva2021transformer, meng2022locating]，将推理活跃示例与经长度校正后仍激活不足的困难示例分开。这种划分基于校正后的内部证据而非提示长度或原始响应，并将潜在状态分析转化为干预的选择机制[belrose2023eliciting, ghandeharioun2024patchscopes]。

这种诊断进一步使得SPARK-Steering成为可能，这是一种针对冻结模型的针对性测试时干预手段[rimsky2024steering]。SPARK不是应用通用的激活方向，而是从活跃锚点中提取一个推理方向，代表从基线状态到活跃推理状态的潜在转变。在推理过程中，该方向被注入到选定层[turner2023steering, zou2023representation]中的激活不足困难目标。这使得引导成为诊断驱动的选择性行为，旨在修复困难失败，同时保留简单案例，且不更新模型参数。

我们在FRONTIER-4.5K上评估SPARK，这是一个包含4,500个程序化推理实例的套件，涵盖符号组合、逻辑推断和算法推理。这些任务使我们能够比较行为准确率与内部响应随难度变化的情况。算法推理是主要的诊断场景，因为它既呈现出清晰的能力边界，又存在强长度混淆。在本文中，我们的贡献如下：

- • 我们构建了FRONTIER-4.5K，一个带有可执行监督和连续难度标注的推理基准，用于联合行为与潜在状态分析。
- • 我们识别出长度是隐藏状态敏感性分析中的关键混淆因素，表明原始响应信号可能反映输入尺度衰减而非推理激活，尤其是在算法推理中。
- • 据我们所知，我们提出了第一个面向隐式推理状态的敏感性引导引导框架。SPARK从活跃锚点提取推理方向，并在测试时选择性地将其注入激活不足的困难示例。
- • 大量实验表明，SPARK在GSM8K、MATH-500和FRONTIER上均有提升，对更难的推理案例提升更大，并验证了敏感性引导的方向和层选择的重要性。

## 2 相关工作

### 2.1 大语言模型中的推理

大语言模型在数学、符号和常识推理基准上表现出了强大的性能，然而它们的成功往往随着模型规模、提示设计和任务复杂度的变化而急剧变化[zhang2026pointcot, hendrycks2021measuring, cobbe2021training]。大量工作通过在输出空间中引出中间计算来改进推理。思维链（Chain-of-Thought, CoT）提示鼓励模型生成逐步推理过程[wei2022chain]，零样本变体表明这种行为可以通过简单的自然语言指令触发[kojima2022large]，而自一致性（self-consistency）通过对多个采样推理路径进行边际化来提高鲁棒性[zhang2026not]。后续的提示方法进一步将困难问题分解为更简单的子问题或在中间推理状态中进行搜索，例如从少到多提示（least-to-most prompting）、思维树（Tree of Thoughts）以及带有行动的ReAct风格推理[zhou2022least, yao2023tree, yao2022react]。其他工作研究了验证器引导的推理和过程监督，强调正确的最终答案可能取决于中间推理轨迹的稳定性[zelikman2022star, lightman2024let]。这些方法主要通过提示、示范、解码或对生成推理过程的监督来运作。相比之下，SPARK主要目的不是引出更长或更显式的推理轨迹；而是诊断模型是否内部进入了推理活跃状态。

### 2.2 激活引导与测试时控制

另一类研究在不更新参数的情况下，在推理时控制语言模型。早期方法通过外部判别器、梯度或未来token评分来引导生成[yang2021fudge, krause2021gedi, dathathri2019plug]。最近的激活层面方法直接使用来自对比提示或表征分析的方向修改内部状态[li2023inference, rimsky2024steering]。激活加法（activation addition）、表征工程（representation engineering）、推理时干预（inference-time intervention）和对比激活加法（contrastive activation addition）表明，向选定的隐藏层添加向量可以在无需完全微调的情况下引导诸如情感、诚实、毒性或拒绝行为等属性[turner2023steering, zou2023representation]。这些结果表明一些模型行为是沿着激活空间中可操纵的方向组织的。SPARK-Steering将这一思想应用于推理，但在两个方面有所不同。首先，引导方向不是从通用的语义对比中选择；而是从由长度控制下的敏感性和跨层协调Φ选择的推理活跃锚点中提取。其次，干预的目标不是全局的风格或安全属性，而是一种特定的失败模式：隐藏状态相对于同长度输入激活不足的高难度示例。这将潜在诊断与推理的因果性测试时干预联系起来。

## 3 推理基准

我们的分析需要一个不仅暴露最终答案的基准。为了将行为边界与潜在激活一起研究，每个实例应提供验证过的监督、一个受控的难度坐标以及关于其生成结构的元数据。我们构建了FRONTIER-4.5K，一个包含4,500个生成实例的程序化推理基准，用于评估输出准确率和隐藏状态响应。FRONTIER-4.5K包含三个领域，每个领域1,500个实例。符号组合要求对符号和变量绑定进行多步变换；逻辑推断要求带干扰事实的多跳规则链推理；算法推理要求基于图的过程查询，如连通性、路径存在性和最短路径问题[velivckovic2022clrs, markeeva2024clrs]。所有答案由确定性求解器生成，避免了基于模型的评判。

每个实例包含问题文本\(x\)，验证答案\(y\)，领域标签，生成参数，token长度\(T\)和归一化难度\(d \in [0,1]\)。难度从领域特定的生成因素中导出，并在每个领域内归一化以确保可比较的排序：符号任务的组合深度和变量交互，逻辑任务的规则链长度和干扰因子，算法任务的图大小、边密度和查询复杂度。

## 4 方法

### 4.1 问题设定

设\(\mathcal{D}=\{(x_i, y_i, d_i)\}_{i=1}^N\)是一个来自下游基准的领域特定子集。每个输入\(x_i\)有一个验证答案\(y_i\)和一个归一化难度分数\(d_i \in [0,1]\)，数值越大表示实例越难。我们使用这个集合来估计行为边界、拟合长度控制模型，以及选择推理活跃锚点。一个冻结的语言模型\(f_\theta\)产生答案\(\hat{y}_i\)，正确性定义为：

\[
c_i = \mathbf{1}[\hat{y}_i = y_i].
\] (1)

\(x_i\)的token长度记为\(T_i\)。在本节中，模型参数\(\theta\)是固定的。所有分析信号仅从前向传播中计算得出。

该方法有两个阶段。首先，SPARK分析（Profiling）使用隐藏状态响应来估计行为边界并诊断潜在推理状态。其次，SPARK-引导（Steering）使用诊断出的活跃状态为激活不足的困难示例构建测试时引导方向。

### 4.2 行为能力边界

行为边界从难度与正确性之间的关系中估计。我们拟合一个准确率曲线：

\[
\hat{p}(d) \approx P(c=1 \mid d),
\] (2)

使用留出的校准示例。能力边界\(d^\star\)定义为拟合通过率下降到50%的难度水平，即\(d^\star = \inf\{d \in [0,1] \mid \hat{p}(d) \leq 0.5\}\)。这个边界是一个行为量。它从正确性中估计，而非隐藏状态指标。

![图2](https://arxiv.org/html/2607.10296#S0.F2)
图2: SPARK概述。给定按领域、难度和token长度组织的任务，SPARK首先分析一个冻结的LLM，以识别与成功推理相关的行为边界和潜在激活模式。然后，它选择活跃锚点和激活不足的困难示例来估计关键的推理方向，这些方向通过激活引导在测试时注入。所得的干预仅在推理时应用。

### 4.3 潜在敏感性

对于一个输入\(x\)，设\(E(x)\)为其输入嵌入序列。对于层\(l\)，设\(r_l(x)\)为用于潜在分析的表征，\(r_l(x)\)是从层\(l\)的隐藏状态中池化得到的，例如最终的prompt token表征或选定prompt位置的均值池化表征。所有方法和控制使用相同的池化规则。为了测量隐藏状态响应，我们向输入嵌入添加小的高斯扰动[goodfellow2014