通过标题特定激活引导控制工具使用

# 使用标题特定激活引导控制工具使用
来源：https://arxiv.org/html/2607.05790

###### 摘要

工具增强型大语言模型通过外部工具扩展了其超越参数知识的能力，但往往倾向于不必要地调用这些工具。我们研究了工具使用决策是否存在任何稳定的内部表示，可以被提取和操纵，这个问题并非微不足道，因为工具在推理时完全存在于上下文中，且在模型权重中没有直接编码。我们展示了从标题锚点位置提取的引导向量在五个开源模型和三个领域中，对工具调用行为具有双向因果控制能力，在参数推理足够的领域中最有效地抑制了不必要的工具使用。然而，几何分析揭示，这种因果有效性并不对应于清晰的线性结构：工具调用步骤与抑制向量表现出扩散的双峰对齐，而不是线性编码假设所预测的一致负对齐，并且不同的工具类型调用着大部分不同的内部特征，跨工具特征重叠度低。我们假设这些几何性质表明了工具的非参数性质，并将工具使用引导向量与为参数化基础概念提取的引导向量区分开来。这种几何不规则性与观察到的因果有效性之间的关系仍然是一个未解之谜。

激活引导，工具使用，大语言模型，表示工程，ICML

## 1 引言

工具增强型大语言模型已成为复杂推理和现实世界任务的主流范式（Yao 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib189)；Levy 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib218)；Schick 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib187)）。外部工具，如网络搜索、代码执行和用户交互模块，扩展了模型超越参数知识的能力，提升了在需要最新信息、精确计算或澄清未明确意图的任务上的性能（Schick 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib187)；Schneider，2025 (https://arxiv.org/html/2607.05790#bib.bib192)）。

然而，工具增强也引入了一个持续的失败模式：*工具过度使用*。模型可能会在内部推理足以解决问题时仍调用工具，重复调用而没有实质性进展，或者以增加延迟和成本却提供有限益处的方式依赖工具（Qian 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib509)；Shen 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib511)）。不必要的工具调用可能使系统暴露于噪声检索、执行失败和可避免的错误传播中（Wang 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib513)）。现有的缓解方法要么需要昂贵的重新训练（Qian 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib509)；Shen 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib511)），要么在输出接口而不是在工具选择背后的内部激活上运作（Wang 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib513)），使得调用工具的潜在决策问题未得到解决。

我们研究工具使用决策是否存在任何稳定的内部表示可以被提取和操纵。这并非显而易见：与通过训练编码在模型权重中的情感或事实性等概念不同，工具在推理时完全存在于上下文中，并且线性表示假设（Park 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib64)）和表示工程（Zou 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib66)）的标准假设并不直接适用于没有参数基础的概念。先前的引导工作针对的是具有清晰参数基础的概念（情感、拒绝、真实性）（Panickssery 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib106)；Siu 等人，2025a (https://arxiv.org/html/2607.05790#bib.bib512)）；我们是首批将其应用于一个明确由构建方式定义的非参数行为的工作之一。遵循对比激活加法（Turner 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib103)；Panickssery 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib106)），我们在推理轨迹的结构化工具标题位置提取隐藏状态，以构建特定工具的引导向量，并评估其在五个开源指令微调模型和三个领域的因果和几何属性。

参见图注图1：五个模型在三种条件下每个查询的平均工具调用次数。基础模型工具提示是仅提示的基线，无隐藏状态干预。激活减法从残差流中减去引导向量，将工具使用抑制在基线水平以下。正交化将隐藏状态投影为与引导向量正交，移除抑制成分并将工具使用放大至基线水平以上。两种干预的相反方向证实了提取的向量在残差流中编码了一个因果有效、双向的工具使用方向。通过激活加法应用这些向量将工具使用显著抑制在基线水平以下，而通过正交化隐藏状态相对于它们则将工具使用放大至基线水平以上。这种双向行为控制，如图1 (https://arxiv.org/html/2607.05790#S1.F1) 所示，证实了尽管在模型权重中没有工具的稳定参数编码，提取的向量与工具使用决策具有因果相关性。在参数推理足够的领域中抑制效果最有效，而在需要外部检索或用户澄清的领域中效果下降，更大的模型在所有领域都表现出更强的抵抗性。

然而，几何分析揭示因果有效性并不对应于清晰的线性结构。工具调用步骤相对于抑制向量表现出扩散的双峰余弦相似度分布，而不是线性编码假设所预测的一致负对齐，并且不同的工具类型调用着大部分不同的内部特征维度，跨工具重叠度低。这些性质与工具的非参数性质一致，并将工具使用引导向量与为参数化基础概念提取的引导向量区分开来。这种几何不规则性与观察到的因果有效性之间的关系仍然是一个未解之谜，我们在工具增强轨迹的多轮依赖结构背景下讨论这一点，这限制了对探测分析的直接调和。

## 2 相关工作

#### 表示理论。

线性表示假设（Park 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib64)）预测编码在模型权重中的概念应该可以从激活中线性解码，并有词向量算术（Mikolov 等人，2013 (https://arxiv.org/html/2607.05790#bib.bib112)）和叠加理论（Elhage 等人，2022 (https://arxiv.org/html/2607.05790#bib.bib127)）的支持证据。关于拒绝（Arditi 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib65)）和真实性（Burns 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib145)）的实证研究发现引导向量具有与此假设一致的清晰几何性质。更近期的研究使情况复杂化：概念方向可能跨越多维子空间而非单一方向（Wollschläger 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib162)；Siu 等人，2025c (https://arxiv.org/html/2607.05790#bib.bib86)），并且其几何性质可能表现出对上下文和层深度的复杂依赖性。我们的工作将这一研究方向扩展到线性可表示性因构建方式而不被预期的环境：由于工具是通过上下文注入而非编码在权重中，我们观察到的几何不规则性是工具非参数性质的预测结果而非异常，并且将工具使用引导向量与先前表示理论工作中研究的引导向量区分开来。

#### 激活引导。

引导方法识别对应于目标行为的激活空间方向，并通过向量加法或正交化进行调节（Zou 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib66)；Arditi 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib65)；Turner 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib103)；Panickssery 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib106)；Siu 等人，2025a (https://arxiv.org/html/2607.05790#bib.bib512)）。方向通常从对比数据对中提取（Burns 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib145)；Arditi 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib65)；Zou 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib66)），并已用于行为激发和概念移除（Ravfogel 等人，2020 (https://arxiv.org/html/2607.05790#bib.bib142)；Siu 等人，2025b (https://arxiv.org/html/2607.05790#bib.bib87)）。推理时引导使用探针或分类器（Li 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib51)；Lee 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib113)）在前向传播中有条件地应用干预。先前的引导工作大多假设被引导的概念具有稳定的参数基础；我们的工作将这些方法应用于一个明确缺乏这种基础的概念，并检验其对因果有效性和几何结构的影响。

LLM 工具使用。工具使用方法扩展语言模型以包含外部函数、API 和环境，使其能够访问超出参数记忆范围的最新信息、专业计算和领域特定专业知识（Schick 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib187)；Yao 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib189)；Qin 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib10)；Qu 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib9)；Shen，2024 (https://arxiv.org/html/2607.05790#bib.bib8)）。先前的工作研究模型如何决定*何时*调用工具、*选择何种*工具以及*如何*将工具输出纳入后续推理（Qian 等人，2024d (https://arxiv.org/html/2607.05790#bib.bib6)）。近期工作通过工具创建、外部模块集成以及为了在不确定性或知识边界意识下更高效调用工具而进行的对齐，进一步提高了工具使用的鲁棒性（Qian 等人，2024a (https://arxiv.org/html/2607.05790#bib.bib7)；Liu 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib5)；Qian 等人，2024c (https://arxiv.org/html/2607.05790#bib.bib4)；Xu 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib3)）。同时，专门的评估表明模型在必要或不正确的工具调用上仍然存在困难，这激发了用于判断是否需要工具以及应使用哪种工具的基准测试（Huang 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib2)；Ning 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib1)）。与这些努力密切相关，近期工作研究基于模型不确定性或自我意识的工具过度使用和自适应工具调用（Wang 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib513)；Shen 等人，2024 (https://arxiv.org/html/2607.05790#bib.bib511)；Qian 等人，2025 (https://arxiv.org/html/2607.05790#bib.bib509)）。与明确优化外部工具交互策略的方法不同，我们的工作侧重于通过推理时内部表示的操纵来诱导期望的行为。

## 3 方法

我们研究在结构化工具增强生成中推理时抑制工具调用。在我们的设置中，模型使用明确的节标题锚点（例如 `### Reasoning`、`### Search`、`### Code`、`### AskUser` 和 `### Final Response`）发出中间推理结果。我们并非在生成过程中全局引导模型，而是在标题形成步骤局部干预，此时解码器即将选择下一个节标签。这产生了一个轻量级的测试时干预方法，不需要更新参数。

在一次推理运行期间，我们固定一个目标引导有效载荷和一个预定义的干预层 `l⋆`。该方法随后包含三个部分：(i) 从完整轨迹构建基于标题锚点的引导向量，(ii) 检测即将形成的 `###` 标题锚点，以及 (iii) 仅使用基于钩子的局部抑制在层 `l⋆` 上重新运行触发的解码步骤。

### 3.1 基于标题锚点的引导向量

对于每种工具类型 `k ∈ {Code, Search, AskUser}`，我们收集一组带有标题锚点的完整标记的多轮轨迹：

`D_k = {(x_i, y_i)}_{i=1}^{N_k}`，其中 `x_i` 是提示，`y_i` 是包含标题锚点、工具调用和相应工具输出的完整结构化响应。我们在完整的提示-响应序列上运行模型，并从层 `l⋆` 提取隐藏状态。因此，每个标题锚点表示是在由先前推理和工具交互引起的完整从左到右上下文中计算的。

我们通过 `###` 锚点标记处的隐藏状态来表示每个标题出现。令 `R_i` 表示轨迹 `y_i` 中所有 `### Reasoning` 出现的锚点位置集合，令 `T_i^k` 表示目标标题 `k` 的所有出现的锚点位置集合。对于每层 `l`，我们首先对每个轨迹内的标题锚点状态求平均：

`\bar{h}_{R,i}^{(l)} = 1/|R_i| * Σ_{t∈R_i} h_{i,t}^{(l)}`，`\bar{h}_{k,i}^{(l)} = 1/|T_i^k| * Σ_{t∈T_i^k} h_{i,t}^{(l)}` (1)

然后我们形成样本级别的引导增量：

`Δ_{k,i}^{(l)} = \bar{h}_{R,i}^{(l)} - \bar{h}_{k,i}^{(l)}`， (2)

并跨多个轨迹平均这些增量：

`v_k^{(l)} = 1/N_k * Σ_{i=1}^{N_k} Δ_{k,i}^{(l)}`。 (3)

根据此定义，`v_k^{(l)}` 从 `### Reasoning` 状态指向相应的目标工具标题状态。因此，添加 `v_k^{(l⋆)}` 作为抑制性干预，将隐藏状态移离工具标题表示。

这种构造特意在样本级别进行，而不是在跨数据集汇集所有标题出现之后再进行单一的全局均值差。这样做是因为轨迹可能包含不同数量的 `### Reasoning` 和工具标题锚点。因此，一个汇集估计器会过度加权包含许多锚点出现的轨迹，而我们的公式使每个轨迹对最终引导向量的贡献更可比。

### 3.2 激活加法和正交化

然后我们以两种不同方式利用获得的引导向量 `v_k^{(l)}`。在标题锚点标记 `###` 上的特定层 `l*`，我们执行激活加法（Turner 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib103)；Panickssery 等人，2023 (https://arxiv.org/html/2607.05790#bib.bib106)；Siu 等人，2025a (https://arxiv.org/html/2607.05790#bib.bib512)）