多教师同策略蒸馏中的行为杠杆失衡

# 多教师同策略蒸馏中的行为杠杆失衡

来源：https://arxiv.org/html/2607.07050

季嘉斌1, 陈光2, 毛成军3  
[email protected]  
[email protected]  
[email protected]  

###### 摘要

智能体语言模型必须学会何时调用工具、何时消费工具响应、以及何时直接回答。这使得多教师同策略蒸馏成为自然的训练策略：一个教师可以专注于工具调用，另一个专注于直接回答，而学生可以在自身生成的分布上向两者学习。我们表明，这种策略可能诱发一种从聚合损失中无法察觉的行为偏移。在双教师工具使用场景中，标准广义知识蒸馏（GKD）虽然提升了工具调用召回率，但也使模型倾向于过度调用——即在应该直接回答的样本上调用工具。聚合层面的解释是不够的：工具调用样本并未获得更多词元暴露，全序列逐词元散度对于工具调用教师也并非更大。我们转而分析*行为杠杆失衡*：局部词元层面的信号（位于模式入口和结构位置，如 `<tool>` 和函数名）可能对全局生成模式产生不成比例的控制。我们提出 Soft Clamp，一种逐词元散度校准方法，动态压缩极端的词元级 Jensen-Shannon 散度，同时保留非零梯度。在 APIGen-MT 上，与标准 GKD 相比，Soft Clamp 将过度调用率从 13.7% 降至 9.0%，同时保持了决策准确率。在 BFCL 多轮诊断中，它还在 GKD 变体中降低了工具调用回路和重复调用。这些结果表明，多教师 OPD 应监控教师信号作用的位置，而不仅仅看它们的聚合大小。

## 1 引言

智能体语言模型通常通过交织的对话和工具使用轨迹来行动，例如 System→User→ToolCall₁→ToolResponse₁→ToolCall₂→ToolResponse₂→Response₁→User→⋯。沿这样的轨迹，模型不仅要决定*如何*使用工具，还要决定*是否*使用工具以及何时停止使用工具。这个决策在多轮系统中是脆弱的。过度使用工具的模型会增加延迟和成本，并且在接收观察后可能进入重复的工具调用回路。而使用工具不足的模型则会失败于需要外部信息或动作的任务。

多教师同策略蒸馏（MOPD）似乎非常适合这个问题[11](https://arxiv.org/html/2607.07050#bib.bib2)。一个工具调用教师可以专注于结构化函数调用；一个回答教师可以专注于直接的自然语言回答。然后学生从其自身的展开轨迹中向教师分布学习，如同广义知识蒸馏（GKD）[1](https://arxiv.org/html/2607.07050#bib.bib35)所做的那样。这种设置提供了专业化，而无需手动合并异质行为。

我们发现了一个无法仅通过损失曲线或聚合教师贡献捕捉的失败模式。在我们的 APIGen-MT 工具使用场景中，标准 GKD 提高了决策准确率和工具调用召回率，但也提升了过度调用率。模型在需要工具时调用工具的能力变强，但在适合直接回答时也更可能调用工具。训练日志不支持几种聚合层面的解释：工具调用样本并未主导词元暴露；全序列逐词元 Jensen-Shannon 散度（JSD）和梯度代理对于工具调用教师也并非更大。在多次运行中，回答词元获得了更多暴露和更大的聚合散度。因此，最终行为不能仅由样本数量、词元数量或总散度解释。

我们认为缺失的变量是*行为杠杆失衡*。词元级别的学习信号不仅取决于其幅度，还取决于它在生成过程中落定的位置。在工具使用模型中，模式入口词元（如 `<tool>`、函数名和结构标记）可以将模型切换到工具调用轨迹。在这些位置上的一个相对较小的局部信号可以影响整个后续部分。自然语言回答信号通常分布在许多内容词元上。它们可以改善风格、事实性和细节，但可能对离散的工具调用与回答边界控制力较弱。这个假设预测，决策边界指标比全序列平均值更能解释最终行为。

这一观察引向有针对性的缓解方法。我们提出 Soft Clamp，一种用于 GKD 的词元级校准规则。对于每个词元散度 \(d_i\)，Soft Clamp 在批次内设置一个动态阈值 \(C = k \cdot \text{mean}(d)\)。低于阈值的词元保持不变。高于阈值的词元按一个分离因子缩放：\(d_i' = d_i \cdot C / \text{stopgrad}(d_i)\)，这限制了前向贡献并缩放梯度而不丢弃它。与硬裁剪不同，Soft Clamp 为困难词元保留了学习信号。与全局重加权不同，它只作用于极端值。

我们的贡献是：
- • 我们识别出行为杠杆失衡是多教师 OPD 在智能体工具使用模型中的一个具体失败模式。
- • 我们展示了聚合词元暴露和全序列散度无法解释观察到的工具调用偏移，而回答侧的决策压力为最终的过度调用行为提供了更有针对性的诊断。
- • 我们引入了 Soft Clamp，一种轻量级的逐词元散度校准方法，在压缩极端词元级信号的同时保留梯度。
- • 我们在 APIGen-MT、BFCL、When2Call 以及 BFCL 多轮回路诊断上进行了评估。Soft Clamp 在 GKD 变体中降低了过度调用率，同时保持了 APIGen 决策准确率。

我们并不声称引入了多教师蒸馏本身，也不声称所有教师贡献应该被均等化。我们的主张更窄：当不同教师监督不同生成模式时，高杠杆的局部信号可以改变全局行为，而词元级别的校准可以减少这种偏移。

## 2 问题设置

### 2.1 多教师同策略蒸馏

设 \(x\) 为对话上下文，\(y = (y_1, \ldots, y_T)\) 为学生生成的延续。在同策略蒸馏中，学生从其当前策略中采样，然后从评估在采样轨迹上的教师分布中学习。在我们的设置中，每个训练样本都有一个教师标签 \(m \in \{\text{tool}, \text{response}\}\)，将样本路由到工具调用教师或回答教师。我们使用基于教师和学生下一词元分布之间散度的 GKD 风格词元损失[1](https://arxiv.org/html/2607.07050#bib.bib35)。

函数名是高杠杆位置。一旦模型进入工具调用块，后续词元必须遵循结构化模式，并且对话可能继续以工具观察继续。这与普通的词元难度不同。直接回答中的内容词元可能有高损失，但纠正它可能只改变一个局部短语。而一个具有可比损失的模式入口词元却能改变整个输出是否为工具调用。当一位教师的信号集中在高杠杆位置，而另一位教师的信号分布在低杠杆内容位置时，多教师 OPD 就变得脆弱。

## 3 诊断行为杠杆失衡

### 3.1 聚合统计无法解释过度调用

表1 (https://arxiv.org/html/2607.07050#S3.T1) 比较了工具调用和回答样本之间的累积暴露和原始散度比率。所有方法的比率都低于一：回答样本获得更多词元暴露，并且原始的全序列逐词元 JSD 在回答侧更大。原始梯度代理也未显示工具调用占主导。

表 1：聚合合理性检查。T/R 表示工具调用除以回答。过度调用偏移不能用更多的工具调用词元暴露或更大的全序列逐词元散度来解释。

图 1：词元暴露和聚合 JSD 合理性检查。工具调用信号在聚合层面并不占主导，因此解释必然涉及信号作用的位置。

这些观察排除了简单的聚合解释：工具调用教师并非因为看到更多词元或产生更大的全序列散度而占主导。模型仍然向工具调用偏移。因此，剩余的解释必然涉及局部信号，其行为效应与其在总损失中的份额不成比例。

### 3.2 决策压力与最终行为一致

接下来，我们检查回答样本上的决策级指标。这些指标询问即使训练样本属于回答教师，学生是否仍对 `<tool>` 赋予高概率。表2 (https://arxiv.org/html/2607.07050#S3.T2) 显示，回答侧工具调用概率和回答侧工具调用 top-1 率与最终的 APIGen 过度调用率保持一致。我们将这种一致性作为诊断证据：它指出了模型中偏移出现的位置，但它本身并不能证明单个词元位置导致了整个下游行为。

表 2：决策压力与最终行为。除概率外，值均为百分比。加粗表示每列中 GKD 变体的最强行为校准结果。在这些运行中，回答侧工具调用决策指标与最终过度调用率的对齐程度高于全序列聚合散度。

图 2：回答侧决策压力跟踪 GKD 变体中的最终过度调用率。每个点对应一种方法。

这一证据表明，模型不仅仅在应该调用的样本上有所改进。它还使得应该回答的边界朝工具调用模式移动。这就是行为杠杆失衡的操作性特征：学习到的分布在一个确定后续生成模式的边界词元处变化最大。

图 3：步骤级回答侧决策压力。教师强制的过程指标显示，回答样本上的压力在训练过程中出现。

## 4 Soft Clamp

### 4.1 词元级动态压缩

Soft Clamp 针对极端词元级散度。对于一批监督词元的散度 \(\{d_i\}\)，我们定义

\[
C = k \cdot \text{mean}_i(d_i), \qquad (2)
\]

其中 \(k\) 是钳制倍率。校准后的散度为

\[
d_i' = 
\begin{cases}
d_i, & d_i \leq C, \\
d_i \cdot \frac{C}{\text{stopgrad}(d_i)}, & d_i > C.
\end{cases}
\qquad (3)
\]

分离的分母使得对于极端词元，前向值等于 \(C\)，同时将其梯度缩放 \(C / d_i\)。因此 Soft Clamp 压缩了极端值，但保留了非零梯度。

### 4.2 与硬裁剪和全局重加权的比较

硬裁剪测试直接截断极端词元损失是否足够。它很简单，但可能从困难的高杠杆词元中移除大量学习信号。全局重加权根据词元在批次中的相对散度改变词元权重。它作为对比很有用，但会缩放损失的大范围区域，而不是隔离局部极端值。

Soft Clamp 故意更窄。它保持普通词元不变，为极端词元保留梯度，并适应当前批次的尺度来调整阈值。它不明确识别模式入口词元；而是限制任何可能主导训练的极端局部散度的影响。它不需要新的教师路由策略、学习到的奖励模型或留出的校准集。

图 4：干预强度与行为。对极端词元级信号的更强压缩与 GKD 变体中更低的 APIGen 过度调用率一致，但该结果不应解读为“压缩越多总是越好”。

### 4.3 格式锚定

结构化工具调用引入了第二个风险：模式偏移。在早期的纯 OPD 运行中，即使训练数据使用了正确的 XML 风格目标格式，某些检查点也产生了无效的工具调用字符串。因此，我们的主要运行包含一个权重为 0.3 的监督损失作为格式锚定。这个锚定不是所提出的方法；它是一个受控的训练组件，在我们比较 GKD 变体时保持工具调用模式可解析。纯 OPD 模式偏移的研究仍是未来有价值的工作。

## 5 实验

### 5.1 模型与训练

所有模型均以 Qwen3.5-9B 为基础。工具调用教师和回答教师从同一基础模型初始化，并在各自的目标类型上训练。它们作为在线监督器，而非可部署的均衡基线。因此，主要比较报告了基础模型、在混合工具使用数据上训练的基础 SFT 模型，以及四个 GKD 学生：标准 GKD、Hard Clip、Global Reweight 和 Soft Clamp。GKD 学生共享相同的数据、教师、训练长度和核心 OPD 设置。主要的 GKD 运行使用 sft_alpha=0.3 作为格式锚定。

### 5.2 数据集与指标

#### APIGen-MT。
APIGen-MT 是主要的域内工具使用决策基准。我们报告决策准确率、过度调用率、应该调用召回率和应该回答召回率。过度调用率是模型在应该回答的样本中发出工具调用的比例。

#### BFCL。
BFCL 评估函数调用质量和无关性拒绝。我们用它来测试工具调用校准是否可以在 APIGen 式决策点之外泛化。

#### When2Call。
When2Call 评估模型是否应该调用工具、请求更多信息或拒绝。它作为域外决策诊断，而非主要成功指标。

#### BFCL 多轮回路诊断。
我们还在 800 个 BFCL 任务和 3136 个用户轮次上运行了多轮诊断。它记录每轮工具调用次数、回路率、最大步数命中率、重复相同调用率和最终回答率。该诊断不是官方 BFCL 排行榜协议。它衡量单轮过度调用倾向在固定模拟工具环境下是否成为实际的多轮可用性问题。

### 5.3 APIGen-MT 主要结果

表 3：APIGen-MT 决策结果。所有值均为百分比。加粗表示每列中 GKD 变体的最佳值。标准 GKD 提高了调用召回率但增加了过度调用率。Soft Clamp 在 GKD 变体中给出了最低的过度调用率，同时匹配了最佳的决策准确率。

图 5：APIGen-MT 行为权衡。Soft Clamp 相对于标准 GKD 降低了过度调用率，同时保持了决策准确率。

表3 (https://arxiv.org/html/2607.07050#S5.T3) 显示了主要的权衡。基础 SFT 倾向于回答行为：其过度调用率低且回答召回率高，但调用召回率较低。标准 GKD 将模型向相反方向移动：调用召回率达到 91.4%，但过度调用率上升至 13.7%。Soft Clamp 将过度调用率降至 9.0%，同时保持了 89.2% 的决策准确率。

### 5.4 BFCL 和 When2Call

表 4：BFCL 结果。所有值均为百分比。加粗表示 GKD 变体中最佳的无关性拒绝率。Soft Clamp 在 GKD 变体中提高了无关性拒绝率，但总体并未主导基础或基础 SFT。

表 5：When2Call 结果。