Mixtral MoE在良性及有害提示下的安全导向路由分析

# 面向安全性的 Mixtral MoE 路由分析：良性提示与有害提示
来源：https://arxiv.org/html/2605.24270
###### 摘要

稀疏混合专家（MoE）语言模型仅对每个 token 激活一小部分参数，这使得路由器行为成为模型计算的核心。本文利用两种互补信号研究 Mixtral 8x7B-Instruct 在良性提示和有害提示下的路由行为：基于专家选择频率的激活路由分数，以及基于路由器门控灵敏度的梯度分数。我们分析了专家和层级别的路由行为，并进行了专家抑制干预实验。结果表明，基于激活的专家使用广泛且呈长尾分布，而基于梯度的重要性则较为集中。在专家层面，良性提示组和有害提示组在两种信号下距离相近，仅有适度分离。在层层面，基于激活的路由在 8-15 层附近选择性最强，而基于梯度的重要性集中在最后几层。专家分类显示，大多数专家在良性提示和有害提示之间共享，尽管有一小部分专家表现出明显的分组偏好。与激活分数相比，在梯度分数下，排名靠前的专家集在良性-恶意重叠方面更强，表明集中在共同的后期专家集上。在干预实验中，从激活分数中抑制前五个良性主导专家，将受限响应从 100 个提示中的 24 个减少到 14 个，而抑制梯度衍生的专家则从 34 个减少到 22 个，且意外反转更少。总体而言，Mixtral 中与安全相关的路由是微妙的、依赖于深度的、分布式的，而非由固定的专家集主导。

## I. 引言

稀疏混合专家（MoE）语言模型因其在不激活全部参数的情况下增加模型容量而日益受到青睐。在此类模型中，路由器决定了哪些专家被激活，因此路由不仅是实现细节，更是模型内部决策过程的核心部分。对于安全敏感的应用，这引出了一个重要问题：当模型接收良性提示与有害提示时，路由器行为是否会以系统性的方式发生变化？

Mixtral 8x7B 是一个强大的开源权重稀疏 MoE 模型，其每个 Transformer 层包含八个专家，路由器为每个 token 选择最顶部的两个专家[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。Mixtral 论文报告称，路由模式通常与句法结构比领域更相关，并且较高层在连续专家分配中表现出更强的时间局部性[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。这些观察促使我们进行面向安全性的路由研究：即使主题级别的专业化较弱，当提示意图从良性变为有害时，路由也可能发生可测量的变化。

在这项工作中，我们为 Mixtral 内部路由行为开发了一个统一分析框架。该框架研究两种互补信号类型：基于激活的分数，它捕捉专家被选择的频率；基于梯度的分数，它估计路由器参数对序列损失的影响程度。对于每种信号类型，我们在提示级别和组级别分析专家行为和层行为。我们还引入了专家分类策略，使用分数差距和混合阈值规则比较良性组和有害组，并通过定向干预测试所得专家集。

本文的主要贡献如下：

1.  我们提出了一个针对 Mixtral 的统一路由分析框架，同时使用基于激活和基于梯度的分数。
2.  我们在提示级别和组级别对良性提示组和有害提示组进行了专家级和层级的分析。
3.  我们展示了基于激活的路由广泛且呈长尾分布，而基于梯度的重要性则显著更集中。
4.  我们展示了基于激活的层选择性在 8-15 层附近最强，而基于梯度的重要性则尖锐地集中在最后几层。
5.  我们使用激活和梯度信号对专家进行分类，并表明大多数专家在两个提示组之间是共享的。
6.  通过专家抑制干预，我们提供了初步的因果证据，表明基于激活和基于梯度的专家集以不同的权衡影响拒绝行为。

## II. 相关工作

### II-A 混合专家语言模型

混合专家架构已被研究用于通过条件计算扩展神经网络[3 (https://arxiv.org/html/2605.24270#bib.bib3),4 (https://arxiv.org/html/2605.24270#bib.bib4),5 (https://arxiv.org/html/2605.24270#bib.bib5)]。与将每个 token 都经过相同的前馈块不同，MoE 模型使用路由器选择一小部分专家，从而在增加总参数数量的同时保持每个 token 的计算量可控。后来的研究探索了路由缩放定律[6 (https://arxiv.org/html/2605.24270#bib.bib6)]、专家选择路由[7 (https://arxiv.org/html/2605.24270#bib.bib7)]以及高效的稀疏训练和推理实现，如 Megablocks[8 (https://arxiv.org/html/2605.24270#bib.bib8)]。

Mixtral 8x7B 是该系列中最强大的开源权重稀疏 MoE 模型之一。它在每个 Transformer 层使用八个专家，并对每个 token 进行 top-2 路由，使得每个 token 都能访问一个大型稀疏参数池，同时在推理期间只激活一小部分参数[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。原始论文报告了强大的性能，并包含一项路由分析，显示专家分配通常更遵循句法结构而非语义领域，并且较高层在连续 token 之间表现出更强的专家分配重复性[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。

### II-B 路由分析与内部表征

先前 Mixtral 的路由分析主要检查了跨数据集和层的分布行为，而非面向安全的提示类别。Mixtral 论文测量了 The Pile 几个子集中专家选择的比例，并观察到有限的领域专业化，对于 DM Mathematics 有轻微偏差，并且在较高层有更强的时间局部性[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。这些观察从两个方面激励了我们的工作。首先，它们表明路由可能不会根据广泛的领域标签清晰分离，这使得提示意图分析更具趣味性。其次，它们表明后期层可能更具结构性，因此更适合面向安全性的分析。

### II-C 安全相关的内部分析

内部安全分析旨在理解有害行为是否与可识别的内部机制相关，而不仅仅是与输出文本相关。在 MoE 设置中，路由器行为为此类分析提供了一个自然接口，因为有害提示和良性提示可能诱发不同的专家使用模式、不同的层集中度剖面或不同的梯度敏感性。我们的工作契合这一方向，研究有害提示是否以可测量的方式改变了基于激活和基于梯度的路由行为。与纯粹基于输出的评估不同，我们的重点是表征内部分布，并识别用于机制导向研究的候选专家和层。

## III. Mixtral 背景

Mixtral 8x7B 是一个仅解码器的稀疏 MoE 模型，基于 Transformer 骨干[2 (https://arxiv.org/html/2605.24270#bib.bib2)]和 Mistral 架构。它包含 32 个 Transformer 层，每层有八个专家取代标准的前馈块，并对每个 token 使用 top-2 路由[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。模型维度为 4096，隐藏维度为 14336，上下文长度为 32768，路由器在每层为每个 token 从八个可用专家中选择两个[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。虽然模型包含大量稀疏参数，但在推理期间每个 token 只有一部分是活跃的。

形式上，如果 $x$ 是某层的 token 表示，路由器计算专家上的 logits $xW_g$，并仅保留 top-$K$ 值，其中 Mixtral 使用 $K=2$。MoE 输出是所选专家输出的加权和[1 (https://arxiv.org/html/2605.24270#bib.bib1)]：

$$y=\sum_{i=0}^{n-1}\operatorname{Softmax}(\operatorname{Top2}(xW_g))_i\cdot\operatorname{SwiGLU}_i(x).\tag{1}$$

这一机制使得路由可以直接观察且对可解释性高度相关：提示类型的改变可能会改变哪些专家被选中、路由在每层内部的集中度如何，以及相应的路由器参数变得多么有影响力。Mixtral 论文进一步报告称，连续 token 之间重复专家分配的比例在层 15 和层 31 显著高于层 0，表明较高层具有更强的时间局部性[1 (https://arxiv.org/html/2605.24270#bib.bib1)]。这激发了我们后续的分层分析以及后期层在有害提示下可能携带更强结构化行为的假设。

## IV. 方法论

### IV-A 提示组

我们将提示集组织为两组：良性提示和有害提示。在路由分析实验中，每组包含 10 个提示，总共 20 个提示。分析流程支持针对所有 20 个提示的提示级别分析，以及通过对良性集和有害集进行平均的组级别分析。

### IV-B 基于激活的路由分数

对于给定的提示，我们在每个 MoE 层的路由器门控上附加钩子，并记录由 top-2 路由决策选择的专家。这产生一个原始激活图 $A \in \mathbb{R}^{L \times E}$，其中 $L=32$ 是层数，$E=8$ 是每层专家数。原始计数 $A_{l,e}$ 记录了专家 $e$ 在层 $l$ 中跨该提示的所有 token 被选择的次数。然后我们独立地对每层进行归一化：

$$\tilde{A}_{l,e} = \frac{A_{l,e}}{\sum_{j=1}^{E} A_{l,j}}. \tag{2}$$

这个归一化图对于比较每层内的路由分布很有用，尽管它也意味着每层为提示范围内的归一化分布贡献固定的总质量 1。

### IV-C 基于梯度的路由分数

除了基于激活的路由外，我们还通过仅对路由器门控权重启用梯度并反向传播序列损失来计算基于梯度的专家分数。专家的梯度分数基于对应路由器门控权重的平均绝对梯度幅度。这提供了专家重要性的补充概念：激活揭示了哪些专家被选中，而梯度则揭示了哪些专家在给定提示组下对模型损失更有影响力。

### IV-D 专家级分析

对于每种信号类型，我们将每个提示或组的全部 $32 \times 8 = 256$ 个层-专家对展平，按分数降序排序，并分析所得的排名分布。

从这个排序列表中，我们研究四个互补视角。首先，我们检查**分数-排名分布**，它显示了专家分数从最大值衰减到最小值的速度。其次，我们计算**累积覆盖曲线**，它衡量随着纳入更多排名靠前的层-专家对，总分数质量的捕获量。

为了总结这些累积曲线，我们使用三个基于覆盖率的统计量：

- $k_{80}$：覆盖 80% 总分数质量所需的最小 top 排名层-专家对数量，
- $k_{90}$：覆盖 90% 总分数质量所需的最小 top 排名层-专家对数量，
- $k_{95}$：覆盖 95% 总分数质量所需的最小 top 排名层-专家对数量。

这些值表明了专家重要性的集中或分散程度。较小的 $k_{80}$、$k_{90}$ 和 $k_{95}$ 意味着少数排名对捕获了大部分总质量，这表示更强的集中性。较大的值意味着质量分布在许多层-专家对上，这表示更广泛的分布。

此外，我们计算一个**肘部截止点**，表示为 $k_{\text{elbow}}$。该值定义为在连续排序分数之间发生最大下降处的排名位置。直观地，$k_{\text{elbow}}$ 提供了一个数据驱动的估计，表明分布从较小的高分头部过渡到更长的低分尾部的位置。而 $k_{80}$、$k_{90}$ 和 $k_{95}$ 总结了累积集中度，$k_{\text{elbow}}$ 则突出了排名曲线中最明显的结构性断裂。

### IV-E 层级分析

由于在基于激活的图中每层是独立归一化的，提示范围内的归一化层质量作为层重要性度量并不直接有意义。相反，我们使用集中度和扩散度指标研究每层：

- **主导分数**：某层中的最高专家分数，
- **top-2 和**：两个最大专家分数之和，
- **熵**：$H = -\sum_{i=1}^{E} p_i \log p_i,$ \tag{3}
- **有效专家数**：$E_{\text{eff}} = e^{H},$ \tag{4}
- **活跃专家计数**：使用率非零的专家数量。

同样的层级集中度分析风格也应用于基于梯度的分数分布。

### IV-F 专家分类

为了从描述性的分数分布转向可解释的专家角色，我们使用恶意组平均分数与良性组平均分数之间的差异，结合最小平均幅度约束，对每个层-专家对进行分类。

对于基于激活的分类，每个层-专家对与两个组级别的平均值相关联：`benign_avg_score` 和 `malicious_avg_score`。对于基于梯度的分类，相应的量是 `benign_avg_grad` 和 `malicious_avg_grad`。在这两种情况下，我们定义**安全差距**为恶意组平均与良性组平均之差：

$$\text{safety\_gap} = \text{malicious average} - \text{benign average}. \tag{5}$$

正的安全差距意味着该专家对恶意提示比良性提示更活跃或更有影响力，而负的安全差距则相反。我们还计算该差异的绝对值，

$$\text{abs\_gap} = |\text{safety\_gap}|, \tag{6}$$

它衡量分离的强度，无论方向如何。

分类规则还使用两个用户选择的阈值：**差距阈值**和**最小平均幅度**。差距阈值控制良性-恶意差异必须有多大，才能将专家视为具有组偏好。最小平均幅度确保专家不会仅仅因为两个非常小的数值之间的差异而被标记为重要。

对于基于激活的分类，我们设定

$$\text{gap\_threshold} = 0.05, \qquad \text{min\_avg\_magnitude} = 0.08. \tag{7}$$

这些值是启发式选择的，通过检查激活分类文件中 `safety_gap`、`benign_avg_score` 和 `malicious_avg_score` 列，并选择能够隔离一小部分具有明显正或负分离的专家的阈值。换句话说，阈值 0.