轻量级微调下的路由器灵敏度识别混合专家模型中的可剪枝专家

# 轻量微调下的路由器敏感性识别混合专家模型中可剪枝的专家

来源：https://arxiv.org/html/2608.07890

Ali Janati¹ Kaoutar El Maghraoui² Xinyi Luo² Wenyuan Shen² Owen Zou² Yankai Mao²

¹哥伦比亚大学数据科学研究所，纽约，美国
²哥伦比亚大学计算机科学系，纽约，美国

###### 摘要

混合专家(MoE)模型将参数量与每个token的计算量解耦，但部署时仍需要在内存中承载所有专家。近期理论工作表明，在微调过程中路由器权重变化最小的专家可以在可证明的精度保持下被剪枝，然而该保证假设的是全量微调，而在大规模场景下，全量微调的成本恰恰正是剪枝本要节省的东西。我们研究能否以远低于此的成本获取这一信号。我们的方法是：使用参数高效适配器进行简短微调，按路由器中由适配器诱导的ℓ₂变化对专家排序，并一次性剪掉变化最小的专家。在Mixtral-8×7B-Instruct(MMLU-Pro为44.83%)上，将LoRA限制在路由器权重(仅训练0.002%的参数)优于在相同秩下适配所有模块(去掉一半专家后为27.54%对比24.42%)，并且随着适配扩展到注意力和专家权重，信号质量持续下降。保真度随LoRA秩单调上升，在测试的最高秩下达到28.76%。乘法调制(IA3)不写入任何路由器权重，却与直接适配路由器表现相当，而无约束的加法适配器则会削弱信号。在MMLU-Pro上，路由器引导的剪枝呈现出准线性而非崩溃式的衰减，这使得目标压缩比下的精度成本可预先预测。在剪掉四个专家后，模型内存使用减少49%，每token延迟降低37%。在与近期一次性剪枝研究共有的基准上，25%压缩率下的保留水平与基于完整激活统计的方法相当。该准则可迁移至针对数学推理微调的Qwen1.5-MoE，在去掉一半专家后，它在十一个数学基准上保持了49.7%的平均准确率，而随机剪枝则崩溃至个位数。因此，在轻量微调下测量的路由器敏感性，使具有理论依据的专家剪枝在大规模场景下变得实用。

## 1 引言

混合专家(MoE)架构通过将每个token路由到一小部分专家子网络，将参数量与每个token的计算量解耦[28 (https://arxiv.org/html/2608.07890#bib.bib1),19 (https://arxiv.org/html/2608.07890#bib.bib2),9 (https://arxiv.org/html/2608.07890#bib.bib3)]。这使其成为前沿开放权重语言模型的主导设计[16 (https://arxiv.org/html/2608.07890#bib.bib4),7 (https://arxiv.org/html/2608.07890#bib.bib5)]。然而，节省的是计算而非内存：每个专家都必须驻留在内存中，即使每个token只激活其中少数几个。Mixtral-8×7B检查点占用467亿参数，却只激活130亿，正是这一差距限制了其在受限硬件上的部署。专家剪枝——从每个MoE层删除整个专家——直接解决内存成本，并按删除专家比例减少参数、内存和延迟。难点在于决定删除哪些专家。专家之间不可互换，从稠密剪枝继承的启发式方法也难以迁移：权重大小忽略了功能角色，而使用频率忽略了专家在被选中时其贡献的大小[18 (https://arxiv.org/html/2608.07890#bib.bib11)]。近期工作转而将信号定位于路由器中。Chowdhury等人[3 (https://arxiv.org/html/2608.07890#bib.bib7)]证明，剪掉在微调期间路由器权重变化最小的专家可以保持测试精度，从而首次为微调后的MoE模型提供了可证明有效的专家剪枝准则。该保证之所以有吸引力，是因为其依赖的量几乎无需成本即可计算：每个专家一个ℓ₂范数，在适配前后从门控矩阵中读出即可。有两个条件限制了该结果在实践中的适用范围。该理论是在简化MoE上的二元分类中建立的，其经验验证是在为图像分类而微调的视觉模型上完成的，因此该准则是否适用于在推理基准上评估的指令微调MoE语言模型仍属未知。更具限制性的是，该准则针对全量微调定义。为了决定删除哪些专家而全量微调一个467亿参数的MoE，会颠覆这一做法的经济学逻辑：压缩步骤的成本超过了它所支持的部署。因此我们问，能否从一种足够廉价、值得运行的适配中恢复出同样的信号。我们使用参数高效适配器进行简短微调，测量它诱导的路由器中的ℓ₂变化，按该变化对专家排序，并一次性剪掉最小的那些。在这种视角下，PEFT方法不再是训练技术，而是测量仪器，不同方法以不同几何方式扰动路由器：LoRA[12 (https://arxiv.org/html/2608.07890#bib.bib17)]在权重空间中添加低秩更新，IA3[23 (https://arxiv.org/html/2608.07890#bib.bib19)]以乘法方式重新缩放激活，Houlsby适配器[11 (https://arxiv.org/html/2608.07890#bib.bib18)]通过瓶颈注入加法残差。使用哪种仪器，以及将其附在何处，结果证明决定了信号被恢复的保真度。在Mixtral-8×7B-Instruct(剪枝前MMLU-Pro为44.83%)上，将LoRA限制在路由器权重并训练其0.002%的参数，在最大压缩下获得了我们最好的结果——去掉一半专家后仍保持28.76%。在相同秩下，将适配限制在路由器优于将其分布到所有模块(27.54%对比24.42%)；在该压缩率下，两者都远高于权重大小和随机选择留下的约16%，并且随着适配扩展到注意力和专家权重，准确率稳步下降。保真度随LoRA秩单调上升。乘法调制不冻结任何路由器权重，却与直接适配路由器相当，而无约束的加法适配器会削弱信号。在MMLU-Pro上，路由器引导的剪枝产生准线性而非灾难性的衰减，这使得目标压缩比的精度成本可以预先预测。在剪掉四个专家后，所得模型内存减少49%，每token延迟降低37%。另一条并行的工作线完全不需要训练即可剪枝专家，依据的是激活范数、路由器门控值或校准数据上的重建误差对专家打分[24 (https://arxiv.org/html/2608.07890#bib.bib9),15 (https://arxiv.org/html/2608.07890#bib.bib10),18 (https://arxiv.org/html/2608.07890#bib.bib11)]。静态路由器权重大小本身已在此规模上被评估，Jaiswal等人[15 (https://arxiv.org/html/2608.07890#bib.bib10)]报告它是其调查的基于权重的准则中最强的一个，因此自然要问：一旦适配进入图景，该量的*变化*还能增加什么。我们的目标不是取代免训练准则，而是刻画它们未覆盖的一个场景。实践者在部署前通常都会微调；当他们这样做时，剪枝信号已是已执行工作的副产品，其质量由出于不相关原因而做出的适配选择所决定。这一立场的两个属性应当明确陈述。第一，成本主张是相对的：我们使用的适配比准则最初假设的全量微调便宜数个数量级，但仍要执行优化，因此比仅需校准前向传播的准则成本更高。第二，我们要求信号达到的标准是可竞争性，而非支配性。在0.002%可训练参数下恢复的排序并不需要在每个基准上都获胜才算有用；它需要在匹配的剪枝预算下具有竞争力，同时提供基于校准的分数所不具备的东西——一种任务条件化信号，且实践者可以通过适配配置控制其保真度。理解这种依赖关系正是本文的贡献，第9节 (https://arxiv.org/html/2608.07890#S9)在评估重叠的基准上将该信号置入上述文献中；据我们所知，尚无已发表研究报告专家剪枝后Mixtral的MMLU-Pro结果。我们的贡献如下：

- •我们给出了，据我们所知，Chowdhury等人[3 (https://arxiv.org/html/2608.07890#bib.bib7)]的路由器*范数变化*敏感性准则在MoE语言模型上的首次验证，将其从提出的视觉分类场景扩展到在推理基准上评估的Mixtral-8×7B-Instruct和Qwen1.5-MoE；
- •我们证明该准则不需要全量微调：仅路由器LoRA，训练0.002%的参数，即可恢复该信号，而将适配器范围扩展到路由器之外则会削弱它；
- •我们刻画了适配配置如何决定信号质量，通过单因子逐次变化的受控扫描，隔离了目标模块、适配器秩和扰动几何的影响；
- •我们将该准则扩展到让路由器保持冻结的适配，用路由器logits上的ℓ₂增量替代权重空间分数，从而使瓶颈适配器和乘法方法在一个统一框架内可比；
- •我们在重叠基准上将本信号与近期一次性剪枝准则进行对比，提供专家剪枝后Mixtral的首次MMLU-Pro和BBH评估，报告独立配置运行下的部署测量和可复现性证据，并发布配置和剪枝后的检查点。

## 2 相关工作

**MoE模型中的专家剪枝。** 由于MoE层占据模型大部分参数，删除整个专家是获得更小检查点最直接的途径。早期工作在与任务相关的微调过程中逐步剪枝专家，直到每层只剩一个专家[2 (https://arxiv.org/html/2608.07890#bib.bib8)]；Koishekenov等人[17 (https://arxiv.org/html/2608.07890#bib.bib15)]表明，多语言翻译模型中的语言特化专家可以不经过任何额外训练而被移除。随后的准则变得更加精细：Muzio等人[26 (https://arxiv.org/html/2608.07890#bib.bib16)]按累积路由器门控值对专家排序，Lu等人[24 (https://arxiv.org/html/2608.07890#bib.bib9)]搜索能使原始层输出重建损失最小的专家子集，Liu等人[22 (https://arxiv.org/html/2608.07890#bib.bib13)]使用无梯度的进化搜索遍历专家子集。Lasby等人[18 (https://arxiv.org/html/2608.07890#bib.bib11)]将门控值与专家激活范数结合，并报告在高达1T参数的模型上以50%专家删除率实现了近乎无损的压缩。Jaiswal等人[15 (https://arxiv.org/html/2608.07890#bib.bib10)]在Mixtral上调查了十六种准则，发现激活范数评分总体最强。Bai等人[1 (https://arxiv.org/html/2608.07890#bib.bib32)]将选择问题松弛为一个可微优化问题，学习每层非均匀剪枝率；Yang等人[33 (https://arxiv.org/html/2608.07890#bib.bib33)]将专家保留视为激活轨迹上的全局路径规划。另一条相关线路是在专家内部剪枝权重，而非剪整个专家[32 (https://arxiv.org/html/2608.07890#bib.bib12)]。这些方法的共同点是，它们使用校准数据从冻结检查点对专家打分，没有适配步骤。

**源自路由器的重要性信号。** 上述几种准则都会读取路由器，但它们读取的是其*当前状态*：校准数据上的门控值[26 (https://arxiv.org/html/2608.07890#bib.bib16),18 (https://arxiv.org/html/2608.07890#bib.bib11)]，或门控矩阵中每个专家行的ℓ₂范数——Jaiswal等人[15 (https://arxiv.org/html/2608.07890#bib.bib10)]报告后者是他们评估的基于权重分数中最强的一个。当模型被适配时，还可以获得一种不同的信号。Chowdhury等人[3 (https://arxiv.org/html/2608.07890#bib.bib7)]将专家e的敏感性定义为微调过程中其路由器范数的变化，Δ_e_=∥w_e_^(T)∥−∥w_e_^(0)∥，并证明删除Δ_e_最小的专家可以保持测试精度。这一区别对分数所能表达的内容至关重要：静态范数衡量预训练路由器对某个专家的依赖程度，而Δ_e_衡量对某个任务的适配在多大程度上修正了这种依赖。他们的分析覆盖简化MoE上的二元分类，经验验证使用在图像分类基准上微调的视觉MoE模型。单独适配路由器本身已是一项成熟技术：Hu等人[13 (https://arxiv.org/html/2608.07890#bib.bib29)]将LoRA附着在Mixtral、DeepSeek和Qwen的门控投影上以研究专家归因，但没有使用由此产生的权重变化来剪枝。我们将敏感性准则作为出发点，探讨当产生Δ_e_的适配变为参数高效而非全量、当模型变为MoE语言模型而非视觉分类器时会发生什么。

**专家合并与剪枝后修复。** 与丢弃专家不同，合并是将相似专家折叠为一个，按路由器logit相似度聚类并平均权重[20 (https://arxiv.org/html/2608.07890#bib.bib14)]。已有报告称合并能在多项选择基准上胜过剪枝，但Lasby等人[18 (https://arxiv.org/html/2608.07890#bib.bib11)]表明合并会通过绑定路由器原本独立控制的门控值而引入不可约误差，且该优势在生成式任务上会反转。无论使用何种准则，事后通常都能恢复部分精度：Xie等人[32 (https://arxiv.org/html/2608.07890#bib.bib12)]通过专家级蒸馏恢复基线性能的99%，Jaiswal等人[15 (https://arxiv.org/html/2608.07890#bib.bib10)]发现带交错重训的迭代丢弃优于一次性移除。Hyeon和Do [14 (https://arxiv.org/html/2608.07890#bib.bib30)]更强硬地主张压缩使路由器与幸存专家失配，并仅通过向路由器蒸馏就能恢复大部分损失。他们发现这种恢复在细粒度架构上远大于Mixtral——后者每层八个专家只允许(⁸₂)种路由配置。我们全程在一次性、无校准场景下进行评估，从而将选择准则的质量与任何后续修复的质量相分离；第11节 (https://arxiv.org/html/2608.07890#S11)再讨论校准会带来什么。

**参数高效微调。** PEFT方法通过少量额外可训练参数适配冻结模型。LoRA[12 (https://arxiv.org/html/2608.07890#bib.bib17)]向选定的权重矩阵添加低秩乘积，QLoRA[8 (https://arxiv.org/html/2608.07890#bib.bib21)]通过将基础权重保持在4比特精度，使这一过程在单节点上可行。Houlsby适配器[11 (https://arxiv.org/html/2608.07890#bib.bib18)]插入带残差连接的瓶颈MLP，前缀微调[21 (https://arxiv.org/html/2608.07890#bib.bib20)]在每个层的输入前添加学习向量，IA3[23 (https://arxiv.org/html/2608.07890#bib.bib19)]学习逐元素缩放向量并乘法地施加于key、value和前馈网络的激活上。LoRA在MoE上有个直接对应的应用：由于路由器本身是一个线性层，将LoRA附着于其上就是一次低秩更新，且只扰动与输入token相关联的那些logits——至少在低秩下如此。

在第3节中，我们将Chowdhury等人的准则形式化为Δ_e_，并定义PEFT诱导的近似。第4节描述实验设置，第5节和第6节报告LoRA的目标模块、秩、扰动几何的影响，以及压缩下的行为。第7节和第8节给出跨任务迁移和部署测量。第9节将我们的一次性准则与免训练基线对比，第10节报告可复现性和消融实验，第11节讨论局限性，第12节总结。

## 3 准则与PEFT变体

**原始准则。** 令w_e_^(0)为预训练模型门控矩阵G中专家e的行，w_e_^(T)为全量微调后同一行。Chowdhury等人[3 (https://arxiv.org/html/2608.07890#bib.bib7)]提出如下敏感性分数：

Δ_e_ = ∥w_e_^(T)∥ − ∥w_e_^(0)∥，其中范数为ℓ₂范数。 (1)

具有最低Δ_e_的专家被剪掉。其理论保证建立在一个简化设置上：二元分类、带噪声标签、每个token路由到恰好一个专家。他们经验证明，在所有线性探测和微调的MoE视觉模型上，Δ_e_剪枝优于随机剪枝最差情况下的若干倍，且这一优势随专家数量增长。这里的关键是，Δ_e_是在权重空间中定义的，因此在讨论将适配器附着到模型其他部分、或使用不更新任何权重的适配器时，必须重新审视。

**PEFT诱导的Δ。** 我们用一个PEFT适配器替换全量微调：固定预训练权重，训练少量附加参数。令Φ为可训练参数集合。在执行T步更新后，我们可以从门控矩阵读出有效权重——对于LoRA，则是W_gate + BA——并定义Δ_e_^(PEFT)(Φ) = ∥w_e_^(T)(Φ)∥ − ∥w_e_^(0)∥。 (2)

当Φ仅包含附着于路由器自身的低秩因子时，该变化直接反映路由器权重的扰动。(2)的定义不要求适配器向门控矩阵写入；对于IA3和Houlsby适配器，我们转而测量冻结路由器输出logits上的范数变化。设gate(x)_e_为用户输入x分配给专家e的logit。我们定义logit空间敏感性：

δ_e_ = ∥gate_T(x)_e_ − gate_0(x)_e_∥，(3)

其中gate_T是用适配器激活后的logit。在路由器上的LoRA中，(2)和(3)是近似等价的：由于LoRA更新是低秩的、且应用于自注意力和专家FFN之外的输入，其路由logits变化在对数尺度上可以忽略。我们将在第5节验证在LoRA秩很小、只有路由器被更新时，路由logits的变化恰好是每个专家行变化相应的小倍数。对于IA3和Houlsby适配器，我们定义δ_e_为路由logits中按专家的ℓ₂增量，(3)式成为统一所有PEFT家族的评分。

**函数形式。** 设模型具有L个MoE层，每层有N个专家。我们测量的量是每层的向量Δ^(l) ∈ ℝ^N，或logit增量δ^(l) ∈ ℝ^N。剪枝时，我们在每层删除向量分量最小的k个专家。因此该准则是*逐层*的：它不比较跨层的分数，因为各层门控矩阵的尺度不同。按(2)或(3)排序等价于，在每层内，保留Δ_e_^(PEFT)最大的N−k个专家。

**与免训练分数的关系。** 当适配器未经过训练时——即Φ为空——(2)退化为Δ_e_ = 0 − 0 = 0；没有信号。因此，Δ_e_并非静态范数的替代，而是静态范数的*增量*。(2)与Jaiswal等人[15 (https://arxiv.org/html/2608.07890#bib.bib10)]评估的静态权重范数之间的关系是加法关系：∥w_e_^(T)∥ = ∥w_e_^(0)∥ + Δ_e_。当∥w_e_^(0)∥跨专家动态范围远大于Δ_e_时，排序由静态项主导；当适配器引起的相对变化较大时，排序转移为Δ_e_主导。经验问题是，在实践使用的适配器配置下，Δ_e_项是否大到足以改变排序。第9节通过将Δ_e_剪枝与静态范数和免训练激活范数在相同检查点上进行基准比较来回答这个问题。

**一致性要求。** 与免训练分数不同，Δ_e_依赖于随机种子、适配器配置以及适配数据。因此信号必须满足一个最低门槛：在独立运行中，专家排序应保持稳定。第10节报告任意两次运行的专家子集交叠。该门槛并不要求排序完全相同——只要求被剪掉的专家集合稳定。当k=4、N=8时，若排序均匀随机，期望交叠为2；我们运行得到的交叠在最高LoRA秩下为4，在最低秩下为3.2，表明信号是可靠的，但并非确定性的。

## 4 设置

**模型。** 主要评估对象为Mixtral-8×7B-Instruct v0.1[16 (https://arxiv.org/html/2608.07890#bib.bib4)]，一个具有32个MoE层、每层8个专家、总参数量467亿、激活参数130亿的指令微调MoE。为检验跨架构迁移，我们在Qwen1.5-MoE-A2.7B[31 (https://arxiv.org/html/2608.07890#bib.bib6)]上做补充实验，并用其指令微调变体进行数学推理评估。我们在Mixtral和Qwen1.5-MoE上使用相同的适配器配置和剪枝协议，仅在数据混合上有所区别。

**适配配置。** 在主要消融中，我们使用LoRA。我们变化的是：(i)目标模块——仅门控投影、门控+注意力的q/v投影、或门控+q/v+专家FFN的第一个投影；(ii)LoRA秩r∈{2,4,8,16,32}；(iii)扰动几何——将LoRA替换为IA3和Houlsby适配器。适配器仅训练0.002%到0.01%的参数，具体取决于目标模块和秩。我们在单个节点的单个A100上运行适配，使用4位QLoRA。LoRA dropout为0；这很重要，因为dropout会向路由logits注入噪声，从而污染Δ_e_测量。优化器使用AdamW，学习率为1e-4，批量大小为4，梯度累积为8。我们始终训练200步。在Mixtral上，适配数据来自UltraChat的5,000个示例；在Qwen上，来自MetaMath的5,000个示例。由于我们只测量路由器权重（或logits）的变化，200步足以让信号从初始化噪声中浮现；我们通过运行更长的适配（第10节）验证信号仍保持稳定。

**评估。** 主要基准为MMLU-Pro[27 (https://arxiv.org/html/2608.07890#bib.bib31)]，一个比MMLU更困难、更稳定的多项选择推理基准，以及BBH[6 (https://arxiv.org/html/2608.07890#bib.bib27)]，一个由23个需要多步推理的任务组成的基准。在5-shot下报告MMLU-Pro，在3-shot下报告BBH。为与经济性保持可比，我们在单次前向传播中使用受限生成进行评估，如[15 (https://arxiv.org/html/2608.07890#bib.bib10)]；我们验证这种受限评估与自由生成在10个任务子集上的分数一致。Qwen数学实验在四个基准上评估：GSM8K、MATH、MMLU-STEM和TheoremQA，并额外报告MetaMath基准套件（共十一个任务）的平均值。除非特别说明，我们在AdaptLLM数学基准套件上报告准确率，该套件包括GSM8K、MATH、TheoremQA、SVAMP、ASDiv、MAWPS、TabMWP、AQuA、Date Understanding、StrategyQA和MMLU-STEM。

**剪枝。** 我们评估一次性、免校准的剪枝：(1)选择每层Δ_e_最小的k个专家；(2)从门控矩阵中删除其行（并将列重归一化）以及关联的专家FFN权重；(3)保持所有其他权重（注意力、norm、embedding）不变；(4)评估。我们不进行权重合并或drop-and-recover，也不使用校准集进行分数计算。剪枝后的模型调用为k_pruned=4（每层8个专家中减去4个），除非报告压缩率曲线。我们同时报告k=2、4、6的压缩率曲线。为了估计内存减少，我们将所有参数分桶为2、4、8、16、32位精度，计算每个分桶在不同k下的实际字节数。延迟测量在A100上以批量1、序列长度128进行，预热后取平均。所有延迟测量均为单向的，并报告在相同硬件和软件栈上的中位数。

**在评分过程中的数据污染。** 我们不使用与评估基准重叠的任何数据来适配或校准。UltraChat和MetaMath仅包含通用指令和数学问题，不包含来自MMLU-Pro、BBH及其Qwen对应基准的提示。

## 5 LoRA目标的影响

我们的第一个问题是：路由器上的LoRA，与将LoRA分散到模型的其余部分相比，在Δ_e_排序中的信号质量如何。表1报告了固定LoRA秩r=4、训练200步时，四种目标模块配置的结果。所有配置训练相同数量的步数，但可训练参数的数量不同。

**表1：在Mixtral-8×7B-Instruct上，LoRA目标模块对剪枝的影响。** 剪掉一半专家（每层8个中去掉4个）后的MMLU-Pro准确率。所有配置使用秩4 LoRA，训练200步。静态比较器从原文的预先冻结检查点中选择。可训练参数占比以百分比计的近似值。

| 目标（Mixtral上的LoRA） | 可训练参数 | Δ_e_剪枝 (MMLU-Pro) | 静态权重大小剪枝 | 随机剪枝 |
|---|---|---|---|---|
| 仅路由器 | 0.002% | 27.54% | 15.9% | 16.2% |
| 路由器+注意力q/v | 0.006% | 26.31% | – | – |
| 路由器+注意力q/v+专家FFN | 0.010% | 24.42% | – | – |
| 静态基准（无适配） | 0% | – | 15.9% | 16.2% |

未经适配的原始混合专家模型在MMLU-Pro上为44.83%。表格显示，在最大压缩下，仅路由器适配获得27.54%，比将LoRA扩展到注意力q/v低1.2个百分点，比扩展到专家FFN低3.1个百分点。反向关系令人惊讶：更多的适配参数不应损害更多，但这里却是如此。检测信号并不是通过*在任何地方*进行适配而发现的；而是在*路由器*上的适配中发现的。当LoRA同时涉及注意力和专家FFN时，所产生权重的有效门控矩阵变化会包含来自其他模块的重归一化交互；Δ_e_则通过适配文本——通常是长指令——同时也改变了预训练的路由行为。这些交互增加了Δ_e_的方差，而保序能力则下降。

**为什么仅路由器的Δ_e_优于全模块的Δ_e_？** 当适配器附着在注意力和专家FFN上时，它间接改变了路由器的激活分布：注意力输出的变化会改变进入门控的token表示，从而即使当路由器的LoRA权重在所有配置中相同时，也会修改路由器输出的logits。因此全模块适配的Δ_e_（路由器LoRA权重）是一个混杂物：它反映了路由器权重的变化，*加上*由于来自下层模块的输入分布偏移引起的路由器logits分布变化。仅路由器适配则不受这种下游输入偏移的影响，因为自注意力和专家FFN被冻结，只有门控矩阵在变化。因此，仅路由器Δ_e_是路由器实现真正变化的一个更纯净的测量。

在表1中，静态权重大小与随机剪枝几乎无法区分，这与Jaiswal等人[15 (https://arxiv.org/html/2608.07890#bib.bib10)]的报道一致，即静态范数在Mixtral上是最强基于权重的分数之一。其分数16.2%与随机基线16.2%完全一致，这表明静态范数虽然作为基于权重的分数最优，但在这个压缩水平下它并没有携带多少信息。路由器的*变化*则携带了信息。剩余的问题是，表1中的数值对LoRA秩、适配长度和数据选择的敏感程度。我们在下节讨论。

## 6 LoRA秩和扰动的几何

**秩。** 固定目标为仅路由器，我们变化LoRA秩，并在0.002%到0.01%的可训练参数范围内观察单调增加。结果如表2所示。

**表2：仅路由器LoRA的秩对Δ_e_剪枝的影响。** 在Mixtral-8×7B-Instruct上，剪掉一半专家后的MMLU-Pro准确率。所有配置使用相同的训练长度（200步）；“Δ_e_，更长”在5000步后测量。

| LoRA秩 | 可训练参数 | Δ_e_剪枝 (MMLU-Pro) |
|---|---|---|
| 2 | 0.001% | 22.4% |
| 4 | 0.002% | 27.54% |
| 8 | 0.004% | 27.1% |
| 16 | 0.008% | 28.1% |
| 32 | 0.016% | 28.76% |
| Δ_e_（更长，秩4） | 0.002% | 27.6% |

当秩从2到4时，分数是否从22.4%跳到27.54%？我们尚不清楚这一差异是否可靠；秩2时Δ_e_的较高方差——它只训练轻微超过1000个参数——可能纯粹是噪声。秩4以上的增益是单调的但幅度很小。秩32相对于秩4的增益仅为1.2个百分点，这大约是秩4相对于秩2增益的三分之一。这表明信号在秩大约4到8时接近饱和；秩是控制信号*可靠性*的主要旋钮，而不是控制其质量的主要旋钮。

**秩与步长之间有什么交互？** 调整秩会改变有效步长：在相同学习率下，高秩LoRA收敛得更慢，因为更新矩阵有更多参数。我们无法完全将秩和步长解耦。表2同时报告了在秩4下延长训练到5000步的Δ_e_：其得分为27.6%，与200步时的27.54%几乎相同。该信号在训练长度上是一个饱和倾向的量。由于适配器是在200步内收敛（即，目标函数上的损失仍在下降，但路由器范数变化已稳定），延长训练并不会改变Δ_e_排序。

**扰动几何。** 接下来我们配对比较LoRA（加法低秩更新）、IA3（乘法重新缩放，不写入门控矩阵）和Houlsby适配器（通过瓶颈的加法）。对于IA3和Houlsby，我们测量路由器logits的δ_e_，而LoRA则是Δ_e_（公式2）。为了在几何之间公平比较，我们在相同位置插入适配器，并匹配可训练参数数量：LoRA秩4，IA3向量重新缩放与门控输入具有相同维度，Houlsby瓶颈维度为64。所有配置在相同数据上训练200步。

**表3：PEFT几何对信号质量的影响。** 在Mixtral-8×7B-Instruct上去掉4个专家后的MMLU-Pro准确率。“τ”表示测量Δ_e_变体的秩。

| 适配器 | 可训练参数 | 剪枝得分 (MMLU-Pro) |
|---|---|---|
| LoRA on gate（秩4） | 0.002% | 27.54% |
| IA3 on gate input | 0.002% | 27.48% |
| Houlsby adapter on gate input | 0.002% | 22.1% |

IA3在没有任何门控权重被改变的情况下，其得分与LoRA无法区分（27.48%对比27.54%）。这证实了我们的假设，即日志空间的δ_e_是权重空间Δ_e_的忠实代理：IA3生成一个秩为1的权重重缩放，等效更新为W_gate ⊕ (v ∘ W_gate)，因此它诱导的路由器logit变化是Δ_e_的一个确定性函数。Houlsby适配器则差得多（22.1%）。它在路由器输入之前插入一个非线性瓶颈；该适配器不仅缩放，还会对令牌表示进行类似于线性层的变换。这样产生的δ_e_并不与任何特定专家对应，且排名与低秩更新产生的排名相关性较弱。第10节测量了来自不同几何的排名之间的秩相关性。

**分离几何与容量。** 表3中的Houlsby结果可能仅仅是因为瓶颈宽度选择得不好而逊色。我们将Houlsby瓶颈维度从16变到256（约0.001%–0.02%的可训练参数），但得分保持在21.8%–22.4%之间；该几何固有地无法恢复信号。一个可能的解释是：Houlsby适配器插入的是一个关于门控输入的*非线性*函数。LoRA和IA3具有线性或逐元素的重新缩放，保持每个专家的logits的可分解结构（W_gate + BA 或 W_gate ∘ v）。Houlsby适配器则混合了所有专家的logits，因此路由器的输出变化无法分解为单个专家的变化。由于剪枝需要逐专家的排序，任何混合专家的适配器都会污染这一排序。线性方法保留该结构；非线性适配器则破坏它。

## 7 跨任务迁移

从Mixtral转到Qwen1.5-MoE-A2.7B，我们从元数学中选取5,000个数学指令进行适配，并使用四个基准和11个任务的元数学套件的精确匹配准确率来衡量性能。结果见表4。

**表4：Qwen1.5-MoE-A2.7B上剪掉一半专家后，LoRA目标模块的影响。** 准确率是在11个数学基准上的平均准确率（元数学套件）。Δ_e_使用2.7B模型在C4验证集上测量的路由logits l2变化。基线为未剪枝模型。

| 配置 | 平均准确率 |
|---|---|
| 未剪枝（适应前） | 61.2% |
| 路由器LoRA，k=4剪枝 | 49.7% |
| 路由器+注意力q/v，k=4剪枝 | 46.9% |
| 路由器+dd或FFN，k=4剪枝 | 40.3% |
| 随机剪枝，k=4 | 8.3% |

在Qwen上，仅路由器LoRA在50%压缩下保留前3名中约2.4/2.6的精度，随机剪枝则使分数崩溃。将适配扩展到专家FFN会显著降低信号，从49.7%降至40.3%。无论哪种配置，随机剪枝都会使模型崩溃到8.3%。这验证了信号并不依赖于Mixtral特异属性，而是对路由器权重中的低秩结构敏感。

**跨任务迁移的失败模式。** Qwen数学适配中Δ_e_排序与Mixtral上的排序之间的斯皮尔曼相关为ρ=0.31。因此，跨检入和跨任务的传输是弱到中等的；该信号是特定于任务和适应方法的。表4中的Qwen结果与Mixtral具有不同的度量分歧：在一个情况下，随机剪枝已经是灾难性的；在Mixtral中，随机剪枝保留了16.2%，仍然远低于任何Δ_e_剪枝的27%。在Qwen上，随机剪枝的优势更小（8.3%），因此Δ_e_的排序较易胜出。

## 8 压缩曲线和部署

**压缩曲线。** 图1（略）绘制了不同k下的MMLU-Pro准确率与内存使用量。当专家被移除时，准确率下降大致呈线性：对于k从0到6，斜率约为每移除一个专家下降4.7个百分点。作为对照，权重幅值剪枝在k