HodgeCover: 高阶拓扑覆盖驱动稀疏混合专家模型的压缩

# HodgeCover：高阶拓扑覆盖驱动稀疏混合专家模型的压缩 来源：https：//arxiv.org/html/2605.13997 钟涛¹， 郑东哲¹， Christine Allen-Blanchette¹ ¹普林斯顿大学 \{tzhong， ca15\}@princeton\.edu ###### 摘要 稀疏混合专家（MoE）层将令牌通过少量专家路由，对这些层进行无需学习的压缩可在不重新训练的情况下降低推理成本。一个微妙的障碍阻碍了该系列中每一个现有的压缩器：三个专家可能两两兼容，但合并后却形成一个不可约的循环，因此任何基于成对信号对专家进行排序的评分在结构上都无法识别哪些三元组是可以联合合并的。我们证明这个障碍是一个精确的数学对象，即一个2维单纯复形上的单纯拉普拉斯算子的调和核，其中顶点为专家，边携带KL合并障碍，面携带三元组障碍；对边障碍信号进行霍奇分解可精确分离出该核。我们将这一诊断转化为一个选择目标：HodgeCover贪心地覆盖调和关键边和三元组关键三角形，其混合变体将HodgeCover与现成的针对幸存者的权重剪枝相结合。在激进专家压缩率下的三个开源权重稀疏MoE主干上，HodgeCover在专家压缩维度上与最先进的无需学习基线持平，在混合维度的激进压缩前沿领先，并在所有四个霍奇分量上独特地保持了保留质量的平衡。这些结果表明，揭示学习到的MoE结构的调和核，会改变在最重要的场景下哪个压缩器胜出。 参见标题Figure 1：三个专家可能两两兼容，但共同形成一个不可约的合并障碍，而任何成对分数都无法预测。这个残余正是该层单纯可合并性复形的霍奇分解的调和分量。## 1 引言

在训练好的稀疏混合专家（MoE）层中，专家 A 可能与专家 B 两两兼容，专家 B 与专家 C 兼容，专家 C 也与专家 A 兼容，但将三者合并为一个专家仍然可能产生一个不可约的障碍，而任何成对兼容性都无法预测这个障碍（Fig.1 (https://arxiv.org/html/2605.13997#S0.F1)）。稀疏门控混合专家[60 (https://arxiv.org/html/2605.13997#bib.bib1)]将每个令牌仅路由到少数几个专家子网络，Switch Transformer[13 (https://arxiv.org/html/2605.13997#bib.bib2)]将这种结构扩展到超越密集计算的前沿；这种配方现在是生产级开源检查点中的标准配置，例如 Mixtral[29 (https://arxiv.org/html/2605.13997#bib.bib3)]、OLMoE[48 (https://arxiv.org/html/2605.13997#bib.bib4)]、Qwen 3.5[52 (https://arxiv.org/html/2605.13997#bib.bib5)]和 DeepSeek-V3[39 (https://arxiv.org/html/2605.13997#bib.bib6)]，每个模型在每个 MoE 层中都有数十到数百个前馈专家，同时仅向单个令牌路由一个小的常数子集。因此，在不重新训练的情况下压缩这样的层是一个首要问题：参数质量存在于那些在任何推理步骤中都不活跃的专家中，而一个无需学习的压缩器将使从业者能够在无需微调、知识蒸馏或重新预训练的情况下，在更小的计算集群上重用预训练的 MoE 检查点。这类压缩器的主流系列是基于*成对*信号对专家进行排名：REAP[31 (https://arxiv.org/html/2605.13997#bib.bib7)]使用输出显著性，REAM[28 (https://arxiv.org/html/2605.13997#bib.bib8)]通过显著性感知的合并分数重新加权路由，MC-SMoE[35 (https://arxiv.org/html/2605.13997#bib.bib9)]通过路由-余弦相似度对专家进行聚类，STUN[32 (https://arxiv.org/html/2605.13997#bib.bib10)]在 Wanda[62 (https://arxiv.org/html/2605.13997#bib.bib11)]非结构化稀疏性之前进行结构化剪枝。然而，成对排名对可合并性的一个结构性质视而不见：三个专家可能两两可合并，但当它们的合并障碍形成一个不可约的循环时，*集体上*却是不可合并的。那些确实使用三元组输入的方法，例如超图谱切割[72 (https://arxiv.org/html/2605.13997#bib.bib12)]和三重损失惩罚[58 (https://arxiv.org/html/2605.13997#bib.bib13)]，将三元组聚合成一个成对和的替代或一个二元否决，而不是隔离拓扑残留。单纯拉普拉斯算子[36 (https://arxiv.org/html/2605.13997#bib.bib14),57 (https://arxiv.org/html/2605.13997#bib.bib15)]的调和核是唯一能够捕捉这种残留的线性代数对象，先前的拓扑深度学习[6 (https://arxiv.org/html/2605.13997#bib.bib16)]已将其用作诊断工具，但从未将其用作参数选择目标。为此，我们引入了*HodgeCover*，一个无需学习的专家选择目标，它将调和核转化为一个覆盖标准。从一个具有 n 个专家的稀疏 MoE 层出发，我们构建一个 2 维单纯复形 K，其顶点是专家，边携带成对 KL 合并障碍，2-面携带三元组障碍，然后我们应用单纯拉普拉斯算子[36 (https://arxiv.org/html/2605.13997#bib.bib14)] L_1 = ∂_1^⊤ ∂_1 + ∂_2 ∂_2^⊤ 对边障碍信号进行霍奇分解，得到梯度、旋度和调和分量。然后，HodgeCover 通过贪心子模覆盖[51 (https://arxiv.org/html/2605.13997#bib.bib17)]选择 k 个幸存专家，覆盖前 p% 的调和关键边和三元组关键三角形，并使用来自 REAP[31 (https://arxiv.org/html/2605.13997#bib.bib7)]的显著性分数进行加权；非幸存者被剪枝，路由被重定向到最近的幸存者。混合的*HodgeCover+Wanda*将这个专家轴压缩器与幸存者权重上的非结构化 Wanda[62 (https://arxiv.org/html/2605.13997#bib.bib11)]剪枝相结合，在单个无需学习流水线内组合两个正交的压缩轴。我们将贡献总结如下。

•   - 我们定义了稀疏 MoE 层的单纯可合并性复形，并将其高阶可合并性障碍识别为其霍奇分解的调和分量，验证了该分量在三个 MoE 家族中是非平凡的（占每层障碍能量的 29%-62%）（§3 (https://arxiv.org/html/2605.13997#S3)）。
    - 我们实例化了 HodgeCover，一个无需学习的目标，它贪心地覆盖前 p% 的调和关键边和三元组关键三角形，以及一个混合的 HodgeCover+Wanda，它将 HodgeCover 与幸存者上的非结构化 Wanda 剪枝配对（§4 (https://arxiv.org/html/2605.13997#S4), Fig.3 (https://arxiv.org/html/2605.13997#S4.F3)）。
    - 在三种 MoE 规模下实现 66% 的专家压缩率时，HodgeCover+Wanda 在每个模型上都达到了最佳困惑度，并且在下游准确率上比 STUN+Wanda[32 (https://arxiv.org/html/2605.13997#bib.bib10)] 提高了高达 +12.6 个百分点，而一个跳过 Hodge 步骤的匹配消融实验在 Qwen 3.5-35B 上损失了 -5.74 个百分点（§5 (https://arxiv.org/html/2605.13997#S5), §5.4 (https://arxiv.org/html/2605.13997#S5.SS4)）。
    
    ## 2 相关工作
    
    MoE 专家剪枝与合并是一个静态的后训练族，它基于从一个小型校准集评分得到的成对信号对专家进行排名：REAP[31 (https://arxiv.org/html/2605.13997#bib.bib7)] 基于输出显著性，REAM[28 (https://arxiv.org/html/2605.13997#bib.bib8)] 基于显著性感知的合并评分，MC-SMoE[35 (https://arxiv.org/html/2605.13997#bib.bib9)] 和 HC-SMoE[7 (https://arxiv.org/html/2605.13997#bib.bib23)] 基于路由-余弦聚类，STUN[32 (https://arxiv.org/html/2605.13997#bib.bib10)] 基于与 Wanda[62 (https://arxiv.org/html/2605.13997#bib.bib11)] 和 OWL[68 (https://arxiv.org/html/2605.13997#bib.bib71)] 组合的结构化-然后-非结构化决策。无需校准的预训练权重分数[44 (https://arxiv.org/html/2605.13997#bib.bib18),41 (https://arxiv.org/html/2605.13997#bib.bib22)] 和路由门控权重度量[66 (https://arxiv.org/html/2605.13997#bib.bib20)] 放宽了相同成对规则的监督，而专家子集上的进化搜索[40 (https://arxiv.org/html/2605.13997#bib.bib19),42 (https://arxiv.org/html/2605.13997#bib.bib21)]、剪枝-然后-重组再分配[67 (https://arxiv.org/html/2605.13997#bib.bib24)] 以及统一的精简修剪[24 (https://arxiv.org/html/2605.13997#bib.bib25)] 放宽了一次性约束；基于学习的独立专家训练与合并[34 (https://arxiv.org/html/2605.13997#bib.bib26),71 (https://arxiv.org/html/2605.13997#bib.bib73)] 和密集到稀疏的升级回收[30 (https://arxiv.org/html/2605.13997#bib.bib27)] 在容量构建轴上正交。每种方法都将合并景观聚合成边级别的成对分数，没有一种方法表示当三个专家两两可合并但不可联合合并时出现的高阶障碍。HodgeCover 是第一个无需学习的专家选择目标，它在该层单纯可合并性复形的调和核上运行。
    
    基于稀疏性的权重剪枝在权重矩阵级别上沿三个轴压缩 LLM。一次性非结构化剪枝根据校准激活对权重进行排名（Wanda[62 (https://arxiv.org/html/2605.13997#bib.bib11)], SparseGPT[15 (https://arxiv.org/html/2605.13997#bib.bib28)]），并扩展了幅度和移动剪枝的血统[22 (https://arxiv.org/html/2605.13997#bib.bib29),56 (https://arxiv.org/html/2605.13997#bib.bib30)]；结构化剪枝移除耦合的通道、头或 Transformer 块（LLM-Pruner[45 (https://arxiv.org/html/2605.13997#bib.bib31)], ShortGPT[46 (https://arxiv.org/html/2605.13997#bib.bib32)]）；训练后量化压缩位宽而不是数量（GPTQ[16 (https://arxiv.org/html/2605.13997#bib.bib34)], AWQ[37 (https://arxiv.org/html/2605.13997#bib.bib33)], SmoothQuant[65 (https://arxiv.org/html/2605.13997#bib.bib35)], OmniQuant[59 (https://arxiv.org/html/2605.13997#bib.bib36)]）。所有这些轴都在权重矩阵上运行，无法利用 MoE 专家之间的结构冗余；在稀疏 MoE 检查点上，它们完全放弃了专家数量压缩。HodgeCover+Wanda 在一个无需学习流水线内组合了两个轴：第 1 阶段在拓扑信号上进行专家压缩，第 2 阶段在幸存者权重上进行非结构化 Wanda。
    
    神经网络上的拓扑与谱方法沿两条互补的路线应用代数拓扑和谱机制。架构路线将霍奇和单纯算子安装为消息传递原语或特征层（几何深度学习[6 (https://arxiv.org/html/2605.13997#bib.bib16)], 单纯神经网络[11 (https://arxiv.org/html/2605.13997#bib.bib46),5 (https://arxiv.org/html/2605.13997#bib.bib39)], 拓扑 GNN[27 (https://arxiv.org/html/2605.13997#bib.bib40)]），基础霍奇理论可追溯到 Eckmann [12 (https://arxiv.org/html/2605.13997#bib.bib37)]，并为离散数据现代化[36 (https://arxiv.org/html/2605.13997#bib.bib14),57 (https://arxiv.org/html/2605.13997#bib.bib15),70 (https://arxiv.org/html/2605.13997#bib.bib72)]。诊断路线总结训练后网络的贝蒂数、持续同调和霍奇谱以进行泛化分析[50 (https://arxiv.org/html/2605.13997#bib.bib41),54 (https://arxiv.org/html/2605.13997#bib.bib42),20 (https://arxiv.org/html/2605.13997#bib.bib44),70 (https://arxiv.org/html/2605.13997#bib.bib72)]；最接近的矩阵级先例，即谱稀疏化[61 (https://arxiv.org/html/2605.13997#bib.bib43)] 和谱剪枝[63 (https://arxiv.org/html/2605.13997#bib.bib45)]，在二元级别上运行，从未提升到高阶单纯结构。在这两条路线中，拓扑被作为输入消费或作为输出总结，几乎没有先前的工作将其操作化为一个参数选择目标。我们将霍奇分解从分析工具提升为驱动实用压缩器的工程设计选择标准。
    
    压缩与聚类中的三元组与超图感知方法在两个不同的家族中将高阶关系结构编码为超边或三元组约束。超图谱方法将三元组（或更大的）团减少为用于切割的团扩展拉普拉斯算子[72 (https://arxiv.org/html/2605.13997#bib.bib12),1 (https://arxiv.org/html/2605.13997#bib.bib47)]、高阶 Cheeger 不等式[33 (https://arxiv.org/html/2605.13997#bib.bib49),43 (https://arxiv.org/html/2605.13997#bib.bib48)]、基于模体的划分[3 (https://arxiv.org/html/2605.13997#bib.bib50)]以及超图卷积和注意力[14 (https://arxiv.org/html/2605.13997#bib.bib51),2 (https://arxiv.org/html/2605.13997#bib.bib52)]。度量学习将三元组编码为成对对比形式[21 (https://arxiv.org/html/2605.13997#bib.bib54)]或三元组形式（FaceNet[58 (https://arxiv.org/html/2605.13997#bib.bib13)], 深度排序[64 (https://arxiv.org/html/2605.13997#bib.bib53)]）中的标量边际约束。所有这些方法都将高阶输入聚合成一个成对和的替代或一个二元否决，从未分离信号的梯度、旋度和调和分量。我们对三元组增强的边障碍进行霍奇分解，并展示（§5.4 (https://arxiv.org/html/2605.13997#S5.SS4)）调和分量是承载负载的部分：一个跳过分解的软三元组消融在 Qwen 3.5-35B 上以 66% 的压缩率导致下游任务平均准确率下降 −5.74 个百分点。
    
    ## 3 可合并性复形及其霍奇分解
    
    我们现在正式化第 1 节（§1）中概述的高阶障碍；完整的霍奇入门、所有证明、投影公式和扩展诊断见附录 A（App.A (https://arxiv.org/html/2605.13997#A1)）。
    
    ### 3.1 问题陈述与符号
    
    固定一个具有 n 个专家 {f_1, ..., f_n} 和习得路由器 g 的稀疏混合专家（MoE）层，并写出 f(· | x) 表示其在输入 x 处的输出下一个令牌分布。给定目标幸存者计数 k < n，*无训练专家压缩*问题要求选择一个子集 S ⊆ [n]，|S| = k，并定义一个新的路由器 g'，使得压缩后的模型 π_S 的困惑度最小化。一种广泛采用的无需学习策略是合并然后剪枝：将非幸存专家合并到幸存者中（例如，通过将非幸存者的权重重新缩放并平均到最近的幸存者），并将路由器 g' 设置为将令牌路由到它们在幸存者集中的最近邻居。在这个框架内，主流的成对方法将每个边 {i, j} 赋予一个分数 s_{ij}，该分数衡量合并专家 i 和 j 的预期成本，然后选择 S 以最小化或阈值化该分数。然而，这些方法无法捕捉当三个专家两两兼容但作为一个三元组不可合并时出现的结构障碍。
    
    ### 3.2 单纯可合并性复形
    
    为了捕捉这个高阶障碍，我们构建了一个 2 维单纯复形 K，其顶点集 V = [n] 是专家，边集 E 连接所有专家对（|E| = C(n, 2)），面集 T 是所有专家三元组（|T| = C(n, 3)）。每个边 e = {i, j} 赋予一个权重 w_{ij} = D_KL(f_i || f_j) 或类似的可合并性度量。每个面 t = {i, j, k} 赋予一个权重 w_{ijk} 表示三个专家联合合并的障碍，例如，通过比较联合分布与三个专家分布的组合的 KL 散度。我们定义边障碍信号 x: E → ℝ 为 x({i, j}) = w_{ij}，三元组障碍信号 y: T → ℝ 为 y({i, j, k}) = w_{ijk}。然后，我们应用单纯拉普拉斯算子 L_1 = ∂_1^⊤ ∂_1 + ∂_2 ∂_2^⊤ 对边信号 x 进行霍奇分解：x = x_grad + x_curl + x_harm，其中 x_grad ∈ im(∂_1^⊤)（梯度），x_curl ∈ im(∂_2)（旋度），x_harm ∈ ker(L_1)（调和）。调和分量 x_harm 正是由三元组循环引起的不可约障碍，这种方式是成对分数无法捕捉的。我们定义调和能量分数 ρ_harm = ||x_harm||^2 / ||x||^2 作为该障碍重要性的度量。我们还定义一个组合不一致性分数 δ，对于每一层 ℓ，从 T 中采样三元组，并计算：δ(ℓ) = (1/|T|) |{ {i,j,k} ∈ T : b_{ijk}^{(ℓ)} > 1.2·max(b_{ij}^{(ℓ)}, b_{ik}^{(ℓ)}, b_{jk}^{(ℓ)}) }|，即联合合并障碍超过最差成对障碍 20% 的三元组比例。两者都在 [0,1] 范围内，并且每层是尺度不变的；ρ_harm 是与 ker(L_1) 相关的谱性质，而 δ 是一个组合应力测试，不需要对 L_1 进行对角化。图 2 (https://arxiv.org/html/2605.13997#S3.F2) 报告了 OLMoE-1B-7B[48 (https://arxiv.org/html/2605.13997#bib.bib4)]、Qwen3.5-35B-A3B 和 Qwen3.5-122B-A10B[52 (https://arxiv.org/html/2605.13997#bib.bib5)] 每个层上的这两个诊断结果。调和能量分数在每个模型的每一层都保持非平凡，两个 Qwen 变体处于略高且更紧的带中，而 OLMoE 则不然；不一致性分数在所有模型中也非平凡，其中 OLMoE 是最不一致的模型，而两个 Qwen 模型在较深层中逐渐减少。这两个诊断在方向上一致，但在形状上不一致，为不可约的高阶障碍提供了独立的证据；每层范围、梯度/旋度伴随曲线以及第一个贝蒂数 β_1(K)（其结构上由 n 和 |T| 固定）的欧拉-庞加莱计数见附录。