论文页面 - DOT-MoE：基于可微最优输运的MoE化方法

来源: https://huggingface.co/papers/2606.01666

摘要

DOT-MoE 将稠密层分解建模为一个可微最优输运问题，从而能够高效训练稀疏 MoE 模型，并更好地保留原有性能。

大规模语言模型（LLMs）的扩展带来了显著的性能提升，但同时也造成了推理效率方面的重大挑战。虽然混合专家（Mixture of Experts (https://huggingface.co/papers?q=Mixture%20of%20Experts)，MoE）架构通过将模型大小与推理成本解耦来解决这一问题，但从头训练 MoE 往往不稳定且计算密集。将预训练的稠密模型转换为稀疏 MoE 已成为一种替代方案；然而，现有方法通常依赖于启发式神经元聚类或随机拆分（random splitting (https://huggingface.co/papers?q=random%20splitting)）来划分前馈网络（Feed-Forward Network (https://huggingface.co/papers?q=Feed-Forward%20Network)，FFN）中的专家。在这项工作中，我们提出了 DOT-MoE，这是一个新颖的框架，将稠密层的分解建模为一个可微最优输运（Differentiable Optimal Transport (https://huggingface.co/papers?q=Optimal%20Transport)，DOT）问题。我们不再采用静态启发式方法，而是将神经元分配（neuron assignment (https://huggingface.co/papers?q=neuron%20assignment)）建模为一个平衡输运问题，利用可微 Sinkhorn-Knopp 迭代（differentiable Sinkhorn-Knopp iterations (https://huggingface.co/papers?q=differentiable%20Sinkhorn-Knopp%20iterations)）来强制执行严格的专家容量约束（expert capacity constraints (https://huggingface.co/papers?q=expert%20capacity%20constraints)）。此外，我们利用直通估计器（Straight-Through Estimators (https://huggingface.co/papers?q=Straight-Through%20Estimators)，STE）来联合学习离散的神经元到专家的分配以及令牌到专家的路由（token-to-expert routing (https://huggingface.co/papers?q=token-to-expert%20routing)）策略的端到端训练。在多种架构和基准测试上的广泛实验表明，DOT-MoE 显著优于结构化剪枝（structured pruning (https://huggingface.co/papers?q=structured%20pruning)）、启发式聚类（heuristic clustering (https://huggingface.co/papers?q=heuristic%20clustering)）和随机拆分基线，在将活跃参数减少 50% 的同时，保留了原始稠密模型 90% 的性能。

查看 arXiv 页面 (https://arxiv.org/abs/2606.01666) 查看 PDF (https://arxiv.org/pdf/2606.01666) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.01666)

在你的智能体中获取此论文：

hf papers read 2606\.01666

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.01666 以从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2606.01666 以从此页面链接。

引用此论文的空间0

没有空间关联此论文

在空间的 README.md 中引用 arxiv.org/abs/2606.01666 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 以从此页面链接。