论文页面 - DECO：端侧设备上实现稠密可比性能的稀疏混合专家模型

来源：https://huggingface.co/papers/2605.10933

摘要

DECO 是一种稀疏混合专家（Mixture-of-Experts）架构，通过先进的路由、归一化和激活技术，以更低的计算和存储需求达到稠密 Transformer 的性能水平。

虽然 Mixture-of-Experts (https://huggingface.co/papers?q=Mixture-of-Experts) (MoE) 在不按比例增加计算量的前提下扩展了模型容量，但其巨大的总参数量带来了严重的存储和内存访问瓶颈，阻碍了在端侧设备上的高效部署——这些部署场景同时要求高性能、低计算开销和较小的存储占用。为实现这些特性，我们提出了 DECO，一种稀疏 MoE (https://huggingface.co/papers?q=sparse%20MoE) 架构，旨在与同等总参数量和训练 token 预算下的稠密 Transformer (https://huggingface.co/papers?q=dense%20Transformers) 性能持平。DECO 采用可微且灵活的基于 ReLU 的路由 (https://huggingface.co/papers?q=ReLU-based%20routing) 机制，并通过可学习的逐专家缩放 (https://huggingface.co/papers?q=learnable%20expert-wise%20scaling) 增强，能够自适应地平衡路由专家与共享专家的贡献。此外，我们引入了 NormSiLU (https://huggingface.co/papers?q=NormSiLU)，这是一种在 SiLU 算子前对输入进行归一化的激活函数，能够使路由专家激活比率 (https://huggingface.co/papers?q=activation%20ratio) 的变化趋势更稳定，并提升内在稀疏性 (https://huggingface.co/papers?q=intrinsic%20sparsity) 水平。我们还发现，在基于 ReLU 的路由 (https://huggingface.co/papers?q=ReLU-based%20routing) 中使用无门控 MLP 专家 (https://huggingface.co/papers?q=gated%20MLP%20experts) 具有经验优势，表明 MoE 架构存在简化的可能性。实验证明，DECO 仅激活 20% 的专家即可达到稠密模型的性能，并超越已有的 MoE 基线。我们的专用加速内核 (https://huggingface.co/papers?q=specialized%20acceleration%20kernel) 在实际硬件上相比稠密推理实现了 3.00 倍的加速。代码与模型检查点将予以发布。

查看 arXiv 页面 (https://arxiv.org/abs/2605.10933) 查看 PDF (https://arxiv.org/pdf/2605.10933) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2605.10933)

在你的智能体中获取这篇论文：

hf papers read 2605.10933

尚未安装最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

尚无模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2605.10933 即可从本页链接到它。

引用此论文的数据集 0

尚无数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.10933 即可从本页链接到它。

引用此论文的 Space 0

尚无 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2605.10933 即可从本页链接到它。

收录此论文的收藏集 0

尚无收藏集收录此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页链接到它。