AI2推出的新MoE模型：EMO
摘要
AI2发布了EMO，一个混合专家（MoE）语言模型，总参数量14B，其中1B活跃参数，基于1万亿tokens训练，并采用文档级路由，即专家会按领域（如健康、新闻等）进行聚类。
AI2的新MoE模型——EMO，总参数量14B，活跃参数1B，基于1万亿tokens训练。其有趣之处在于文档级路由：专家会按领域（如健康、新闻等）进行聚类，而非表面模式。模型：[https://huggingface.co/collections/allenai/emo](https://huggingface.co/collections/allenai/emo)
相似文章
混合专家模型中的涌现式模块化（8 分钟阅读）
Ai2 发布了 EMO，一个 14B 参数的混合专家语言模型，训练用于发展涌现式模块化。它允许在特定任务中使用一小部分专家，同时保持接近全模型性能。
EMO：通过预训练混合专家实现涌现模块化
Allen AI 发布了 EMO 模型，这是一种混合专家模型，其中模块化结构从数据中自然涌现，使得仅使用 12.5% 的专家就能完成一项任务，同时保持接近完整模型的性能。
EMO：用于涌现模块化的专家混合模型预训练
EMO 是一种专家混合模型（Mixture-of-Experts），通过将相似领域的词元与共享专家分组实现模块化部署，在保持与标准 MoE 相当的性能的同时，支持显著的专家剪枝（保留 25% 的专家即可保留 99% 的性能）且不会导致性能下降。
MobileMoE：扩展端侧混合专家模型
MobileMoE 引入了高效的端侧混合专家语言模型，参数规模低于十亿，在性能和效率上均优于密集基线模型和现有的 MoE 模型。这些模型在开源数据集上训练，并在商用智能手机上展现出显著的加速效果。
Transformer 中的专家混合模型 (MoEs)
Hugging Face 的博客文章，介绍 Transformer 中的专家混合模型 (MoEs) 架构，涵盖从密集模型到稀疏模型的转变、权重加载优化、专家并行计算以及基于 MoE 的语言模型训练技术。