标签
关于专家混合模型（MoE）的讨论，该模型总参数为124B但仅约5B活跃，表明低激活参数的MoE可能成为本地最佳选择。
本文介绍了一种自动化的大语言模型流水线，用于生成并验证关于Transformer中单个权重何时起作用的、人类可读的描述。研究发现，在权重稀疏的Transformer中，12%至31%的权重在全局范围内具有可解释性，其表现优于稠密Transformer。
作者认为，当前迫切需要80-160B参数范围的AI模型，以支持使用统一内存设备的用户（例如高内存的Apple/AMD系统），因为最近的模型对于他们的硬件来说要么太小，要么太大。
DOT-MoE将密集层分解形式化为可微最优传输问题，能够高效训练稀疏MoE模型，在将活跃参数减少50%的同时保留原始模型90%的性能。
EMO 是一种专家混合模型（Mixture-of-Experts），通过将相似领域的词元与共享专家分组实现模块化部署，在保持与标准 MoE 相当的性能的同时，支持显著的专家剪枝（保留 25% 的专家即可保留 99% 的性能）且不会导致性能下降。
Hugging Face 的博客文章，介绍 Transformer 中的专家混合模型 (MoEs) 架构，涵盖从密集模型到稀疏模型的转变、权重加载优化、专家并行计算以及基于 MoE 的语言模型训练技术。