将稠密模型转换为混合专家模型

过去几周，我一直在尝试将现有的稠密模型转换为稀疏的混合专家（MoE）模型，而不从头进行预训练。 思路 如果能把稠密模型转成一个每个 token 只运行部分 MLP 的 MoE 模型，就能在大致保留相同知识的同时，降低每个 token 的计算成本。大型实验室会用巨额算力预算进行这种“升级再利用”。我想看看用我的 RTX 4060（8GB）能做到什么程度。 转换情况 到目前为止，我已经转换了两个模型：Qwen/Qwen2.5-0.5B 和 HuggingFaceTB/SmolLM2-360M（特意选了小模型，因为我的电脑处理不了更大的模型）。转换后的模型可以在这里找到：bayliner1980/Qwen2.5-0.5B-MoE-A0.3B，以及这里：bayliner1980/SmolLM2-360M-MoE-A0.2B。两个模型都有 32 个专家，每次选择其中 8 个（top-8），另外还有一个共享专家。最难转换的层（最后一层，以及 SmolLM2 的第 3 层）被替换回了原始的稠密层。这确实会略微增加 MLP 的计算量，但我觉得值得。bayliner1980/Qwen2.5-0.5B-MoE-A0.3B 在第 23 层保留了一个稠密层，bayliner1980/SmolLM2-360M-MoE-A0.2B 则在第 3 层和第 31 层保留了两个稠密层。两个模型都导出为 Qwen2-MoE 格式。 评估 bayliner1980/Qwen2.5-0.5B-MoE-A0.3B 每个 token 的 MLP 计算量：约为原模型的 40% - WikiText-2 困惑度 C4 困惑度 Qwen2.5-0.5B（稠密）14.66 21.29 Qwen2.5-0.5B-A0.3B（MoE）19.20 28.97 - HellaSwag（归一化）ARC-Easy（准确率）ARC-Challenge（归一化）WinoGrande OpenBookQA（归一化）平均 acc_norm 稠密模型 0.497 0.646 0.321 0.569 0.354 0.467 转换后的 MoE 0.440 0.555 0.265 0.519 0.308 0.408 bayliner1980/SmolLM2-360M-MoE-A0.2B 每个 token 的 MLP 计算量：约为原模型的 44% - WikiText-2 困惑度 C4 困惑度 稠密模型 12.94 18.09 转换后的 MoE 19.11 26.50 - HellaSwag（归一化）ARC-Easy（准确率）ARC-Challenge（归一化）WinoGrande OpenBookQA（归一化）平均 acc_norm 稠密模型 0.525 0.702 0.386 0.590 0.374 0.514 转换后的 MoE 0.446 0.579 0.290 0.506 0.316 0.417 局限性 质量上的差距很可能始终存在。由于模型最多只使用原始 MLP 计算量的 50%，它无法与原模型相媲美。在这个规模下，运行性能的提升几乎可以忽略不计，因为这些模型本来就很小。选择这些模型，是因为它们足够小，让我能用自己的硬件实际开展工作。 下一步 转换更大的模型、延长训练时间，以及测试更精细的专家布局。更大的模型需要的算力超出了我的显卡所能提供的范围，所以如果你对此感兴趣，模型页面上有 Ko-fi 链接，而且所有新成果都会公开发布。这主要只是一个我觉得有趣的实验，但我仍然很希望收到反馈。你希望接下来转换哪个模型？