将 Gemma 4 31B 密集模型转变为原生 Gemma 4 加法型 MoE 模型

Reddit r/LocalLLaMA 模型

摘要

一个概念验证的训练脚本实现了将 Gemma 4 31B 密集模型转换为加法型 MoE 架构,灵感来自 JDONE-Research 的一个韩语专用微调模型。

我最近在 Hugginface 上发现了一个有趣的模型 [来自 JDONE-Research/AIOne-Agent-52B-A36B-it](https://huggingface.co/JDONE-Research/AIOne-Agent-52B-A36B-it)。这是我看到的第一个基于 Gemma 4 31B 密集模型但为其启用 MoE 的微调模型,它训练了路由器 + 专家,并像 Gemma 4 26B 一样启用了 `enable_moe_block` 配置。我很惊讶这个“特性”没有被更多地讨论,因为我原以为这可能是一种有趣的架构,可以进一步对 Gemma 4 31B 模型进行后训练,以更新其知识并通过 MoE 赋予其增强能力。不幸的是,JDONE 的微调是针对韩语的,但我很好奇社区中是否有人遇到或探索过类似的基于 Gemma 4 31B 并扩展了 MoE 的模型。我还有一些多余的 RunPod 积分,因此我与 ChatGPT Pro 反复协作,创建了一个 [训练脚本](https://gist.github.com/VikashLoomba/4f4fc8605195f8cf76d5461e639021eb),预计在 B300 上需要约 24 小时才能完成,以创建一个概念验证模型,看看我是否真的能通过这种增强架构生成一个可工作的模型。我在模型完整训练方面经验很少(仅通过 Unsloth 做过几次微调),所以如果有更有经验的人提出建议,我非常欢迎反馈!
查看原文

相似文章

重建Gemma 4 31b……更好……压缩为26b……

Reddit r/LocalLLaMA

一位开发人员正在将Gemma 4 31b重建为一个更小的26b模型,通过移除弱SWA层、添加基于注意力的残差网络(来自Moonshot)以及使用topK logit目标进行再训练,旨在实现更好的长上下文和性能。

Gemma4-12B升级改造完成

Reddit r/LocalLLaMA

Solon-MoE-22B-A17B是一个稀疏混合专家模型,从Gemma4-12B-IT升级改造而来,拥有220亿总参数和170亿活跃参数,保留了原始的稠密模型,以实现灵活的推理和训练。

Google Gemma 4 12B

Product Hunt

谷歌的 Gemma 4 12B 模型通过无编码器架构实现本地多模态AI。