training-script

标签

Cards List
#training-script

将 Gemma 4 31B 密集模型转变为原生 Gemma 4 加法型 MoE 模型

Reddit r/LocalLLaMA ↗ · 2026-05-29

一个概念验证的训练脚本实现了将 Gemma 4 31B 密集模型转换为加法型 MoE 架构,灵感来自 JDONE-Research 的一个韩语专用微调模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈