small-moe

用户报告称，Gemma 4 26b 在语言学习和科学查询方面优于 Qwen 3.5/3.6，尽管在编码任务上稍显逊色，并邀请大家讨论小型 MoE 模型在编码以外的其他用例。

JetBrains发布了Mellum 2 12B A2.5B，这是一个专注于编码的小型MoE模型，其推理性能与Qwen 3.5 9B相当，但在其他任务上较弱。