总共124B参数但仅~5B活跃——这正是我想要的本地模型形态。低激活参数的MoE现在成为了本地最佳选择吗？

Reddit r/singularity 新闻
mixture-of-experts sparse-models low-active-parameters model-architecture local-sweet-spot 5b-active 124b

摘要

关于专家混合模型（MoE）的讨论，该模型总参数为124B但仅约5B活跃，表明低激活参数的MoE可能成为本地最佳选择。

暂无内容
查看原文

相似文章

中型MoE大语言模型

Reddit r/LocalLLaMA

用户寻求中等规模的混合专家大语言模型（MoE）推荐（最高60B参数（float8）/110B参数（mxfp4）），列出了Qwen 3.5 35B、Gemma 4 A4B和Nemotron 3 Nano，并询问除此之外还有哪些小众选择。

为什么A10b以下的MOE让我像在赌博

Reddit r/LocalLLaMA

开发者报告称，像 qwen3.6-35b-A3b 这种“活跃参数量”较小的 MOE 模型，相比稠密的 qwen3.5-27b，一致性更低、需要更多引导，很难直接塞进智能体工作流。