你最喜欢的中大型(约 500 亿至 1500 亿参数)MoE 模型是什么?除了 Qwen flash next 之外。
摘要
社区用户询问除 Qwen Flash Next 外,还有哪些值得尝试的 50–150B 参数量级的 MoE 模型,列举了 GPT OSS 120B、Mistral 4 Small 119B、Qwen 3.5 122B A10b 和 Ling 3.0 Flash 等候选模型,希望获得适合本地部署和非编程用途的推荐。
我最近给台式机加了些内存,这样就能把更大的 MoE 模型拆分到内存和显存中运行了。我知道大家都很喜欢 Qwen Flash Next,但我很好奇还有哪些值得一试。我的待尝试清单上有:GPT OSS 120b(这款现在还堪用吗?)Mistral 4 Small 119b Qwen 3.5 122b A10b(这款还有尝试的价值吗,还是已经完全被 Flash Next 取代了?)Ling 3.0 Flash 还有哪些值得试试?有没有做过拒绝机制消融的版本,或者定制模型?说实话,我主要关注的不是智能体编程。我知道 Flash Next 在这方面是王者,而且实际需要写代码时,我直接用 Claude 或 Codex。所以,即使某个模型不擅长编程,只要它在其他方面表现出色,我也很感兴趣!
相似文章
中型MoE大语言模型
用户寻求中等规模的混合专家大语言模型(MoE)推荐(最高60B参数(float8)/110B参数(mxfp4)),列出了Qwen 3.5 35B、Gemma 4 A4B和Nemotron 3 Nano,并询问除此之外还有哪些小众选择。
为什么A10b以下的MOE让我像在赌博
开发者报告称,像 qwen3.6-35b-A3b 这种“活跃参数量”较小的 MOE 模型,相比稠密的 qwen3.5-27b,一致性更低、需要更多引导,很难直接塞进智能体工作流。
Qwen3.8-Flash-Next
Qwen 发布了 Qwen3.8-Flash-Next,这是一款开放权重的多模态 MoE 模型,拥有 125B tokens,但只有 6B 活跃参数,提供了性能提升,并作为 Qwen4 架构的早期预览。
@AdinaYakup:社区成员带来的有趣模型 Groot 系列 4 个 MoE 模型,参数从 19B 到 280B,19B/A3B 支持 128K 上下文……
社区成员 GrootTeam 发布了 Groot 系列 4 个多模态 MoE 模型(19B 到 280B),提供 FP8、NVFP4 和 GGUF 量化版本,据报告在基准测试上表现优于更大的模型。
@VukRosic99: 理想汽车的Mach-Mind-4-Flash:一个仅有3B活跃参数的35B MoE模型,仅通过后训练就能匹配100B级别的模型……
理想汽车的Mach-Mind-4-Flash是一个拥有3B活跃参数的35B MoE模型,通过使用统一的强化学习/在线策略蒸馏损失进行后训练优化,在多个基准测试中达到了匹配或超越100B参数模型的性能。