你最喜欢的中大型(约 500 亿至 1500 亿参数)MoE 模型是什么?除了 Qwen flash next 之外。

Reddit r/LocalLLaMA 新闻

摘要

社区用户询问除 Qwen Flash Next 外,还有哪些值得尝试的 50–150B 参数量级的 MoE 模型,列举了 GPT OSS 120B、Mistral 4 Small 119B、Qwen 3.5 122B A10b 和 Ling 3.0 Flash 等候选模型,希望获得适合本地部署和非编程用途的推荐。

我最近给台式机加了些内存,这样就能把更大的 MoE 模型拆分到内存和显存中运行了。我知道大家都很喜欢 Qwen Flash Next,但我很好奇还有哪些值得一试。我的待尝试清单上有:GPT OSS 120b(这款现在还堪用吗?)Mistral 4 Small 119b Qwen 3.5 122b A10b(这款还有尝试的价值吗,还是已经完全被 Flash Next 取代了?)Ling 3.0 Flash 还有哪些值得试试?有没有做过拒绝机制消融的版本,或者定制模型?说实话,我主要关注的不是智能体编程。我知道 Flash Next 在这方面是王者,而且实际需要写代码时,我直接用 Claude 或 Codex。所以,即使某个模型不擅长编程,只要它在其他方面表现出色,我也很感兴趣!
查看原文

相似文章

中型MoE大语言模型

Reddit r/LocalLLaMA

用户寻求中等规模的混合专家大语言模型(MoE)推荐(最高60B参数(float8)/110B参数(mxfp4)),列出了Qwen 3.5 35B、Gemma 4 A4B和Nemotron 3 Nano,并询问除此之外还有哪些小众选择。

为什么A10b以下的MOE让我像在赌博

Reddit r/LocalLLaMA

开发者报告称,像 qwen3.6-35b-A3b 这种“活跃参数量”较小的 MOE 模型,相比稠密的 qwen3.5-27b,一致性更低、需要更多引导,很难直接塞进智能体工作流。

Qwen3.8-Flash-Next

Simon Willison's Blog

Qwen 发布了 Qwen3.8-Flash-Next,这是一款开放权重的多模态 MoE 模型,拥有 125B tokens,但只有 6B 活跃参数,提供了性能提升,并作为 Qwen4 架构的早期预览。