3.6-27B 发布:Dense 与 MoE 差距正迅速缩小

Reddit r/LocalLLaMA 模型

摘要

最新 3.6-27B 版本显示,MoE 在代码任务及长上下文场景中正快速逼近 Dense 模型,尽管 Dense 整体仍领先。

27B Dense vs. 35B-A3B MoE: - Dense 依旧称王:大多数任务仍由 Dense 领先。 - 差距正在缩小:10 项基准里,MoE 在 7 项中悄悄逼近。 - 代码能力暴涨:MoE 进步显著。以 SWE-bench Multilingual 为例,Dense 的优势从 +9.0 被压缩到仅 +4.1。 - 唯一例外:Terminal-Bench 2.0。不知为何,Dense 在此把领先从 +1.1 扩大到 +7.8。 TL;DR:Dense 仍略胜一筹,但 MoE 追赶迅猛——尤其在代码场景。如果你只有 24GB VRAM 又想要 256k 长上下文,现在选 MoE 的性价比更高。 有人实测过 MoE 的 256k 上下文了吗? 更多细节见:https://x.com/i/status/2047004358500614152
查看原文

相似文章

我们何时才能迎来下一个让本地稠密模型更快的突破?

Reddit r/LocalLLaMA

作者讨论了自MTP以来,本地稠密模型缺乏架构层面的速度突破,指出近期的加速主要来自MoE稀疏化,但代价是稳定性下降,并询问是否会有Qwen4-27B这类更快的稠密模型出现。文章对比了稠密模型与MoE模型的可靠性,并指出社区微调主要集中在减少推理token上。