3.6-27B 发布:Dense 与 MoE 差距正迅速缩小
摘要
最新 3.6-27B 版本显示,MoE 在代码任务及长上下文场景中正快速逼近 Dense 模型,尽管 Dense 整体仍领先。
27B Dense vs. 35B-A3B MoE:
- Dense 依旧称王:大多数任务仍由 Dense 领先。
- 差距正在缩小:10 项基准里,MoE 在 7 项中悄悄逼近。
- 代码能力暴涨:MoE 进步显著。以 SWE-bench Multilingual 为例,Dense 的优势从 +9.0 被压缩到仅 +4.1。
- 唯一例外:Terminal-Bench 2.0。不知为何,Dense 在此把领先从 +1.1 扩大到 +7.8。
TL;DR:Dense 仍略胜一筹,但 MoE 追赶迅猛——尤其在代码场景。如果你只有 24GB VRAM 又想要 256k 长上下文,现在选 MoE 的性价比更高。
有人实测过 MoE 的 256k 上下文了吗?
更多细节见:https://x.com/i/status/2047004358500614152
相似文章
Qwen 35B-A3B MoE 与 27B dense 本地编码测试对比:速度快约 4 倍,质量差距远小于预期
一项本地实验,在代码维护任务上比较 Qwen 35B-A3B MoE 和 Qwen 27B dense,发现 MoE 模型速度快约 3.9 倍,且质量差距比预期更小。
我实测了:将密集27B模型换成30B-A3B MoE模型如何改变本地并发上限(与先前测试相同平台,仅改变一个变量)
作者在MacBook Pro上测试并比较了密集与MoE AI模型的并发性能,发现由于每个token的内存带宽使用更低,MoE模型的扩展性显著更好。
@no_stp_on_snek: Dense 与 MOE - MOE 能否跟上 Dense 的质量?源于一个朋友遇到的问题。他有一个 agentic 运行任务…
对稠密模型和 Mixture of Experts (MoE) 模型进行比较,以评估 MoE 是否能在代理任务中匹配稠密模型的质量,基于多种模型的基准测试结果显示性能指标。
我们何时才能迎来下一个让本地稠密模型更快的突破?
作者讨论了自MTP以来,本地稠密模型缺乏架构层面的速度突破,指出近期的加速主要来自MoE稀疏化,但代价是稳定性下降,并询问是否会有Qwen4-27B这类更快的稠密模型出现。文章对比了稠密模型与MoE模型的可靠性,并指出社区微调主要集中在减少推理token上。
恕我无知,但27B模型怎么会比397B更强?
用户质疑Qwen的27B稠密模型为何能胜过其397B MoE版本,引发关于MoE效率与稠密模型质量的讨论。