3.6-27B 发布：Dense 与 MoE 差距正迅速缩小

Reddit r/LocalLLaMA 模型
moe dense-model benchmarks coding context-window

摘要

最新 3.6-27B 版本显示，MoE 在代码任务及长上下文场景中正快速逼近 Dense 模型，尽管 Dense 整体仍领先。

27B Dense vs. 35B-A3B MoE： - Dense 依旧称王：大多数任务仍由 Dense 领先。 - 差距正在缩小：10 项基准里，MoE 在 7 项中悄悄逼近。 - 代码能力暴涨：MoE 进步显著。以 SWE-bench Multilingual 为例，Dense 的优势从 +9.0 被压缩到仅 +4.1。 - 唯一例外：Terminal-Bench 2.0。不知为何，Dense 在此把领先从 +1.1 扩大到 +7.8。 TL;DR：Dense 仍略胜一筹，但 MoE 追赶迅猛——尤其在代码场景。如果你只有 24GB VRAM 又想要 256k 长上下文，现在选 MoE 的性价比更高。 有人实测过 MoE 的 256k 上下文了吗？ 更多细节见：https://x.com/i/status/2047004358500614152
查看原文

相似文章