@AdinaYakup: 来自社区成员的有趣模型 Groot 系列 4 款 MoE 模型,参数从 19B 到 280B,19B/A3B 支持 128K 上下文……
摘要
一位社区成员发布了 Groot 系列,这是一组包含四个 MoE 模型的家族,参数规模从 19B 到 280B,基准测试表现亮眼:其中 19B 模型可在 16GB 显卡上运行 128K 上下文,280B 模型以低成本在 SWE-bench Pro 上取得 63.47 分。
查看缓存全文
缓存时间: 2026/10/28 13:35
一位社区成员带来了令人感兴趣的模型 👀
Groot 系列 4 款 MoE 模型,参数范围从 19B 到 280B
✨ 19B/A3B 在 16GB GPU 上即可支持 128K 上下文,在公开基准测试中表现优于更大的模型
✨ 65B/A6B 与 Qwen3.8 Flash Next 相比,输出 token 减少 28%
✨ 238B/A18B 在 6 项智能体基准测试中胜过更大的模型,支持 1M 上下文
✨ 280B/A16B
- SWE bench Pro 上得分 63.47
- 在 DeepSWE 1.1 上每任务成本仅 $0.13
- 支持可调节的推理力度
相似文章
@AdinaYakup:社区成员带来的有趣模型 Groot 系列 4 个 MoE 模型,参数从 19B 到 280B,19B/A3B 支持 128K 上下文……
社区成员 GrootTeam 发布了 Groot 系列 4 个多模态 MoE 模型(19B 到 280B),提供 FP8、NVFP4 和 GGUF 量化版本,据报告在基准测试上表现优于更大的模型。
我是格鲁特?
一篇帖子分享了 Hugging Face 上的 Groot MoE 模型家族(包含 19B、65B、238B 和 280B 版本),声称 19B 模型的表现优于 Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B,同时回答更简短;后续编辑补充称,这些模型似乎是基于 REAP 对 DeepSeek/Qwen 模型进行改造而来的。
在老款GTX 1080(8GB显存,128k上下文)上,约30B的MoE模型达到24+ tok/s的推理速度
一位开发者展示了如何使用llama.cpp,通过MoE卸载和TurboQuant KV缓存量化技术,在老款GTX 1080(8GB显存)上以128k上下文运行Qwen 3.6 35B-A3B和Gemma 4 26B-A4B等MoE模型,达到24+ tok/s的推理速度,并揭示了针对Gemma MTP投机解码的优化技巧。
@nathanhabib1011: SWE-bench_pro 上参数低于 128B 的最佳模型… @Alibaba_Qwen 3.6 27b 依然疯狂,紧随其后的是 @ornith_ 35B
推文突出了 SWE-bench_pro 基准测试中参数低于 128B 的顶级 AI 模型,指出阿里 Qwen 3.6 27B 和 ornith 35B 是领先的竞争者。
@witcheer: 难以置信 gpt-oss-20b 在 8GB 显存上的表现。21B 总参数,3.6B 活跃参数(MoE)。OpenAI,Apache 2.0。仅使用 1.8 GB 显存…
一个全新的开源 MoE 模型,gpt-oss-20b(总共 21B,活跃 3.6B),仅需 1.8GB 显存即可运行,并在代理编程任务上获得满分,性能优于其他本地模型(如 Gemma 和 Qwen)。