Qwen 35b a3b 令我惊喜

Reddit r/LocalLLaMA 模型

摘要

用户报告了使用 Qwen 35b a3b 进行代理编码任务的积极体验,指出在其使用场景中它优于 Gemma4 26b,并且在演示/数据分析方面表现出色,尤其是在代理模式而非聊天模式下。

只是想分享一下,我对 Qwen 35b a3b 的代理编码性能非常满意。我以 q80 量化运行该模型,kv cache 也设为 q8_0,上下文长度 262144,在 4090 + 5060 ti 上,通过 llama.cpp 后端,并使用指向 localhost 的 claude code。对于演示/数据分析用途,它表现相当不错。我还没有在大型代码库上使用它,但在我的使用场景中,它绝对比 Gemma4 26b 更好。有一件事让我惊讶:它在代理编码方面的表现似乎比聊天更好。当仅使用聊天 UI 时,我发现 Qwen35b 提供的代码有些笨重。我想知道其他人是否已经将其性能与开源测试框架(Pi / opencode)进行了比较。
查看原文

相似文章

Qwen 3.6 35B A3B 的热度绝非虚名!

Reddit r/LocalLLaMA

作者对小型本地 LLM 进行了基准测试,重点突出了 Qwen 3.6 35B A3B,其将学术代码与研究论文进行映射的能力优于 Gemma 4 和 Nemotron 3 Nano 等模型。