Qwen 3.6 35B-A3B @ Q4 还是 Gemma 4 12B @ Q8？

Reddit r/LocalLLaMA 新闻
quantization local-llm inference qwen gemma model-comparison

摘要

用户就如何在 Q4 量化的 Qwen 3.6 35B-A3B 和 Q8 量化的 Gemma 4 12B 之间做出选择征求意见，用于本地代码库工作，设备为 32GB 统一内存。

想知道模型量化在这里有多重要。我日常使用的设备是 32GB 统一内存，目前用的 qwen 模型每秒输出约 15 个 token。听说 12B 的 Gemma 4 模型很不错，所以有兴趣在我的代码库上试试。考虑到它的尺寸，我可以很轻松地跑 Q8 量化版本。见鬼，我甚至可能用 BF16 跑它，哈哈。
查看原文

相似文章

通俗版对比：Qwen3.6 35b-a3b 与 Gemma4-26b-a4b-it

Reddit r/LocalLLaMA

Gemma 4-26b-a4b-it 基本是个基础扎实、能稳妥完成任务的 B 等生。Qwen3.6-35b-a3b 则是考出 A+ 的优等生，做完任务后还有余力搞点锦上添花的发挥。在我的 16GB 显存显卡上，两款模型运行速度相当。测试环境为 Windows 下的 LM Studio，采用推荐推理设置。使用的模型：unsloth/gemma-4-26B-A4B-it-UD-Q4_K_S 与 AesSedai/Qwen3.6-35B-A3B IQ4_XS。大家有不同意见吗？**更新：** 看来我之前用 Gemma 4 的方式不太对。[Sadman782 的评论](https://www.redd

Qwen 3.6 27B 太牛了

Reddit r/LocalLLaMA

一位用户分享了在本地使用 Qwen 3.6 27B 进行复杂研究和编程的积极体验，发现它在职业建议和移民研究方面优于 Gemini Pro，同时也提到 Gemma 4 31B 存在性能问题。