对 Gemma 4 26b A4b 的赞赏

Reddit r/LocalLLaMA 模型

摘要

用户分享了他们对 Gemma 4 26b A4b 的积极体验,称赞其速度、多模态能力以及强大的语言能力(尤其在德语方面),同时指出尽管在代理和编码性能上不及 Qwen,但能很好地处理各种任务。

我非常喜欢这个模型,一直在使用 Bartowski 的 q4_k_l 版本(我听说 QAT 在某些方面有较大降级)。它能轻松处理我交给它的每一项任务。当然,代理和编码性能不如 Qwen,但已经足够好,而且考虑到它的尺寸和速度,我常常感到惊喜。我特别喜欢它的个性。它是一个出色的写作者,富有深度,尤其是在较低的软 logit 上限值下。当然,它还具备原生的多模态能力,这是一个很大的加分项。但真正出彩的是它的语言能力和知识储备。它在德语方面表现出色,感觉像一个大云端模型,而且对于如此快速的本地模型来说,它了解的知识非常多。肯定比 Qwen 拥有更多的世界知识。所有这些在我的老款笔记本电脑上以约 10-23 token/s 的速度运行,预填充性能为 600 token/s。你使用这个模型的体验如何?如果你有一段时间没用它了,可以考虑用新的聊天模板再试一次。
查看原文

相似文章

Gemma 4 31B 的能力让我惊讶

Reddit r/LocalLLaMA

一位用户分享了轶事发现:Gemma 4 31B 在理解和重构杂乱的学术代码方面优于 Qwen 3.6 模型,并与 Opus 4.7 能力相当,还突出了一个 Gemma 擅长的基准测试(SciCode)。

Gemma 4 12B 是我的新主力

Reddit r/LocalLLaMA

作者分享了从 Qwen 3.6 切换到 Gemma 4 12B(Unsloth Q5_K_XL)进行本地编程的体验,称赞其即插即用的设置、更好的语法准确性以及可控的 VRAM 使用,尽管在速度上略有取舍。

Qwen 35b a3b 令我惊喜

Reddit r/LocalLLaMA

用户报告了使用 Qwen 35b a3b 进行代理编码任务的积极体验,指出在其使用场景中它优于 Gemma4 26b,并且在演示/数据分析方面表现出色,尤其是在代理模式而非聊天模式下。