Gemma 4 12B 是我的新主力

Unsloth Q5\_K\_XL 正式成为我本地编程的主力模型。一开始我用了 Q4\_K\_XL，但发现需要频繁修正语法错误。倒也不是不能用，但有一次我不得不做了 23 处编辑才能解决语法问题。用 Q4 时，我的生成速度大约是 61 t/s，换到 Q5 后降到了 50 t/s，但现在大多数任务都能一次性搞定（不是零样本，我还是得告诉它要构建什么 *眨眼*，说的就是你们，语法和技术洁癖们）。模型文件大小约 8.6GB。为了保持响应速度，我在 llama.cpp 中将上下文窗口限制在 32k，并使用了 Q8 KV 缓存。最终，VRAM 占用大约 15.7 GB，缓存检查点会多占用 1 GB。说实话，32k 对我的工作流来说已经足够了，完全能聚焦在需要完成的具体任务上。如果有人问它是否比 Qwen 3.6 27B（我从来都跑不动）或 35B A3B 更好……对我来说答案是肯定的，原因有几点： * **工具调用让人头疼：** 我必须把 Qwen 的工具调用从 XML 改成 JSON。这导致不一致，而且需要大量折腾聊天模板、llama.cpp 设置和内存管理。 * **Gemma 4 即插即用：** 我只需设置缓存、锁定上下文长度、连接到我的 PI 框架，就能直接用了。我可以编写代码、短篇小说和 HTML 游戏。我还没在 Godot 上测试，但在 Lua 上表现很好，因为我业余喜欢做《赛博朋克 2077》的模组。抱歉了，Qwen，我们不得不分手。请理解，不是你的问题，是我。XOXO