@Freerunnering: 这实际上使得Gemma 4 26B-4A在我的MacBook Pro M1 Max上以72tk/s的速度可用于编码代理。这个视频是实时的，…
摘要
Unsloth AI宣布，Gemma 4在MTP GGUFs上运行速度快了2倍，使得在如MacBook Pro M1 Max这样的硬件上以72 tokens/s的速度运行本地编码代理成为可能。
查看缓存全文
缓存时间: 2026/06/12 10:56
这实际上让 Gemma 4 26B-4A 在我的 MacBook Pro M1 Max 上以 72tk/s 的速度可用于编码代理。
该视频是实时的，完全在本地运行。https://t.co/DYAFpnseBA
Unsloth AI (@UnslothAI)： Gemma 4 现在使用 MTP GGUFs 运行速度提升 2 倍！仅需 6GB RAM 即可本地运行。⚡️
MTP 使 Google Gemma 4 运行速度提升约 1.4–2.2 倍，且精度无损失。
Gemma 4 12B MTP 可达 162 t/s，而无 MTP 时为 52 t/s。31B 可达 101 t/s。
GGUFs + 指南：
相似文章
@rohanpaul_ai: atomic[.]chat 让 Gemma 4 26B 在 LLaMA.cpp 中的运行速度更快，在 MacBook Pr… 上的 token 生成速度提升约 40%
atomic.chat 优化了 Gemma 4 26B 在 LLaMA.cpp 中的推理性能，在 MacBook Pro M5 Max 上通过多 token 预测（MTP）推测解码实现了约 40% 的 token 生成提速。这对运行桌面应用、编程智能体和本地私有助手的本地 AI 用户来说是一个重大利好。
@leopardracer: GEMMA 4 26B 在 RTX 4060 上运行，拥有 248K Token 上下文窗口，每秒 20 个 Token，上下文窗口大得可以……
Gemma 4 26B 在 RTX 4060 上运行，通过 llama.cpp 和 Q4_K_XL 量化实现 248K Token 上下文和每秒 20 Token 的速度，从而在消费级硬件上本地处理整个代码库。
Gemma 4 E2B 在浏览器中运行，使用Fable 5编写的WebGPU内核，速度达255 tok/s
Gemma 4被演示在浏览器中通过WebGPU以每秒255个token的速度运行，使用Fable 5生成的内核，展示了高效的设备端推理。
本地测试（更新后的）Gemma 4在OpenCode中的编码表现
在M5 Pro上使用llama.cpp本地测试了更新后的Gemma 4，使用OpenCode进行编码任务时达到60 tokens/s；后端表现良好，但UI/UX不佳。
在MLX中使用turboquant（及自定义内核）运行Gemma4 26b MoE
一位开发者成功在Apple MacBook Air M5上使用MLX、turboquant和自定义内核运行了Gemma4 26b MoE，实现了比llama.cpp更快的提示处理和生成速度，且内存占用更低。实现方式包括本地部署说明。