@ollama：Gemma 4 在 Apple Silicon 上使用 Ollama 和 MLX 提速近 90%！性能提升得益于改进的多 token 预…

X AI KOLs Following 2026/07/01 00:54 模型

gemma-4 apple-silicon ollama mlx multi-token-prediction speedup open-source

摘要

Ollama 宣布，Gemma 4 在 Apple Silicon 上使用 MLX 后速度提升近 90%，这得益于默认启用的改进多 token 预测机制，并支持自动调节以避免减速。

Gemma 4 在 Apple Silicon 上使用 Ollama 和 MLX 后速度提升近 90%！性能提升来自改进的多 token 预测（MTP），该功能现已在 Gemma 4 中默认开启，后续更多模型也将支持。 Ollama 会在运行过程中自动调整要预测的 token 数量，从而在推测不再带来提速时避免生成速度下降。

查看原文

查看缓存全文

缓存时间: 2026/07/01 10:05

Gemma 4 现在在 Apple Silicon 上使用 Ollama 和 MLX 快了近 90%！

这一加速得益于改进的多令牌预测（MTP），该功能现已在 Gemma 4 上默认启用，未来还会有更多模型支持。

Ollama 会在运行时自动调整预测的令牌数，因此当推测不再有助于加速时，生成速度永远不会变慢。

相似文章

在MLX中使用turboquant（及自定义内核）运行Gemma4 26b MoE

Reddit r/LocalLLaMA

一位开发者成功在Apple MacBook Air M5上使用MLX、turboquant和自定义内核运行了Gemma4 26b MoE，实现了比llama.cpp更快的提示处理和生成速度，且内存占用更低。实现方式包括本地部署说明。

@rohanpaul_ai: atomic[.]chat 让 Gemma 4 26B 在 LLaMA.cpp 中的运行速度更快，在 MacBook Pr… 上的 token 生成速度提升约 40%

X AI KOLs Following

atomic.chat 优化了 Gemma 4 26B 在 LLaMA.cpp 中的推理性能，在 MacBook Pro M5 Max 上通过多 token 预测（MTP）推测解码实现了约 40% 的 token 生成提速。这对运行桌面应用、编程智能体和本地私有助手的本地 AI 用户来说是一个重大利好。

@HuggingModels：Gemma 4 来了，它针对 Apple Silicon 进行了优化。这款 4 位量化模型在您的 Mac 上运行快速，而不仅仅是在…

X AI KOLs Timeline

Gemma 4 是一款针对 Apple Silicon 优化的 4 位量化模型，能够在 Mac 设备上实现快速本地推理，减少对云计算的依赖。

@jundotkim: oMLX 0.3.9.dev2 已发布。亮点包括：- 视觉路径上的 Gemma 4 MTP（感谢 @Prince_Canuma 的 mlx-vlm）。图像+文本的解码速度显著提升 -...

X AI KOLs Timeline

oMLX 0.3.9.dev2 已发布，带来了对 Gemma 4 的改进支持、DFlash 引擎集成以及 ParoQuant 功能，优化了在 Apple Silicon 上的本地 LLM 推理体验。

LLaMA.cpp的多令牌预测（MTP）——Gemma 4速度提升40%