@Prince_Canuma: Gemma 4 + 🦅 = brrr 下一次 MLX-VLM 版本将包含大量改进！这里是对 Eagle3 推测解码的初步预览…

X AI KOLs Timeline 2026/05/13 21:35 工具

mlx-vlm speculative-decoding eagle3 gemma-4 apple-silicon vision-language-models

摘要

下一次 MLX-VLM 版本包含改进，并提供了对 Gemma 4 模型的 Eagle3 推测解码预览。

Gemma 4 + 🦅 = brrr 下一次 MLX-VLM 版本将包含大量改进！以下是对 Eagle3 推测解码的初步预览。 @googlegemma @RedHat_AI https://t.co/B9Ysi9VkK4

查看原文

查看缓存全文

缓存时间: 2026/05/13 22:26

Gemma 4 + 🦅 = brrr

下一个 MLX-VLM 版本将包含大量改进！

这里是 Eagle3 投机解码的初步预览。

@googlegemma @RedHat_AI https://t.co/B9Ysi9VkK4

相似文章

Reddit r/LocalLLaMA

Gemma4-12B-QAT Uncensored Balanced 发布，这是一个经过微调的无审查模型，配备多 token 预测草案头，可实现约 60% 更快的推测解码，针对 llama.cpp 优化，并支持视觉功能。

Reddit r/LocalLLaMA

Google 发布了用于 Gemma 4 的多 token 预测草稿器，通过推测性解码加速推理，但目前对 MLX 的支持尚未确认或不可用。

Reddit r/LocalLLaMA

ExLlamaV3 发布了一系列重大更新，包括对 Gemma 4 的支持、缓存效率的提升，以及新的 DFlash 技术，可显著提高各类模型的推理速度。

X AI KOLs Timeline

oMLX 0.3.9.dev2 已发布，带来了对 Gemma 4 的改进支持、DFlash 引擎集成以及 ParoQuant 功能，优化了在 Apple Silicon 上的本地 LLM 推理体验。