@Prince_Canuma: Gemma 4 + 🦅 = brrr 下一次 MLX-VLM 版本将包含大量改进！这里是对 Eagle3 推测解码的初步预览…

X AI KOLs Timeline 2026/05/13 21:35 工具

mlx-vlm speculative-decoding eagle3 gemma-4 apple-silicon vision-language-models

摘要

下一次 MLX-VLM 版本包含改进，并提供了对 Gemma 4 模型的 Eagle3 推测解码预览。

Gemma 4 + 🦅 = brrr 下一次 MLX-VLM 版本将包含大量改进！以下是对 Eagle3 推测解码的初步预览。 @googlegemma @RedHat_AI https://t.co/B9Ysi9VkK4

查看原文

查看缓存全文

缓存时间: 2026/05/13 22:26

Gemma 4 + 🦅 = brrr

下一个 MLX-VLM 版本将包含大量改进！

这里是 Eagle3 投机解码的初步预览。

@googlegemma @RedHat_AI https://t.co/B9Ysi9VkK4

相似文章

Reddit r/LocalLLaMA

Gemma4-12B-QAT Uncensored Balanced 发布，这是一个经过微调的无审查模型，配备多 token 预测草案头，可实现约 60% 更快的推测解码，针对 llama.cpp 优化，并支持视觉功能。

Reddit r/LocalLLaMA

Google 发布了用于 Gemma 4 的多 token 预测草稿器，通过推测性解码加速推理，但目前对 MLX 的支持尚未确认或不可用。

GitHub Releases Watchlist

vLLM v0.19.1rc0 版本包含对 Gemma4 实现的清理，这是对该流行的开源大语言模型推理与服务库的常规维护与优化的一部分。

Reddit r/LocalLLaMA

ExLlamaV3 发布了一系列重大更新，包括对 Gemma 4 的支持、缓存效率的提升，以及新的 DFlash 技术，可显著提高各类模型的推理速度。