有没有人尝试过使用（较新的）Gemma扩散模型作为推测模型？

Reddit r/LocalLLaMA 2026/07/03 14:53 模型

gemma diffusion-model speculative-decoding llm-inference ai-model

摘要

探讨了使用Google的Gemma扩散模型作为推测模型，以实现高效的大语言模型推理。

暂无内容

查看原文

相似文章

Simon Willison's Blog

Google 发布了 DiffusionGemma，这是一个采用 Apache 2 许可证的开源权重文本生成模型（总参数量 26B，活跃参数量 4B），通过 NVIDIA 的 NIM 云 API 展示了极高的推理速度。

Hugging Face Models Trending

Google DeepMind 发布了 DiffusionGemma，这是一个 26B 参数的 Mixture-of-Experts 模型，使用离散扩散实现更快的文本生成，支持多模态输入和 256K token 上下文。

Ars Technica

谷歌发布了DiffusionGemma，这是一个实验性的开源文本生成扩散模型，相比自回归模型实现了4倍速度提升，并针对本地处理进行了优化。

X AI KOLs Timeline

谷歌已开源DiffusionGemma，这是一种基于扩散的新型文本生成模型，采用块扩散和高效的编解码器技术，康奈尔大学的研究人员也做出了贡献。

Reddit r/LocalLLaMA

DiffusionGemma 是 Google DeepMind 推出的全新实验模型，可在 256 令牌画布上实现并行生成，在 GPU 上令牌生成速度提升高达 4 倍。本开发者指南阐述了其架构、双向上下文，并提供了用于解决数独的微调配方。