DiffusionGemma 技术报告
摘要
DiffusionGemma 技术报告已在 arXiv 上发布,目前正在推进 llama.cpp 的拉取请求,以便在 VRAM 有限的情况下实现更快的本地推理。
arXiv:https://arxiv.org/abs/2608.00146 完整论文:https://arxiv.org/pdf/2608.00146 推特:https://xcancel.com/googlegemma/status/2086849199052845451#m 仅供参考,(llama.cpp) 的两个 PR(24423 和 24427)都已转为草稿模式。我仍在等待这一个,因为我可以在我的 8GB VRAM 上获得更快的 t/s。
相似文章
DiffusionGemma 技术报告
DiffusionGemma 是一个实验性的开放权重语言模型,通过离散扩散而非逐 token 解码来生成文本,从而实现极高速的生成。
DiffusionGemma
Google 发布了 DiffusionGemma,这是一个采用 Apache 2 许可证的开源权重文本生成模型(总参数量 26B,活跃参数量 4B),通过 NVIDIA 的 NIM 云 API 展示了极高的推理速度。
unsloth/diffusiongemma-26B-A4B-it-GGUF
Unsloth 发布了 Google DeepMind 的 DiffusionGemma (26B-A4B) 的 GGUF 量化版本,这是一种新的块扩散架构,可实现更快的文本生成,已准备好用于 llama.cpp。
DiffusionGemma Explained
An annotated from-scratch reimplementation of Google's DiffusionGemma, a 26B open-weight state diffusion language model, explaining its architecture, sampling procedure, and design choices.
在4090上以高达475t/s运行DiffusionGemma 26b……以及一些想法
一位用户分享了他们在4090 GPU上通过vLLM运行DiffusionGemma 26B的经验,速度高达475t/s,但指出了单用户限制、准确度较低和上下文短等缺点,并认为它不值得替代常规的26B模型。