这里有没有其他人也在本地工作中用上了 DiffusionGemma?
摘要
一位用户分享了自己在本地使用快速的 DiffusionGemma 模型进行图像分析和离线图像生成提示词的经验,并询问社区中是否还有其他场景能发挥其速度优势。
我一直对这样一个想法很着迷:如果有一个足够智能、足够强大的模型,却能以极快的速度运行会怎样。我原本以为要实现这一点,需要为某个特定的 LLM 开发类似 ASIC 的专用硬件,但后来我看到 DiffusionGemma 在合适的硬件上竟然能达到惊人的速度,而幸运的是,我正好有这样的硬件。后来我发现 DG 也可以用于图像分析,而且速度依然不减。所以我一直把它和一个离线 agent 搭配起来生成图像,效果真的非常棒,工作效率有了巨大的提升。当然,它不会写代码,也不会调用工具,但能够即时生成图像、视频等的提示词,对我来说是个颠覆性的改变。我觉得用合理的描述能力换取如此高的速度,这个取舍非常值得。总之,我很好奇是否还有其他人也在使用这类超快速模型的场景,因为既然我现在已经跑起来了,也想把它应用到其他场景中,很需要大家的思路。
相似文章
@mervenoyann: DiffusionGemma 已发布,它受计算限制,因此相比其他 Gemma-4 模型快 4 倍(H100 上 1k tok/s),在……方面也很出色
DiffusionGemma 已发布;它受计算限制,比其它 Gemma-4 模型快 4 倍(H100 上 1k tok/s),擅长编码任务,包括 3D 生成和前端开发。
DiffusionGemma: 文本生成速度提升4倍
Google推出DiffusionGemma,这是一个实验性的26B MoE开源模型,通过文本扩散技术,在GPU上实现高达4倍的文本生成速度提升,针对速度要求高的交互式本地工作流。
在4090上以高达475t/s运行DiffusionGemma 26b……以及一些想法
一位用户分享了他们在4090 GPU上通过vLLM运行DiffusionGemma 26B的经验,速度高达475t/s,但指出了单用户限制、准确度较低和上下文短等缺点,并认为它不值得替代常规的26B模型。
DiffusionGemma
Google 发布了 DiffusionGemma,这是一个采用 Apache 2 许可证的开源权重文本生成模型(总参数量 26B,活跃参数量 4B),通过 NVIDIA 的 NIM 云 API 展示了极高的推理速度。
DiffusionGemma 技术报告
DiffusionGemma 技术报告已在 arXiv 上发布,目前正在推进 llama.cpp 的拉取请求,以便在 VRAM 有限的情况下实现更快的本地推理。