这里有没有其他人也在本地工作中用上了 DiffusionGemma?

Reddit r/LocalLLaMA 新闻

摘要

一位用户分享了自己在本地使用快速的 DiffusionGemma 模型进行图像分析和离线图像生成提示词的经验,并询问社区中是否还有其他场景能发挥其速度优势。

我一直对这样一个想法很着迷:如果有一个足够智能、足够强大的模型,却能以极快的速度运行会怎样。我原本以为要实现这一点,需要为某个特定的 LLM 开发类似 ASIC 的专用硬件,但后来我看到 DiffusionGemma 在合适的硬件上竟然能达到惊人的速度,而幸运的是,我正好有这样的硬件。后来我发现 DG 也可以用于图像分析,而且速度依然不减。所以我一直把它和一个离线 agent 搭配起来生成图像,效果真的非常棒,工作效率有了巨大的提升。当然,它不会写代码,也不会调用工具,但能够即时生成图像、视频等的提示词,对我来说是个颠覆性的改变。我觉得用合理的描述能力换取如此高的速度,这个取舍非常值得。总之,我很好奇是否还有其他人也在使用这类超快速模型的场景,因为既然我现在已经跑起来了,也想把它应用到其他场景中,很需要大家的思路。
查看原文

相似文章

DiffusionGemma: 文本生成速度提升4倍

Hacker News Top

Google推出DiffusionGemma,这是一个实验性的26B MoE开源模型,通过文本扩散技术,在GPU上实现高达4倍的文本生成速度提升,针对速度要求高的交互式本地工作流。

DiffusionGemma

Simon Willison's Blog

Google 发布了 DiffusionGemma,这是一个采用 Apache 2 许可证的开源权重文本生成模型(总参数量 26B,活跃参数量 4B),通过 NVIDIA 的 NIM 云 API 展示了极高的推理速度。

DiffusionGemma 技术报告

Reddit r/LocalLLaMA

DiffusionGemma 技术报告已在 arXiv 上发布,目前正在推进 llama.cpp 的拉取请求,以便在 VRAM 有限的情况下实现更快的本地推理。