从零开始编写Diffusion Gemma模型

Reddit r/ArtificialInteligence 工具
diffusion gemma from-scratch tutorial generative-ai machine-learning

摘要

关于如何从零实现基于Google Gemma架构的扩散模型的教程。

暂无内容
查看原文

相似文章

DiffusionGemma Explained

ML at Berkeley

An annotated from-scratch reimplementation of Google's DiffusionGemma, a 26B open-weight state diffusion language model, explaining its architecture, sampling procedure, and design choices.

DiffusionGemma：开发者指南 - Google Developers Blog

Reddit r/LocalLLaMA

DiffusionGemma 是 Google DeepMind 推出的全新实验模型，可在 256 令牌画布上实现并行生成，在 GPU 上令牌生成速度提升高达 4 倍。本开发者指南阐述了其架构、双向上下文，并提供了用于解决数独的微调配方。

DiffusionGemma 技术报告

arXiv cs.CL

DiffusionGemma 是一个实验性的开放权重语言模型，通过离散扩散而非逐 token 解码来生成文本，从而实现极高速的生成。

DiffusionGemma

Simon Willison's Blog

Google 发布了 DiffusionGemma，这是一个采用 Apache 2 许可证的开源权重文本生成模型（总参数量 26B，活跃参数量 4B），通过 NVIDIA 的 NIM 云 API 展示了极高的推理速度。