该模型通过允许用户进行精确修改而不意外改变其他细节,推动了AI图像生成的发展。
摘要
罗切斯特大学和NVIDIA的研究人员开发了一种像素空间扩散模型,能够对AI生成的图像进行精确的局部编辑,而不会意外改动无关的细节,这与ChatGPT和Google Gemini等系统所采用的潜在空间模型不同。
使用ChatGPT或Google Gemini等AI文本生成图像工具的人,常常会遇到一个令人抓狂的问题:图像看起来几乎完美无缺,但当你让AI修复一个小细节时,它却会把其他无关的地方弄乱。这个问题源于大多数最先进的图像生成器的构建方式——它们采用潜在空间中的扩散模型,也就是说,它们会将猫或狗等概念压缩成核心特征并存储起来,以便在需要生成图像时能够快速高效地调取。罗切斯特大学和NVIDIA的研究人员创造了一种像素空间扩散模型,允许用户对单个像素进行精确修改,而不会意外地影响其他细节。
新闻摘要:https://www.rochester.edu/newscenter/how-to-fix-ai-generated-images-pixel-by-pixel-728132/
研究论文:https://doi.org/10.48550/arXiv.2609.24919
GitHub:https://pixeldit.github.io/pixeldit2/
相似文章
@xuanchi13: 潜在vs像素的争论没有抓住要点。GPT Image 2 展示了用户注意到的:像素级保真度。潜在模型...
NVIDIA 推出了 PiD,一种 Pixel Diffusion Decoder,用其替换潜在扩散模型中的传统 VAE/RAE 解码器,实现快速高分辨率解码,速度提升高达 6 倍,并改进了视觉保真度。
nVIDIA/PiD
NVIDIA 发布 PiD(Pixel Diffusion Decoder),这是一个条件像素空间扩散模型,将潜在空间到像素的解码和上采样统一到一个生成模块中,一次性生成超分辨率图像。模型检查点和 VAE 权重在非商业许可下发布。
NVIDIA 加速 Google DeepMind 的 DiffusionGemma 以支持本地 AI
NVIDIA 优化了 Google DeepMind 的 DiffusionGemma——一个能并行生成 256 个令牌文本块的开放模型,在本地 RTX GPU、DGX Spark 和 DGX Station 系统上实现了高达 4 倍的性能提升。
最强本地AI图像生成器来了!
Ernie Image,全新开源扩散模型,文字渲染与提示词忠实度全面超越Zage,可在ComfyUI本地运行,仅需约20 GB显存。
像素空间文本到图像扩散模型的训练实证研究
本文针对像素空间文本到图像扩散模型提出了一种从潜在空间到像素空间的训练策略,加速了收敛并提高了推理速度,同时性能与潜在空间模型相当或更优。