论文页面 - L2P：释放潜在潜力以实现像素生成

来源：https://huggingface.co/papers/2605.12013 发表于 5月12日

·

由 https://huggingface.co/zhen-nan 提交

chen (https://huggingface.co/zhen-nan) 于 5月13日

摘要

Latent-to-Pixel（潜在到像素）转移范式高效地利用了预训练的潜在扩散模型，以极低的训练开销和高分辨率生成能力创建像素空间模型。

Pixel diffusion models（像素扩散模型，https://huggingface.co/papers?q=Pixel%20diffusion%20models）最近在视觉生成领域重新受到关注。然而，从头训练先进的像素空间模型需要高昂的计算和数据资源。为了解决这个问题，我们提出了 Latent-to-Pixel (L2P) 转移范式，这是一个高效的框架，直接利用预训练 LDM（潜在扩散模型）的丰富知识来构建强大的像素空间模型。具体而言，L2P 弃用了 VAE（变分自编码器，https://huggingface.co/papers?q=VAE），转而采用 large-patch tokenization（大补丁分词，https://huggingface.co/papers?q=large-patch%20tokenization），并冻结源 LDM 的 intermediate layers（中间层，https://huggingface.co/papers?q=intermediate%20layers），仅训练 shallow layers（浅层，https://huggingface.co/papers?q=shallow%20layers）以学习从潜空间到像素的转换。通过使用 LDM 生成的 synthetic images（合成图像，https://huggingface.co/papers?q=synthetic%20images）作为唯一的训练语料，L2P 拟合了已经平滑的 data manifold（数据流形，https://huggingface.co/papers?q=data%20manifold），实现了无需收集真实数据即可快速收敛。这一策略使得 L2P 仅使用 8 个 GPU 就能将大量的潜在先验无缝迁移到像素空间。此外，消除 VAE 的内存瓶颈解锁了原生 4K 超高分辨率生成（4K ultra-high resolution generation，https://huggingface.co/papers?q=4K%20ultra-high%20resolution%20generation）。针对主流 LDM 架构的大量实验表明，L2P 的训练开销极小，但在 DPG-Bench（https://huggingface.co/papers?q=DPG-Bench）上的表现与源 LDM 相当，并在 GenEval（https://huggingface.co/papers?q=GenEval）上达到了 93% 的性能。

查看 arXiv 页面 (https://arxiv.org/abs/2605.12013) 查看 PDF (https://arxiv.org/pdf/2605.12013) 项目页面 (https://nju-pcalab.github.io/projects/L2P/) GitHub8 (https://github.com/NJU-PCALab/L2P) 添加到集合 (https://huggingface.co/login?next=%2Fpapers%2F2605.12013)

在你的 agent 中获取此论文：

hf papers read 2605\.12013

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.12013 以从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.12013 以从此页面链接它。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.12013 以从此页面链接它。

包含此论文的集合 0

没有集合包含此论文

将此论文添加到集合 (https://huggingface.co/new-collection) 以从此页面链接它。