潜在空间与像素空间的争论没有抓住重点。

GPT Image 2 展示了用户注意到的：像素级保真度。 潜在模型展示了可扩展的：紧凑的语义结构。

我们通过用像素扩散解码器替换 VAE/RAE 解码器来将它们连接起来。

代码和模型可用：https://research.nvidia.com/labs/sil/projects/pid/…

(1/N)

使用像素扩散进行快速高分辨率的潜在空间解码

来源：https://research.nvidia.com/labs/sil/projects/pid/ SD3 PiD 解码

SD3 VAE 解码

VAE 解码器

PiD

DINOv2 PiD 解码

DINOv2 RAE 解码

RAE 解码器

PiD

Z-Image PiD 解码

Z-Image VAE 解码

VAE 解码器

PiD

Flux.2 PiD 解码

Flux.2 VAE 解码

VAE 解码器

PiD

摘要

大多数实用的高分辨率文本到图像系统都依赖于潜在扩散模型，其中生成过程在紧凑的潜在空间中进行，然后由解码器将潜在表示映射回像素。然而，潜在到像素的解码器是以重建为导向的，其优化目标是逆向编码器而非合成更多细节，并且在百万像素规模下成本越来越高。这一缺陷呼唤一种更具表现力和更高效率的解码范式。受近期可扩展像素空间扩散进展的启发，我们提出了PiD，一种Pixel diffusion Decoder（像素扩散解码器），它将潜在解码重构为条件像素扩散，将解码和上采样统一到一个生成模块中。通过在像素空间中直接去噪，PiD 能够以低延迟合成 4 倍甚至 8 倍上采样的图像。对于潜在空间条件，一个轻量级的 sigma 感知适配器将带噪的潜在表示注入像素扩散主干，使得 PiD 能够解码部分去噪的潜在表示，并提前终止潜在扩散过程。为进一步提高效率，我们使用 DMD2 对模型进行蒸馏，将推理步骤减少到仅 4 步。PiD 既适用于传统的 VAE 潜在表示，也适用于近期 RAE 模型（如 SigLIP、DINOv2）中使用的语义潜在表示。PiD 将 512×512 图像的潜在表示解码为 2048×2048 像素，在消费级 RTX 5090 上耗时不到 1 秒，峰值内存 13 GB，在 GB200 GPU 上最快可达 210 毫秒，比级联扩散超分辨率管线快约 6 倍，且视觉保真度更高。

结果

从潜在到像素

选择一个潜在空间并移动步进滑块，比较不同提前终止点下 PiD 的解码质量。拖动每张图像上的白色分隔线可查看 VAE/RAE 解码与 PiD 解码的对比。

4K 解码

使用 PiD 直接将潜在空间解码为 4K 图像。点击任意图像可启动与 VAE 解码器的并排对比。

基线对比

将鼠标悬停在任意图像上，即可在所有六个视图上激活同步缩放镜头。

定量结果（解码 + 上采样，512² → 2048²）

端到端解码延迟（毫秒）↓

PiD 比 SeedVR2 快5.9 倍（211.2 毫秒对比 1237.5 毫秒）

Gemini-3-Flash 判断评分（%）↑

各基线评估中，评委更偏好 PiD 的百分比。

方法

PiD 概述。 PiD 将潜在解码和上采样统一为一个受潜在条件约束的像素扩散模型，该模型预测目标分辨率的像素空间速度场。噪声污染潜在训练和 sigma 感知门控机制使解码器能够鲁棒处理部分去噪的潜在表示，从而允许从基础 LDM 提前退出，同时保持高分辨率输出质量。