回归像素:将潜空间视频扩散提升至像素空间
摘要
该论文提出了 PixVid,一种通过用卷积头替换 VAE 解码器,将 Wan2.1-14B 等预训练潜空间视频扩散模型扩展到像素空间的方法,仅使用约 130 万个视频片段进行训练,即可实现更高分辨率、逐帧可控且质量具有竞争力的视频生成。
查看缓存全文
缓存时间: 2026/11/16 08:50
论文页面 - 回到像素:将潜在视频扩散提升至像素空间
来源:https://huggingface.co/papers/2611.17336
摘要
前沿视频生成模型在 VAE 潜在空间中运行,该空间在空间和时间两个维度压缩视频。这种压缩使训练变得可行,但如今却限制了高分辨率、可控和交互式生成——分辨率翻倍会使 token 数量增至四倍,条件作用于一组帧而非单独的帧,而且每次响应都必须等待其所在的多帧块中的其余帧。我们提出 PixVid,一种简单而有效的方法,可将预训练的潜在视频模型提升为直接在像素空间中生成每一帧的模型。PixVid 保留扩散 Transformer,并用一个卷积头替换 VAE 解码器,将其输出渲染为像素。我们发现,预测干净视频而非速度,并采用更大的噪声偏移,是提升质量的关键。PixVid 从 Wan2.1-14B 微调而来,仅使用约 130 万个训练视频片段,即可达到与潜在空间基线相当的表现。通过在像素空间中逐帧运行,它能在每帧 token 数量相同的情况下生成两倍分辨率的视频,使基于深度条件的视频编辑在快速运动下仍保持对齐,并在下一帧响应每个动作。项目页面:https://chenshuo20.github.io/PixVid/
查看 arXiv 页面 (https://arxiv.org/abs/2611.17336)查看 PDF (https://arxiv.org/pdf/2611.17336)项目页面 (https://chenshuo20.github.io/PixVid/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.17336)
引用此论文的模型0
没有链接到此论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2611.17336,即可从此页面链接到该模型。
引用此论文的数据集0
没有链接到此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2611.17336,即可从此页面链接到该数据集。
引用此论文的 Spaces0
没有链接到此论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2611.17336,即可从此页面链接到该 Space。
包含此论文的合集1
相似文章
超越像素:从视频先验到4D世界
本文介绍了Latent-to-4D,一种直接从视频扩散潜变量生成4D场景的方法,无需跨生成器重新训练,在几何和时间稳定性上优于级联方法。
L2P:释放像素生成的潜在潜力
L2P 论文提出了一种潜在空间到像素空间(Latent-to-Pixel)的迁移范式,该范式利用预训练的潜在扩散模型(LDM),以极低的训练开销构建高效的像素空间模型,并实现 4K 分辨率生成。
JVT:Just Video Transformer 让像素空间视频扩散变得更简单
论文提出了 JVT(Just Video Transformer),一种简单的大 patch DiT 风格 Transformer,无需预训练自编码器或 U-Net 跳跃连接即可实现像素空间视频扩散,其生成质量可与潜在扩散基线相媲美,并支持相机条件下的 RGB-视差联合生成。
@xuanchi13: 潜在vs像素的争论没有抓住要点。GPT Image 2 展示了用户注意到的:像素级保真度。潜在模型...
NVIDIA 推出了 PiD,一种 Pixel Diffusion Decoder,用其替换潜在扩散模型中的传统 VAE/RAE 解码器,实现快速高分辨率解码,速度提升高达 6 倍,并改进了视觉保真度。
PiD:基于像素扩散的快速高分辨率潜在解码
PiD 提出了一种像素扩散解码器,将潜在解码重新定义为条件像素扩散,从而在高分辨率下实现快速、高质量的图像合成,并降低计算需求。在消费级硬件上,它能在不到一秒内将潜在表示解码为 4 倍或 8 倍放大图像。