回归像素:将潜空间视频扩散提升至像素空间

Hugging Face Daily Papers 论文

摘要

该论文提出了 PixVid,一种通过用卷积头替换 VAE 解码器,将 Wan2.1-14B 等预训练潜空间视频扩散模型扩展到像素空间的方法,仅使用约 130 万个视频片段进行训练,即可实现更高分辨率、逐帧可控且质量具有竞争力的视频生成。

前沿视频生成模型在 VAE 潜在空间中工作,对视频的空间和时间维度进行压缩。这种压缩使训练变得可行,但如今却限制了高分辨率、可控和交互式生成——分辨率翻倍会使 token 数量增至四倍,条件作用于一组帧而非单独的帧,并且每次响应都必须等待其所在的多帧块中的其余帧。我们提出 PixVid,这是一种简单而有效的方法,可将预训练的潜在视频模型升级为直接在像素空间中生成每一帧的模型。PixVid 保留扩散 Transformer,并用一个卷积头替换 VAE 解码器,将其输出渲染为像素。我们发现,预测干净视频而非速度,并采用更大的噪声偏移,是保证质量的关键。PixVid 基于 Wan2.1-14B 微调,仅使用约 130 万个训练视频片段,即可达到与潜在空间基线模型相当的性能。通过在像素空间中逐帧工作,它能够在每帧 token 数量相同的情况下生成两倍分辨率的视频,在快速运动下保持深度条件视频编辑的对齐,并在下一帧响应每个动作。项目主页:https://chenshuo20.github.io/PixVid/
查看原文
查看缓存全文

缓存时间: 2026/11/16 08:50

论文页面 - 回到像素:将潜在视频扩散提升至像素空间

来源:https://huggingface.co/papers/2611.17336

摘要

前沿视频生成模型在 VAE 潜在空间中运行,该空间在空间和时间两个维度压缩视频。这种压缩使训练变得可行,但如今却限制了高分辨率、可控和交互式生成——分辨率翻倍会使 token 数量增至四倍,条件作用于一组帧而非单独的帧,而且每次响应都必须等待其所在的多帧块中的其余帧。我们提出 PixVid,一种简单而有效的方法,可将预训练的潜在视频模型提升为直接在像素空间中生成每一帧的模型。PixVid 保留扩散 Transformer,并用一个卷积头替换 VAE 解码器,将其输出渲染为像素。我们发现,预测干净视频而非速度,并采用更大的噪声偏移,是提升质量的关键。PixVid 从 Wan2.1-14B 微调而来,仅使用约 130 万个训练视频片段,即可达到与潜在空间基线相当的表现。通过在像素空间中逐帧运行,它能在每帧 token 数量相同的情况下生成两倍分辨率的视频,使基于深度条件的视频编辑在快速运动下仍保持对齐,并在下一帧响应每个动作。项目页面:https://chenshuo20.github.io/PixVid/

查看 arXiv 页面 (https://arxiv.org/abs/2611.17336)查看 PDF (https://arxiv.org/pdf/2611.17336)项目页面 (https://chenshuo20.github.io/PixVid/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.17336)

引用此论文的模型0

没有链接到此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2611.17336,即可从此页面链接到该模型。

引用此论文的数据集0

没有链接到此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2611.17336,即可从此页面链接到该数据集。

引用此论文的 Spaces0

没有链接到此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2611.17336,即可从此页面链接到该 Space。

包含此论文的合集1

相似文章

超越像素:从视频先验到4D世界

Hugging Face Daily Papers

本文介绍了Latent-to-4D,一种直接从视频扩散潜变量生成4D场景的方法,无需跨生成器重新训练,在几何和时间稳定性上优于级联方法。

L2P:释放像素生成的潜在潜力

Hugging Face Daily Papers

L2P 论文提出了一种潜在空间到像素空间(Latent-to-Pixel)的迁移范式,该范式利用预训练的潜在扩散模型(LDM),以极低的训练开销构建高效的像素空间模型,并实现 4K 分辨率生成。

JVT:Just Video Transformer 让像素空间视频扩散变得更简单

Hugging Face Daily Papers

论文提出了 JVT(Just Video Transformer),一种简单的大 patch DiT 风格 Transformer,无需预训练自编码器或 U-Net 跳跃连接即可实现像素空间视频扩散,其生成质量可与潜在扩散基线相媲美,并支持相机条件下的 RGB-视差联合生成。

PiD:基于像素扩散的快速高分辨率潜在解码

Hugging Face Daily Papers

PiD 提出了一种像素扩散解码器,将潜在解码重新定义为条件像素扩散,从而在高分辨率下实现快速、高质量的图像合成,并降低计算需求。在消费级硬件上,它能在不到一秒内将潜在表示解码为 4 倍或 8 倍放大图像。