超越像素：从视频先验到4D世界
摘要
本文介绍了Latent-to-4D，一种直接从视频扩散潜变量生成4D场景的方法，无需跨生成器重新训练，在几何和时间稳定性上优于级联方法。
查看缓存全文
缓存时间: 2026/08/12 08:21
论文页面 - 超越像素：从视频先验到4D世界
来源：https://huggingface.co/papers/2608.10744
摘要
Latent-to-4D 通过将视频扩散潜变量与预训练解码器对齐并进行时空注意力处理，实现了可复用的直接 4D 生成，无需重新训练即可跨生成器迁移。
4D 生成（https://huggingface.co/papers?q=4D%20generation）从文本或图像等条件合成动态 3D 场景。现有方法要么使用单独的 4D 模型重建生成的 RGB 视频，要么让特定的视频生成器直接预测几何结构。前者存在分布不匹配和误差传播的问题，而后者则将 4D 预测绑定到特定生成器，当生成器或条件设置改变时可能需要重新训练。我们研究是否可以使用共享变分自编码器（VAE）的视频模型最终去噪后的潜变量，作为显式 4D 预测的可复用接口。基于这一见解，我们引入了直接潜变量到 4D（latent-to-4D）生成，并将其实例化为 Latent-to-4D（https://huggingface.co/papers?q=Latent-to-4D），该方法通过将视频潜变量与预训练 4D 解码器（https://huggingface.co/papers?q=4D%20decoder）的标记网格对齐，并利用逐帧和全局时空注意力（https://huggingface.co/papers?q=spatiotemporal%20attention）进行细化，从而绕过 RGB。仅使用约 1K 段现有的重建片段进行训练，单个检查点即可在同一 VAE 家族内的多个视频扩散 Transformer（https://huggingface.co/papers?q=video%20diffusion%20transformers）之间无需改动地迁移。在 Text4D-200 和 I4D-200 上，Latent-to-4D（https://huggingface.co/papers?q=Latent-to-4D）在基于投影的 DINO-F1 指标上分别超过匹配的同潜变量 Wan+4RC 级联方法 2.88–3.45 和 5.81 分，同时在几何结构、时间稳定性和整体质量方面也更受人类评估者青睐。
查看 arXiv 页面（https://arxiv.org/abs/2608.10744）查看 PDF（https://arxiv.org/pdf/2608.10744）项目页面（https://hayd-zju.github.io/Beyond-Pixels/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2608.10744）
在您的代理中获取此论文：
hf papers read 2608\.10744
没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2608.10744 即可从此页面链接到它。
引用此论文的数据集0
没有数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2608.10744 即可从此页面链接到它。
引用此论文的 Space0
没有 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2608.10744 即可从此页面链接到它。
包含此论文的收藏1
相似文章
用于视频世界模型的潜在空间记忆
本文介绍了用于视频世界模型的潜在空间记忆，将3D场景信息直接存储在扩散潜在空间中，以避免昂贵的像素空间重建。所提出的Mirage框架实现了高达10.57倍的生成加速和55倍的内存缩减，同时在WorldScore和RealEstate10K上取得了最先进的性能。
L2P：释放像素生成的潜在潜力
L2P 论文提出了一种潜在空间到像素空间（Latent-to-Pixel）的迁移范式，该范式利用预训练的潜在扩散模型（LDM），以极低的训练开销构建高效的像素空间模型，并实现 4K 分辨率生成。
Learning How the World Evolves: Extrapolative Video World Models via Latent Dynamics Reasoning
Introduces Latent Dynamics Reasoning (LDR), a video world model that integrates kinematic dynamics in a structured latent space, enabling extrapolation of learned dynamics far beyond training distributions while using far fewer parameters and running much faster than video diffusion baselines.
Pantheon360: 通过3D感知360度视频扩散驯服数字孪生生成
Pantheon360引入了一种3D感知360度视频扩散框架，该框架使用显式3D缓存来强制执行几何一致性，从而能够从稀疏360度输入中生成高保真数字孪生。
4DAnyone：从普通单目视频创建4D人物
4DAnyone通过生成多视角一致视频并将其提升到4D高斯溅射，从单目视频重建4D人物，并使用参考和目标上下文设计来解决扩展瓶颈。