论文页面 - V-RAE：重新思考用于生成的视频潜在空间

来源：https://huggingface.co/papers/2608.13556

摘要

V-RAE 基于冻结的视觉表征构建语义组织的视频潜在表征，以提升生成质量、收敛速度和预测建模能力。

潜在视频生成依赖自动编码器来定义一个紧凑空间，生成模型在其中进行操作。尽管视频自动编码器的架构已显著演进，但其潜在空间的优化仍然主要侧重于像素级重建，提供的高层语义组织有限。然而，为重建优化的潜在空间未必适合生成建模。我们提出了 V-RAE (https://huggingface.co/papers?q=V-RAE)，一种 视频表征自动编码器 (https://huggingface.co/papers?q=video%20representation%20autoencoder)，它基于 冻结的视觉基础模型 (https://huggingface.co/papers?q=frozen%20vision%20foundation%20model) 表征构建紧凑的生成潜在表征。一个轻量级的 时间池化 (https://huggingface.co/papers?q=temporal%20pooling) 模块在保留语义结构的同时移除时间冗余，而一个 视频解码器 (https://huggingface.co/papers?q=video%20decoder) 从压缩特征中重建连续运动。我们使用四个代表性的冻结编码器对 V-RAE (https://huggingface.co/papers?q=V-RAE) 在视频重建、语义探针和类条件生成方面进行了评估。V-RAE (https://huggingface.co/papers?q=V-RAE) 在 K600 数据集上取得了 2.13 的 rFVD (https://huggingface.co/papers?q=rFVD) 分数，超越了所有评估的大规模预训练视频 VAE。其潜在表征保留的语义信息显著多于传统的 视频分词器 (https://huggingface.co/papers?q=video%20tokenizer) 潜在表征。在匹配的生成设置下，我们最好的变体在 UCF101 和 K600 数据集上分别取得了 117.86 和 19.16 的 gFVD (https://huggingface.co/papers?q=gFVD) 分数，同时收敛速度提升高达 6倍。我们进一步证明，仅靠重建质量不足以表征生成效用，并引入了 tFVD (https://huggingface.co/papers?q=tFVD)，一种时间连贯性诊断指标，与下游生成质量的相关性更可靠。除了视频生成，V-RAE (https://huggingface.co/papers?q=V-RAE) 在匹配的预测设置下，也在 Cityscapes 数据集上的 未来视频预测 (https://huggingface.co/papers?q=future%20video%20prediction) 方面优于 Wan 2.2 VAE 的潜在空间。综合实验表明，冻结的语义表征可以支持视频重建、生成和预测建模。项目页面：https://v-rae.github.io/。

查看 arXiv 页面 (https://arxiv.org/abs/2608.13556) 查看 PDF (https://arxiv.org/pdf/2608.13556) 项目页面 (https://v-rae.github.io/) GitHub34 (https://github.com/V-RAE/V-RAE) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.13556)

在你的智能体中获取本文：

hf papers read 2608.13556

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型1

Guomh0707/V-RAE-Models 视频到视频 • 4 天前更新 • 6 (https://huggingface.co/Guomh0707/V-RAE-Models)

引用本文的数据集0

无数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2608.13556 以从本页面链接。

引用本文的空间0

无空间链接本文

在空间 README.md 中引用 arxiv.org/abs/2608.13556 以从本页面链接。

包含本文的收藏集0

无收藏集包含本文

将本文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接。