论文页面 - GRACE：面向生成的隐空间压缩以实现高效视频生成

来源：https://huggingface.co/papers/2610.10524 发布于 10 月 7 日

·

提交者：https://huggingface.co/chimaharicox

jee0 (https://huggingface.co/chimaharicox) 于 10 月 8 日发布

摘要

高度压缩的视频自编码器为加速视频扩散模型提供了一种有效途径，因为 Diffusion Transformer（DiT）只需处理少得多的 token。然而，此类自编码器的训练颇具挑战：更高的压缩率会降低重建质量，而恢复质量又需要更多通道，这已被证明会减慢 DiT 的收敛速度。压缩后的隐变量也不同于 DiT 训练时所使用的隐变量，因此预训练的 DiT 要么必须从头重新训练，要么需要付出相当大的代价进行适配。对 DiT 训练时使用的自编码器进行压缩似乎可以保持兼容性，但如果仅针对重建进行优化，仍会使隐变量偏离 DiT 已学习到的分布。为此，我们提出了面向生成的高效视频隐空间压缩框架（Generation-Aware Latent Compression for Efficient Video Generation，GRACE），这是一个两阶段框架，在压缩预训练视频自编码器的同时保持其与预训练 DiT 的兼容性。具体而言，我们保留来自预训练编码器的冻结基础隐变量，并为更强压缩下丢失的信息学习一个残差隐变量；同时在冻结 DiT 的特征空间中将压缩后的隐变量与预训练隐变量对齐，从而让自编码器的优化面向生成任务。随后我们通过轻量级微调和非对称去噪对 DiT 进行适配，即先对基础隐变量去噪，再对残差隐变量去噪。GRACE 将 Wan2.1-I2V-14B 的 token 数量减少至 1/8，在 480x832x81 分辨率下的延迟降低至 1/11.1，同时在 VBench 上的生成质量与压缩前的预训练流程相当。

查看 arXiv 页面 查看 PDF 项目页面 GitHub 12 添加到收藏夹

在你的 agent 中获取此论文：

hf papers read 2610.10524

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.10524，即可从此页面链接该模型。

引用此论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.10524，即可从此页面链接该数据集。

引用此论文的 Spaces 1

包含此论文的收藏夹 0

没有收藏夹包含此论文

将此论文添加到收藏夹即可从此页面链接。