论文页面 - LightVAE：迈向紧凑高效的视频自编码器

来源：https://huggingface.co/papers/2610.14726

摘要

潜在扩散模型能够生成高质量视频，但视频VAE的编码和解码仍然需要高昂的计算开销。现有方法采用针对特定阶段的轻量级算子，但要么同时限制空间和时间计算，要么完全移除时间计算，没有区分预训练Conv3D中两者对压缩的敏感性。为解决这些局限，我们提出LightVAE，这是一种利用时间建模和网络深度中的冗余进行压缩的框架。LightVAE将符合条件的因果Conv3D层精确重参数化为聚合空间响应和差分驱动的时间校正。基于两者不同的压缩敏感性，时间低秩压缩（TLR）保留稠密的聚合空间卷积核，仅对时间校正应用逐层低秩近似。代数等价的折叠实现将算术运算量的节省转化为实际加速。LightVAE进一步采用保持宽度的块剪枝来减少深度，并使用探针引导的特征对齐，在冻结的教师模型后缀部分所提供的反馈指导下，恢复压缩后的质量。该框架还可扩展至视频编码器。在三种视频VAE骨干网络和两种GPU平台上，LightVAE均能稳定加速解码。对于WanVAE系列，其在NVIDIA H100和RTX~5090上的解码吞吐量分别最高达到当前最先进的高效VAE解码器的2.24倍和1.11倍，同时获得更高的DAVIS PSNR和更低的LPIPS。在MiniMax-H3上，其解码吞吐量最高达到原模型的2.97倍，同时保留原模型整体VBench-2.0得分的99.51\%。我们的代码可在https://github.com/ModelTC/LightVAE获取。

查看arXiv页面 (https://arxiv.org/abs/2610.14726)查看PDF (https://arxiv.org/pdf/2610.14726)GitHub15 (https://github.com/ModelTC/LightVAE)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.14726)

在你的智能体中获取这篇论文：

hf papers read 2610\.14726

还没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有链接到这篇论文的模型

在模型的README.md中引用arxiv.org/abs/2610.14726，即可从本页面链接到该模型。

引用这篇论文的数据集0

没有链接到这篇论文的数据集

在数据集的README.md中引用arxiv.org/abs/2610.14726，即可从本页面链接到该数据集。

引用这篇论文的Spaces0

没有链接到这篇论文的Space

在Space的README.md中引用arxiv.org/abs/2610.14726，即可从本页面链接到该Space。

包含这篇论文的收藏集0

没有包含这篇论文的收藏集

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从本页面链接到该收藏集。