H-DDCM:用于快速生成式图像与视频压缩的哈达玛码本

Hugging Face Daily Papers 论文

摘要

H-DDCM 以隐式随机 Hadamard 字典取代稠密高斯码本,并采用无表字典序编码,实现可扩展、低内存的训练自由生成式图像与视频压缩,在单 GPU 上接近实时处理长视频。

无需训练的基于扩散的压缩方法利用扩散模型或流模型的生成先验来压缩数据,而无需将其重新训练为任务专用的编解码器。近期基于码本的方法(如 Turbo-DDCM)在超低码率下实现了出色的感知质量,但其对稠密高斯码本的依赖仍带来高昂的内存和计算开销,且难以扩展到现代图像与视频生成器的大规模潜在维度。其组合式比特流编码在这一规模下也变得计算繁重。我们提出 H-DDCM,这是一种可扩展的生成式压缩框架,以隐式随机化哈达玛字典替代高斯码本。快速沃尔什–哈达玛变换支持隐式合成全维字典,投影和重建的计算复杂度为 O(d log d),内存复杂度为 O(d),而无需显式构建全维字典。我们进一步提出一种高效的无查表字典序编码方案,使组合编码在更高维度下也具有实用性。除图像外,我们还将该框架适配于自回归视频流模型,并开发了一种流式压缩方案,定期将最近重建的帧重新编码为新的 KV 缓存前缀,在不增加传输比特数的情况下保留跨片段的时间上下文。这使得在单张 GPU 上进行接近实时的长视频生成式压缩成为可能。在图像和视频基准测试中,H-DDCM 实现了具有竞争力的率–失真–感知性能,同时显著降低了基于码本的免训练生成式压缩的内存与计算开销。
查看原文
查看缓存全文

缓存时间: 2026/10/16 07:03

论文页面 - H-DDCM:用于快速生成式图像与视频压缩的哈达玛码本

来源:https://huggingface.co/papers/2610.18125

摘要

H-DDCM 用隐式随机化哈达玛字典和无表字典序编码取代稠密高斯码本,实现基于扩散模型和流模型的可扩展、高效的生成式图像与视频压缩。

无需训练的扩散式压缩方法利用扩散模型或流模型的生成先验 (https://huggingface.co/papers?q=generative%20priors) 来压缩数据,无需将这些模型重新训练为任务专用的编解码器。近期基于码本的方法,如 Turbo-DDCM (https://huggingface.co/papers?q=Turbo-DDCM),在超低比特率下实现了出色的感知质量,但它们依赖稠密高斯码本 (https://huggingface.co/papers?q=Gaussian%20codebooks),内存和计算开销仍然很高,而且难以扩展到现代图像和视频生成器的高维潜在空间。在这一规模下,其组合式比特流编码的计算负担也变得十分沉重。我们提出了 H-DDCM,这是一种可扩展的生成式压缩框架,用隐式随机化哈达玛字典 (https://huggingface.co/papers?q=Hadamard%20dictionaries) 取代高斯码本 (https://huggingface.co/papers?q=Gaussian%20codebooks)。快速沃尔什-哈达玛变换 (https://huggingface.co/papers?q=Walsh-Hadamard%20transform) 可以隐式合成全维字典,投影和重建的计算复杂度为 O(d log d),内存复杂度为 O(d),无需显式构建全维字典。我们还提出了一种高效的无表字典序编码 (https://huggingface.co/papers?q=lexicographic%20coding) 方案,使组合编码在更高维度下也具有实用性。除图像外,我们还将该框架适配到自回归视频流模型 (https://huggingface.co/papers?q=autoregressive%20video%20flow%20model),并开发了一种流式压缩 (https://huggingface.co/papers?q=streaming%20compression) 方案,定期将最近重建的帧重新编码为新的 KV-缓存 (https://huggingface.co/papers?q=KV-cache) 前缀,在不增加传输比特数的情况下保留跨片段的时间上下文。这使得在单个 GPU 上进行长视频、接近实时的生成式视频压缩成为可能。在图像和视频基准测试中,H-DDCM 实现了具有竞争力的码率-失真-感知性能,同时大幅降低了基于码本且无需训练的生成式压缩的内存与计算开销。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18125)查看 PDF (https://arxiv.org/pdf/2610.18125)项目页面 (https://h-ddcm.github.io/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18125)

引用此论文的模型0

暂无链接到此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.18125,即可从此页面链接到该模型。

引用此论文的数据集0

暂无链接到此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.18125,即可从此页面链接到该数据集。

引用此论文的 Spaces0

暂无链接到此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18125,即可从此页面链接到该 Space。

收录此论文的合集0

暂无收录此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。

相似文章

GRACE:面向高效视频生成的生成感知潜空间压缩

Hugging Face Daily Papers

GRACE提出两阶段的生成感知潜空间压缩框架,在保持与预训练DiT兼容的前提下提高视频自编码器的压缩率,使Wan2.1-I2V-14B的token数减少8倍、延迟降低11.1倍,同时在VBench上保持与压缩前同等的生成质量。

AdaCodec:面向视频多模态大模型的预测性视觉编码

Hugging Face Daily Papers

AdaCodec 通过仅在场景预测失败时传输完整视觉标记,否则使用紧凑的帧间变化描述,从而减少多模态大模型中的视频编码冗余。在匹配的标记预算下,它优于逐帧 RGB 基线,并且在使用显著更少标记的情况下取得更好或相当的结果,将首令牌延迟从 9.26 秒降至 1.62 秒。

视频生成的并行解码(10分钟阅读)

TLDR AI

NVIDIA推出并行解码蒸馏(PDD)技术,用于加速图像和视频生成,能够以更少的神经函数评估在LTX-2.3和Wan2.1-14B等模型上实现高质量输出。

冰箱里的大象:面向长视频理解的常量内存帧打包

Hugging Face Daily Papers

提出 FramePack-U,一种免训练的常量内存帧打包框架,可将任意长度视频压缩为固定大小的视觉表示,直接插入现成 VLM 推理,在 Long VideoBench、MLVU 和 Video-MME 上显著超越全分辨率基线及现有 token 压缩方法。

LightVAE:迈向紧凑高效的视频自编码器

Hugging Face Daily Papers

LightVAE 提出一种视频自编码器压缩框架,通过对因果 Conv3D 层的精确重参数化,将空间响应与时间修正分离,并对时间修正施加低秩压缩,从而在保持生成质量的同时显著加速视频 VAE 解码(在 WanVAE 上最高达 2.24 倍吞吐提升)。