H-DDCM:用于快速生成式图像与视频压缩的哈达玛码本
摘要
H-DDCM 以隐式随机 Hadamard 字典取代稠密高斯码本,并采用无表字典序编码,实现可扩展、低内存的训练自由生成式图像与视频压缩,在单 GPU 上接近实时处理长视频。
查看缓存全文
缓存时间: 2026/10/16 07:03
论文页面 - H-DDCM:用于快速生成式图像与视频压缩的哈达玛码本
来源:https://huggingface.co/papers/2610.18125
摘要
H-DDCM 用隐式随机化哈达玛字典和无表字典序编码取代稠密高斯码本,实现基于扩散模型和流模型的可扩展、高效的生成式图像与视频压缩。
无需训练的扩散式压缩方法利用扩散模型或流模型的生成先验 (https://huggingface.co/papers?q=generative%20priors) 来压缩数据,无需将这些模型重新训练为任务专用的编解码器。近期基于码本的方法,如 Turbo-DDCM (https://huggingface.co/papers?q=Turbo-DDCM),在超低比特率下实现了出色的感知质量,但它们依赖稠密高斯码本 (https://huggingface.co/papers?q=Gaussian%20codebooks),内存和计算开销仍然很高,而且难以扩展到现代图像和视频生成器的高维潜在空间。在这一规模下,其组合式比特流编码的计算负担也变得十分沉重。我们提出了 H-DDCM,这是一种可扩展的生成式压缩框架,用隐式随机化哈达玛字典 (https://huggingface.co/papers?q=Hadamard%20dictionaries) 取代高斯码本 (https://huggingface.co/papers?q=Gaussian%20codebooks)。快速沃尔什-哈达玛变换 (https://huggingface.co/papers?q=Walsh-Hadamard%20transform) 可以隐式合成全维字典,投影和重建的计算复杂度为 O(d log d),内存复杂度为 O(d),无需显式构建全维字典。我们还提出了一种高效的无表字典序编码 (https://huggingface.co/papers?q=lexicographic%20coding) 方案,使组合编码在更高维度下也具有实用性。除图像外,我们还将该框架适配到自回归视频流模型 (https://huggingface.co/papers?q=autoregressive%20video%20flow%20model),并开发了一种流式压缩 (https://huggingface.co/papers?q=streaming%20compression) 方案,定期将最近重建的帧重新编码为新的 KV-缓存 (https://huggingface.co/papers?q=KV-cache) 前缀,在不增加传输比特数的情况下保留跨片段的时间上下文。这使得在单个 GPU 上进行长视频、接近实时的生成式视频压缩成为可能。在图像和视频基准测试中,H-DDCM 实现了具有竞争力的码率-失真-感知性能,同时大幅降低了基于码本且无需训练的生成式压缩的内存与计算开销。
查看 arXiv 页面 (https://arxiv.org/abs/2610.18125)查看 PDF (https://arxiv.org/pdf/2610.18125)项目页面 (https://h-ddcm.github.io/)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18125)
引用此论文的模型0
暂无链接到此论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2610.18125,即可从此页面链接到该模型。
引用此论文的数据集0
暂无链接到此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2610.18125,即可从此页面链接到该数据集。
引用此论文的 Spaces0
暂无链接到此论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.18125,即可从此页面链接到该 Space。
收录此论文的合集0
暂无收录此论文的合集
将此论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。
相似文章
GRACE:面向高效视频生成的生成感知潜空间压缩
GRACE提出两阶段的生成感知潜空间压缩框架,在保持与预训练DiT兼容的前提下提高视频自编码器的压缩率,使Wan2.1-I2V-14B的token数减少8倍、延迟降低11.1倍,同时在VBench上保持与压缩前同等的生成质量。
AdaCodec:面向视频多模态大模型的预测性视觉编码
AdaCodec 通过仅在场景预测失败时传输完整视觉标记,否则使用紧凑的帧间变化描述,从而减少多模态大模型中的视频编码冗余。在匹配的标记预算下,它优于逐帧 RGB 基线,并且在使用显著更少标记的情况下取得更好或相当的结果,将首令牌延迟从 9.26 秒降至 1.62 秒。
视频生成的并行解码(10分钟阅读)
NVIDIA推出并行解码蒸馏(PDD)技术,用于加速图像和视频生成,能够以更少的神经函数评估在LTX-2.3和Wan2.1-14B等模型上实现高质量输出。
冰箱里的大象:面向长视频理解的常量内存帧打包
提出 FramePack-U,一种免训练的常量内存帧打包框架,可将任意长度视频压缩为固定大小的视觉表示,直接插入现成 VLM 推理,在 Long VideoBench、MLVU 和 Video-MME 上显著超越全分辨率基线及现有 token 压缩方法。
LightVAE:迈向紧凑高效的视频自编码器
LightVAE 提出一种视频自编码器压缩框架,通过对因果 Conv3D 层的精确重参数化,将空间响应与时间修正分离,并对时间修正施加低秩压缩,从而在保持生成质量的同时显著加速视频 VAE 解码(在 WanVAE 上最高达 2.24 倍吞吐提升)。