论文页面 - Q-ARVD：量化自回归视频扩散模型

来源：https://huggingface.co/papers/2605.21072

摘要

自回归视频扩散模型面临着高昂的推理成本，这限制了其实际部署。为此，我们提出了 Q-ARVD，一个新颖的量化框架，专门针对这些模型中的帧级敏感度不均衡和权重异常模式问题。

自回归视频扩散模型 (ARVDs) 已成为流式视频生成领域的一种有前景的架构，为实时交互式视频生成和世界建模铺平了道路。尽管潜力巨大，但 ARVDs 高昂的推理成本仍然是实际部署的主要障碍，这使得模型量化成为提升效率的自然方向。然而，针对 ARVDs 的量化研究仍基本处于空白状态。我们的实证分析表明，直接将现有的、为标准扩散 Transformer 设计的量化方案应用于 ARVDs 会导致性能次优，揭示了与双向扩散模型中观察到的不相同的量化行为。本文中，我们识别了量化 ARVDs 时两个关键挑战：(C1) 高度不平衡的帧级量化敏感度。自回归生成过程中的误差累积会导致帧间的量化敏感度出现严重的偏斜，呈现出类似指数衰减的模式。(C2) 权重中存在突出且异质的异常模式。权重分布存在明显的异常通道，其模式在不同层类型和块深度之间存在显著差异。为应对这些问题，我们提出了 Q-ARVD，一个用于精确 ARVD 量化的新型框架。(S1) 为了解决高度不平衡的帧级敏感度，Q-ARVD 在量化目标中引入了一种最终质量感知的帧加权机制。(S2) 为了防止异质异常值降低性能，Q-ARVD 引入了一种异常值感知的自适应双尺度量化方法，该方法能自动检测任意层中异常通道的存在与否及数量，并将其隔离以保护正常通道。大量实验证明了 Q-ARVD 的优越性。

查看 arXiv 页面 (https://arxiv.org/abs/2605.21072)查看 PDF (https://arxiv.org/pdf/2605.21072)GitHub9 (https://github.com/tsa18/Q-ARVD)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.21072)

在您的代理中获取此论文：

hf papers read 2605.21072

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.21072 即可从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.21072 即可从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.21072 即可从此页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从此页面链接。