论文页面 - Sparsity Should Be ALLOTted by Output: Training-Free Allocation of Block-Sparse Attention for Video Diffusion Transformers

来源: https://huggingface.co/papers/2610.29441

摘要

ALLOT 是一种免训练方法，用于在视频扩散 Transformer 中的层-步组合上分配块稀疏注意力密度，以在延迟预算约束下最大化输出保真度。

视频扩散 Transformer（https://huggingface.co/papers?q=video+Diffusion+Transformers）中的全 3D 注意力计算成本高昂。块稀疏注意力（https://huggingface.co/papers?q=Block-sparse+attention）通过仅计算选定的注意力块来降低这一开销。然而，现有方法要么忽视了优化稀疏分配（https://huggingface.co/papers?q=sparsity+allocation）的潜力，要么依赖启发式规则或局部指标来指导分配。在本研究中，我们观察到在不同层和不同去噪步骤上稀疏化注意力对最终视频保真度的影响程度差异显著。然而，最敏感的层-步组合的身份在不同输入之间几乎保持不变。基于这些发现，我们提出了 Allocating Layer-step Latency by Output Tests（ALLOT，https://huggingface.co/papers?q=ALLOT），一种免训练的稀疏分配方法。ALLOT 将每个层-步组合作为一个单元，通过 (i) 单元探测（https://huggingface.co/papers?q=cell+probing）和 (ii) 轨迹校准（https://huggingface.co/papers?q=trajectory+calibration）来估计每个单元对最终视频误差的贡献，然后在实测延迟预算下联合优化各单元的密度。该方法保留了现有的选择策略和算子核，仅替换分配组件。在相同或更短的实际运行时间内，ALLOT（https://huggingface.co/papers?q=ALLOT）配合 XAttention（https://huggingface.co/papers?q=XAttention）使用时，在所有对比的分配策略中表现最优，在 HunyuanVideo 上实现了 11.8 dB 的 PSNR 提升。在 Wan2.1、Wan2.2 和 HunyuanVideo 上针对另外四条已发布流程的大量实验表明，ALLOT（https://huggingface.co/papers?q=ALLOT）在全部九种设置中均优于或持平于默认方案。

查看 arXiv 页面 (https://arxiv.org/abs/2610.29441)　查看 PDF (https://arxiv.org/pdf/2610.29441)　项目页面 (https://mukayi.github.io/allot-project-page/)　添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.29441)

在你的 agent 中获取本文：

hf papers read 2610.29441

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型：0

暂无模型关联本文。

在模型 README.md 中引用 arxiv.org/abs/2610.29441 即可从本页面链接该模型。

引用本文的数据集：0

暂无数据集关联本文。

在数据集 README.md 中引用 arxiv.org/abs/2610.29441 即可从本页面链接该数据集。

引用本文的 Space：0

暂无 Space 关联本文。

在 Space README.md 中引用 arxiv.org/abs/2610.29441 即可从本页面链接该 Space。

包含本文的收藏夹：0

暂无收藏夹包含本文。

将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页面链接。