论文页面 - Sol-Attn: 通过即时注意力稀疏化加速视频生成推理

来源：https://huggingface.co/papers/2607.24027 发表于 7月27日

·

提交者 https://huggingface.co/Owen777

Owen (https://huggingface.co/Owen777) 于 7月28日

摘要

扩散变换器对于高保真视频生成至关重要，但长令牌序列使得注意力成为主要的推理瓶颈。无训练动态稀疏注意力通过仅计算选定的键值块来缓解这一瓶颈，然而现有方法在高效且准确地稀疏化注意力方面面临两个挑战：(1) 刚性、不可预测且成本高昂的路由：通过代理分数选择固定比例的前排块会施加固定预算，而保留以达到目标累积代理概率质量的块则产生动态但可能不平衡的预算；两者都因计算和实例化代理分数而产生不可忽视的开销。(2) 有损的保留或丢弃稀疏化：未选中的块被完全丢弃，在激进稀疏化下会降低精度。这些限制促使我们寻求更廉价的动态预算路由，同时限制精度下降。在本文中，我们引入了无训练的 Sol-Attn（在线稀疏注意力），它在单次在线 softmax 过程中统一了动态路由、稀疏计算和近似校正，在稀疏注意力中实现了更好的精度-效率权衡。Sol-Attn 的核心是通过代理分数复用的即时块阈值化，在在线 softmax 期间通过将块代理分数与阈值比较来选择关键块。这种设计实现了动态但可控的块预算，无需实例化代理映射，同时直接复用未选中块的代理分数来近似其贡献。在图像和视频生成任务上的实验表明，Sol-Attn 推进了无训练稀疏注意力的质量-效率前沿，在保持视觉质量的同时，分别实现了视频生成和编辑的 2.1 倍和 2.3 倍端到端加速。

查看 arXiv 页面 (https://arxiv.org/abs/2607.24027) 查看 PDF (https://arxiv.org/pdf/2607.24027) 项目页面 (http://nvlabs.github.io/Sana/Sol-Attn/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.24027)

引用本论文的模型 0

没有模型链接本论文

在模型 README.md 中引用 arxiv.org/abs/2607.24027 以将其链接到此页面。

引用本论文的数据集 0

没有数据集链接本论文

在数据集 README.md 中引用 arxiv.org/abs/2607.24027 以将其链接到此页面。

引用本论文的空间 0

没有空间链接本论文

在空间 README.md 中引用 arxiv.org/abs/2607.24027 以将其链接到此页面。

包含本论文的收藏集 0

没有收藏集包含本论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以将其链接到此页面。