AB-Attention：用于加速视频扩散 Transformer 的精确块注意力

Hugging Face Daily Papers 论文
video-diffusion attention-mechanism inference-acceleration transformers block-sparse computer-vision

摘要

AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。

视频扩散 Transformer 能够生成高质量视频，但三维全注意力的二次方计算成本主导了其推理开销。动态块稀疏注意力通过仅对根据当前激活值选出的键/值块计算精确注意力来降低这一成本。然而，在高稀疏度下，其保真度会下降：块评分依赖粗略摘要，或块的构建依赖代价高昂的全局聚类；被剪枝的块从 softmax 中消失；即使一个计算分块中只有少数键起作用，整个计算分块也会被保留或丢弃。为解决这些局限，我们提出了精确块注意力（Accurate Block Attention，AB-Attention），这是一种无需训练、能够在高稀疏度下精确近似稠密注意力的方法。其块内聚类选择器（Intra-Block Clustering Selector，IBCS）仅在每个查询块内部对查询进行聚类，无需重排 token，即可以较低成本准确估计块的重要性。随后，包含概率加权采样（Sampling with Inclusion-Probability Weighting，SIP）按照这些估计值成比例地采样块，并以包含概率的倒数对其重新加权，使单次计算估计的是稠密注意力，而非对其进行截断。最后，其计算内核将远小于计算分块的键/值块汇集成完整的张量核心计算分块，在不增加张量核心计算成本的情况下细化选择粒度。在 Wan2.1 和 HunyuanVideo 上，AB-Attention 跳过了 89--92\% 的注意力计算，而基线方法的计算量是其 1.8--3.6 倍；即便如此，与最强基线相比，其 PSNR 仍最高提升了 4.4~dB，并实现了最高 2.23 倍的端到端加速。我们的代码已公开于 https://github.com/InfRec-Cardinal/AB-Attention。
查看原文
查看缓存全文

缓存时间: 2026/10/30 11:09

论文页面 - AB-Attention：用于加速视频扩散 Transformer 的精确块注意力

来源：https://huggingface.co/papers/2610.39663 发表于 10 月 29 日

·

由https://huggingface.co/xubinknight提交

Xubin (https://huggingface.co/xubinknight)于 10 月 30 日

摘要

AB-Attention 通过块内聚类、加权采样和细粒度内核聚集，以高稀疏度近似稠密的视频扩散注意力，从而提高保真度和速度.

视频扩散 Transformer (https://huggingface.co/papers?q=Video%20diffusion%20transformers)能够生成高质量视频，但三维全注意力 (https://huggingface.co/papers?q=3D%20full%20attention)的二次计算成本主导了其推理开销.动态块稀疏注意力 (https://huggingface.co/papers?q=Dynamic%20block-sparse%20attention)仅对根据当前激活值选出的键/值块计算精确注意力，从而降低这一成本. 然而，在极高稀疏度下，其保真度会下降：块评分依赖粗略摘要，或通过成本高昂的全局聚类形成块；被剪枝的块从 softmax 中消失；即使一个计算块中只有少数键起作用，也会保留或丢弃整个计算块. 为解决这些局限，我们提出精确块注意力 (AB-Attention (https://huggingface.co/papers?q=AB-Attention))，这是一种无需训练、可在高稀疏度下精确近似稠密注意力的方法. 其块内聚类选择器 (https://huggingface.co/papers?q=Intra-Block%20Clustering%20Selector)(IBCS)仅在每个查询块内部对查询进行聚类，无需重排词元，即可准确且低成本地估计块的重要性. 随后，采用包含概率加权的采样 (https://huggingface.co/papers?q=Inclusion-Probability%20Weighting)(SIP)根据这些估计值按比例采样块，并以包含概率的倒数重新赋权，使单次计算能够估计稠密注意力，而非将其截断. 最后，其内核将远小于计算块的键/值块聚集成完整的张量核心计算块 (https://huggingface.co/papers?q=tensor-core%20tiles)，在不增加张量核心计算成本的情况下细化选择粒度. 在 Wan2.1 和 HunyuanVideo 上，AB-Attention (https://huggingface.co/papers?q=AB-Attention)跳过了 89--92\% 的注意力计算，而基线方法的计算量是其 1.8--3.6 倍；尽管如此，与最强基线相比，它仍将 PSNR 提高了最多 4.4~dB，并实现了最高 2.23 倍的端到端加速. 我们的代码已发布于 https://github.com/InfRec-Cardinal/AB-Attention (https://huggingface.co/papers?q=AB-Attention).

查看 arXiv 页面 (https://arxiv.org/abs/2610.39663)查看 PDF (https://arxiv.org/pdf/2610.39663)项目页面 (https://infrec-cardinal.github.io/AB-Attention/)GitHub23 (https://github.com/InfRec-Cardinal/AB-Attention)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.39663)

在你的智能体中获取这篇论文：

hf papers read 2610\.39663

尚未安装最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型关联这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.39663，即可从此页面链接到该模型.

引用这篇论文的数据集0

暂无数据集关联这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.39663，即可从此页面链接到该数据集.

引用这篇论文的 Space0

暂无 Space 关联这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.39663，即可从此页面链接到该 Space.

包含这篇论文的合集0

暂无合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.

相似文章

使用可训练稀疏注意力实现更快的视频扩散

Papers with Code Trending

本文介绍了可训练稀疏注意力（VSA），一种硬件高效的稀疏注意力机制，它降低了视频扩散变换器的计算成本，而不影响性能，从而实现更高效的扩展和更快的生成。

Prism：面向原生2K联合视频-音频生成模型训练的动态稀疏注意力

Hugging Face Daily Papers

Prism提出一种动态稀疏注意力框架，用于在原生2K分辨率下训练联合视频-音频生成模型。该方法通过将token序列组织为时空宏区域，并结合音频-视频跨模态信号自适应地为每个区域分配注意力块的形状，实现了相比全注意力2.5倍的训练加速，同时生成质量更优。