论文页面 - AReA：面向高效高分辨率扩散 Transformer 的自适应感受野注意力

来源：https://huggingface.co/papers/2610.17227

摘要

在扩散 Transformer（DiT）的训练分辨率之外生成图像仍然极具挑战，因为随着分辨率的提高，token 数量迅速增长，全注意力计算变得昂贵，输出也往往出现结构失真和细节退化。我们发现均匀全注意力是这两个问题的共同根源。在每一步对所有 token 进行注意力计算会导致二次方级的计算开销，并使模型接触到超出训练范围的更多 token 和相对距离，从而将模型推入分布外状态。我们观察到，注意力的有效感受野在去噪过程中会逐渐收窄：在构建结构的早期步骤中是全局性的，而在精修细节的后期步骤中则变为局部性的。我们提出 AReA，一种无需训练的注意力机制，其感受野随着去噪过程从粗到细逐步演化。在早期步骤中，AReA 在下采样的键和值上执行跨尺度粗粒度注意力以捕获全局上下文；在后期步骤中，则在逐步缩小的窗口内执行局部注意力。无需额外参数或训练，实验表明 AReA 在不同目标分辨率和多种模型上均持续优于最先进的无需训练的基线方法，同时速度更快、效率更高。

查看 arXiv 页面 | 查看 PDF | 项目页面 | GitHub | 加入收藏

在你的 agent 中获取此论文：

hf papers read 2610.17227

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.17227，即可从此页面链接该模型。

引用此论文的数据集 0

暂无关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.17227，即可从此页面链接该数据集。

引用此论文的 Spaces 1

收录此论文的合集 0

暂无收录此论文的合集

将此论文添加到合集即可从此页面链接它。