论文页面 - SEGA：基于谱-能量引导的注意力机制用于扩散 Transformer 的分辨率外推

来源：https://huggingface.co/papers/2605.22668

摘要

SEGA 通过根据去噪过程中潜变量的空间-频率结构，自适应地缩放各 RoPE 分量上的注意力，从而改善高分辨率文本到图像的生成效果。

扩散 Transformer (https://huggingface.co/papers?q=Diffusion%20transformers)（DiTs）已成为文本到图像生成 (https://huggingface.co/papers?q=text-to-image%20generation) 的主导架构，但在生成超出其训练范围的分辨率时，性能会下降。现有的免训练方法通过修改推理时的注意力行为来缓解这一问题，通常采用旋转位置编码 (https://huggingface.co/papers?q=Rotary%20Position%20Embeddings)（RoPE）外推结合注意力缩放 (https://huggingface.co/papers?q=attention%20scaling)。然而，这些策略对具有不同频率特征的 RoPE 分量应用了统一且与内容无关的缩放，导致在保留全局结构与恢复细节之间产生权衡。我们提出了 SEGA，一种免训练方法，它根据每个去噪步骤中潜变量的空间-频率结构 (https://huggingface.co/papers?q=spatial-frequency%20structure)，动态地缩放各 RoPE 分量上的注意力。这种自适应缩放同时提升了结构连贯性和细节保真度。实验表明，SEGA 在多个目标分辨率上持续改进高分辨率合成 (https://huggingface.co/papers?q=high-resolution%20synthesis) 效果，优于当前最先进的免训练基线方法。

查看 arXiv 页面 (https://arxiv.org/abs/2605.22668)查看 PDF (https://arxiv.org/pdf/2605.22668)项目页面 (https://rajabi2001.github.io/sega/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.22668)

在您的智能体中获取本论文：

hf papers read 2605.22668

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

暂无模型引用本论文

请在模型 README.md 中引用 arxiv.org/abs/2605.22668，以便在此页面建立链接。

引用本论文的数据集0

暂无数据集引用本论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.22668，以便在此页面建立链接。

引用本论文的 Space0

暂无 Space 引用本论文

请在 Space README.md 中引用 arxiv.org/abs/2605.22668，以便在此页面建立链接。

包含本论文的收藏集0

暂无包含本论文的收藏集

请将本论文添加到收藏集 (https://huggingface.co/new-collection)，以便在此页面建立链接。