论文页面 - 结构化残差连接对扩散Transformer的重要性

来源：https://huggingface.co/papers/2609.33203 发布于9月27日

·

由 https://huggingface.co/linlinlinlinsdada 提交

liu (https://huggingface.co/linlinlinlinsdada) 于9月29日提交

摘要

扩散Transformer（DiTs）已成为高保真图像合成的可扩展骨干网络。然而，与依赖于固定、手工设计的跳跃连接的基于U-Net的扩散模型不同，DiT主要使用统一的残差流，将所有前序层作为一个整体状态进行整合。在这项工作中，我们重新思考了扩散Transformer中的残差连接，并提出将其从被动求和转变为针对图像去噪优化的主动检索机制。首先，我们对DiT的内部表示进行了系统性分析，揭示了其对早期层特征重用和对称层引导的潜在偏好。基于此，我们引入了一种结构化连接设计，明确地将局部残差连接与长程路径相结合。我们的方法不是采用静态跳跃连接或密集的全层路由，而是使每个Transformer块能够有选择地“关注”关键的早期表示，通过直接的、可微分的跨深度路径动态检索空间和语义线索。实验表明，我们的自适应连接带来了更快的收敛速度，训练迭代次数最多可减少1.73倍，并且在FID和视觉质量上取得了显著提升，而额外参数增加不到0.1%。这进一步将一个强大的REPA-XL/2模型在无引导条件下的FID从5.9改善到4.34，在使用分类器自由引导下达到1.39的FID。我们的研究结果表明，自适应跨层连接是扩散Transformer中一个关键但尚未充分探索的因素，而纳入结构化信息路径为改进可扩展生成模型提供了一个简单有效的方向。

查看arXiv页面 (https://arxiv.org/abs/2609.33203) 查看PDF (https://arxiv.org/pdf/2609.33203) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.33203)

在您的智能体中获取此论文：

hf papers read 2609.33203

尚未安装最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型链接此论文

在模型README.md中引用 arxiv.org/abs/2609.33203 以将其从本页链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集README.md中引用 arxiv.org/abs/2609.33203 以将其从本页链接。

引用此论文的空间 0

没有空间链接此论文

在空间README.md中引用 arxiv.org/abs/2609.33203 以将其从本页链接。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以将其从本页链接。