论文页面 - 不让任何通道掉队：通过残差门理解扩散加速

来源：https://huggingface.co/papers/2610.40914

摘要

扩散 Transformer 的训练加速由 AdaLN-Zero 残差门的重组驱动，而一种促进更广泛门参与的简单径向目标，无需辅助教师模型即可提升生成质量.

扩散 Transformer (https://huggingface.co/papers?q=diffusion%20transformers) 的训练加速方法，如 REPA (https://huggingface.co/papers?q=REPA) 和分散正则化 (https://huggingface.co/papers?q=dispersive%20regularization)，通常被解释为额外监督、空间结构先验或特征几何结构改善的结果. 我们重新审视这一观点，并揭示了一个显著的内部变化：AdaLN-Zero (https://huggingface.co/papers?q=AdaLN-Zero) 残差门 (https://huggingface.co/papers?q=residual%20gate) α 直接控制条件化更新如何进入残差流，而这些方法使其发生了大幅重组. 这一观察促使我们提出假设：加速至少部分源于残差门控路径的重塑，而非仅仅源于辅助目标显式施加的特征结构. 支持这一观点的是，加速模型对 α 的扰动明显更敏感，且其门的几何结构反映了类别之间的语义关系. 我们进一步引入归一化参与率 (https://huggingface.co/papers?q=normalized%20participation%20ratio) (nPR)，以表征门在各通道上的组织方式，并发现，在不同的 REPA (https://huggingface.co/papers?q=REPA) 教师模型、投影器架构和径向目标设定下，更广泛的门参与均伴随着更好的生成质量. 在这一发现的指导下，我们提出了一种简单的、无需教师模型的径向目标 (https://huggingface.co/papers?q=radial%20objective)，通过特征范数正则化 (https://huggingface.co/papers?q=feature-norm%20regularization) 促进更广泛的门参与，无需进行成对特征比较. 在 ImageNet 256×256 上使用 SiT-B/2 时，我们的方法相比分散损失改善了 FID，同时提高了跨时间步和类别的平均门参与率，进一步支持了门的组织方式与训练加速之间的联系. 我们的结果表明，残差门重组是衡量扩散训练加速的一个维度，并为进一步加速指明了一个简单方向.

查看 arXiv 页面 (https://arxiv.org/abs/2610.40914)查看 PDF (https://arxiv.org/pdf/2610.40914)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.40914)

在你的智能体中获取这篇论文：

hf papers read 2610\.40914

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.40914，即可从此页面链接到该模型.

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.40914，即可从此页面链接到该数据集.

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.40914，即可从此页面链接到该 Space.

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集.