attention-separation

本文研究了扩散Transformer中自对齐方法的机制，揭示了Self-Flow等方法带来的性能提升主要来自噪声维度上的数据增强，而非噪声级别之间的token交互。作者引入Attention Separation来证明这一点，并提出了一种结合自表示对齐与双时间步增强的有效设计。