标签
该论文表明，REPA 和分散正则化等扩散模型训练加速方法主要重组 AdaLN-Zero 残差门控 α，并提出了一种无需教师模型的径向目标，通过扩大门控参与范围，改善 SiT-B/2 在 ImageNet 256×256 上的 FID。
一篇关于AI模型未来可能出现的架构创新的推测性讨论，包括循环Transformer、Gated Delta Net 2变体、注意力残差，以及扩散Transformer可能在不损失智能水平的前提下重新回归。
该论文提出扩散Transformer的训练加速部分源于AdaLN-Zero残差门控α的重组，并引入归一化参与度比(nPR)和一种无教师的径向目标，在ImageNet 256x256上以SiT-B/2改进了FID。
提出在由2D基础模型导出的高维隐式3D潜在空间中直接进行扩散建模，实现3D-grounded的场景级3D生成，相比2D多视角方法在空间一致性和效率上更具优势，并验证了其在表示与模型容量上的可扩展性。
提出AReA：一种免训练的注意力机制，其感受野随去噪过程从粗到细自适应演化，用于实现高效高分辨率Diffusion Transformer图像生成，在多个分辨率和模型上超越现有免训练基线且速度更快。
提出 MC-Sparse，一个免训练的元缓存稀疏注意力框架，通过分析稠密-稀疏注意力差距的三大来源，在视频与3D生成中实现最高2.32倍去噪加速且几乎无质量损失。
LiFT 提出了一类循环生成模型，通过反复应用共享的 Diffusion Transformer（DiT）核心来扩展计算量，并在每个循环步上以连续深度的流匹配回归目标进行训练，使推理可以远超训练深度。在 ImageNet 256x256 上，LiFT-L/2 比稠密的 DiT-XL/2 基线在 FID 上低 3.34 点，同时参数量减少约 60%，推理 FLOPs 减少 52%。
论文提出了Tex-Zero，一个完全基于构建的2D图像（而非真实3D资产）训练的原生3D纹理生成框架。该方法通过平面表示和分块随机旋转将高质量2D图像转换为3D训练样本，证明了在无需3D资产数据的情况下也能实现高保真纹理合成。
本文提出了 Persistence Forcing（PerF），该方法为像素空间 Diffusion Transformer 中的特征组分配异构的细化预算，从而产生持久的全局结构特征，用以引导活跃的细节特征。PerF-H 在 ImageNet 256x256 数据集上达到了 FID 1.63，在具备竞争力的效率下超越了 JiT-H。
本文提出了一种针对扩散变压器的结构化残差连接设计，该设计支持自适应跨层连接，从而实现更快的收敛和更好的图像合成质量，同时仅增加极少的参数。
论文提出了 NowWAM，这是一种无未来目标的协同训练框架：对当前观测进行去噪，并从同一视觉流中预测机器人动作。实验表明，在将预训练生成式 DiT 适配到机器人控制时，并不需要单独的未来视觉目标；基于 FLUX2-Klein 在 LIBERO-Plus 上达到 87.7% 的成功率，同时实现 1.8 倍的加速。
本文提出了CoMA-DiT，一种用于多模态脑状态解码中潜在增强的双向跨模态扩散变压器，它通过将配对模态用作相互监督信号来增强听觉注意力解码和情感识别等任务的性能。
Marigold V2通过单步推理和新颖的微调协议，改造扩散变换器用于单目深度估计，实现了更清晰的深度图，并在KITTI和ETH3D等基准测试上取得了显著改进。
本文将 Muon 优化器应用于扩散变换器，参数规模从 13 亿扩展到 150 亿，并引入周期性行式 Muon 以减少计算开销，同时保持相对于 AdamW 的生成质量提升。
HelloWorld是一个视频世界模型，支持社交互动角色，用户只需按一次按钮即可提示屏幕上的角色做出回应。它利用自蒸馏和无训练交叉注意力掩码来使互动自然化，并引入了用于评估的HelloWorldBench。
MiniWorld 是一个可复现的框架，用于从零训练视频世界模型，采用带流匹配的块因果视频扩散变换器，能够实现高效的流式生成，并可在单台 8-GPU 服务器上数天内完成训练。
Sol-Attn 提出了一种无需训练的方法，用于视频生成推理的注意力稀疏化，通过在线softmax过程中动态选择键值块，实现了超过2倍的速度提升，且质量损失极小。
本文研究了扩散变换器（DiTs）中的文本模板令牌如何作为隐式语义寄存器，在去噪过程中因果地维持物体身份，并提出了一种无需训练的剪枝规则，该规则移除了20%的注意力FLOPs，且性能下降极小。
介绍了外观指针，这是一种紧凑的标记，能够引导扩散变换器在指定空间位置应用正确的外观提示，从而无需重新训练基础模型即可实现模态无关的局部多模态控制。
ReChannel通过将令牌直接映射到像素空间块，适配预训练的扩散变换器（如FLUX-Klein）用于密集预测任务，在无三元图的抠图、KITTI深度和指代分割上以极少的额外参数取得了最先进的成果。