LiFT：循环流 Transformer（Loop Flow Transformers）

Hugging Face Daily Papers 论文
diffusion-transformers looped-transformers flow-matching image-generation efficient-inference imagnet

摘要

LiFT 提出了一类循环生成模型，通过反复应用共享的 Diffusion Transformer（DiT）核心来扩展计算量，并在每个循环步上以连续深度的流匹配回归目标进行训练，使推理可以远超训练深度。在 ImageNet 256x256 上，LiFT-L/2 比稠密的 DiT-XL/2 基线在 FID 上低 3.34 点，同时参数量减少约 60%，推理 FLOPs 减少 52%。

我们提出 Loop Flow Transformers（LiFT），这是一类循环生成模型，通过反复应用共享的 Diffusion Transformer（DiT）核心来扩展计算量，仅对标准架构做了轻微改动。LiFT 并不要求每个循环步都给出最终预测，而是为每一步训练一个单一的回归目标：位于从模型初始估计到流匹配目标的直线路径上的一点。由于我们用连续深度坐标来索引这些目标，训练好的模型可以循环到远超其训练深度的位置，无需重新训练、提前退出或其他修改。在我们的实验中，这些更长的展开提升了生成质量，因此推理计算量可以在不增加参数的情况下增长。在 ImageNet 256x256 上，LiFT-L/2 的 FID 比我们的稠密 DiT-XL/2 基线低 3.34 点，同时参数量减少约 60%，训练 FLOPs 减少 32%，推理 FLOPs 减少 52%。
查看原文
查看缓存全文

缓存时间: 2026/10/06 12:54

论文页面 - LiFT: Loop Flow Transformers

来源：https://huggingface.co/papers/2610.05538

摘要

我们提出 Loop Flow Transformers（LiFT），这是一类循环生成模型，通过反复应用一个共享的 Diffusion Transformer（DiT）核心来扩展计算量，仅对标准架构做轻微改动。LiFT 不再要求每个循环步都给出最终预测，而是为每一步训练单一的回归目标：即从模型初始估计到 flow-matching 目标的一条直线路径上的某一点。由于我们用连续深度坐标来索引这些目标，训练好的模型无需重新训练、无需提前退出或其他任何修改，就可以循环远超其训练深度。在我们的实验中，这种更长的 rollout 改善了生成效果，因此推理计算量可以增长而无需增加参数。在 ImageNet 256x256 上，LiFT-L/2 的 FID 比我们的 dense DiT-XL/2 基线低 3.34 点，同时参数量减少约 60%，训练 FLOPs 减少 32%，推理 FLOPs 减少 52%。

查看 arXiv 页面 (https://arxiv.org/abs/2610.05538) 查看 PDF (https://arxiv.org/pdf/2610.05538) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.05538)

在你的 agent 中获取此论文：

hf papers read 2610.05538

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

没有模型链接到此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.05538，即可从本页面链接到该论文。

引用该论文的数据集 0

没有数据集链接到此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.05538，即可从本页面链接到该论文。

引用该论文的 Spaces 0

没有 Space 链接到此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.05538，即可从本页面链接到该论文。

包含此论文的收藏 1

相似文章

DeepLoop：循环Transformer的深度缩放

arXiv cs.LG

DeepLoop为循环Transformer引入了一种残差缩放方法，该方法根据参数访问进行调整，从而在物理块跨多轮重用时提高稳定性和性能。

循环扩散 Transformer：在每个去噪步骤中重复运行相同的模块，并且可以在采样时调整循环深度 [R]

Reddit r/MachineLearning

介绍 Looped Diffusion Transformer 论文：通过在每个去噪步骤内重复运行共享的 transformer 块，并结合深度监督和自调制注意力，使 260M 模型以 4.9 倍更少的推理计算超越 6.5 倍大的模型，且循环深度可在采样时调节；作者还用 MIT 开源权重在 M5 Pro 上实测了不同深度的效果。

一种新 Transformer 将隐状态传递给下一个 token 而非重新计算（25 分钟阅读）

TLDR AI

论文提出了 LIFT（Latent Information Feedback Transformer），它在生成步骤之间传播深层隐状态，而不是仅依赖已解码的 token，采用 teacher-forced 预训练方式，其状态由现成语言模型的下一个 token 分布生成。在 135M–1B 参数模型上的实验表明，在 token 预算对齐的条件下，LIFT 在语言建模、推理和程序性任务上均优于标准 Transformer，代码和模型均已开源。