循环均匀扩散语言模型

Hugging Face Daily Papers 论文
diffusion-models language-models transformers training-efficiency text-generation

摘要

该论文研究了在均匀扩散语言模型（UDLM）中循环早期 Transformer 层的方法，在不改变训练目标和采样器的前提下，以显著更少的训练 FLOPs 达到相同的验证 NLL，并在推理时降低生成困惑度。

均匀扩散语言模型（UDLM）通过对普通词汇 token 序列进行迭代去噪来生成文本，其中任意位置的 token 都可能被破坏并随后被修正。在训练过程中，UDLM 必须从本身可能不可靠的上下文出发进行去噪，而掩码扩散语言模型（MDLM）则始终以干净的上下文为条件。这一具有挑战性的训练目标使得 UDLM 的训练比 MDLM 消耗更多 FLOPs，但却带来了更强的下游推理性能。近期有研究表明，在等 FLOP 预算下，选择性循环（selective looping）——即在每个去噪步骤内递归应用少数几个早期 Transformer 层——能够提升 MDLM 的训练效率。我们在保持训练目标和采样器不变的情况下研究了 UDLM 中的循环机制。我们发现循环显著提升了训练效率：循环 UDLM 在 OpenWebText 上只需比达到相同验证 NLL 所需的非循环 UDLM（约训练 0.5 万亿 token）少最多 2.8 倍的训练 FLOPs，在 FineWeb-Edu 上则少 3.3 倍。我们还发现，在匹配的 NFE 预算下，循环 UDLM 的生成困惑度比非循环 UDLM 最多低 9.8%，且大部分收益在中等循环次数下即可获得。最后，我们研究了不同的循环次数分布，发现训练时更频繁地采样较小的循环次数可以提升推理效率：在下游任务上，这一策略比均匀循环次数采样少使用 12% 的循环，同时不损失准确率。
查看原文
查看缓存全文

缓存时间: 2026/10/22 19:36

论文页面 - 循环均匀扩散语言模型

来源: https://huggingface.co/papers/2610.30066

摘要

循环早期 Transformer 层可以在不改变目标函数或采样器的情况下，提升均匀扩散语言模型的训练和推理效率。

均匀扩散语言模型 (https://huggingface.co/papers?q=Uniform%20diffusion%20language%20models)(UDLMs)通过迭代地对普通词汇 token 序列进行去噪 (https://huggingface.co/papers?q=denoising)来生成文本，其中任意位置的 token 都可能被破坏并在后续被修正。在训练过程中，UDLMs 必须从可能本身就不可靠的上下文中进行去噪，而掩码扩散语言模型 (https://huggingface.co/papers?q=masked%20diffusion%20language%20models)(MDLMs)始终以干净的上下文为条件。这种具有挑战性的训练目标使得 UDLMs 的训练在 FLOP 消耗上比 MDLMs 更为密集，但却能带来更强的下游推理性能。近期，选择性循环 (https://huggingface.co/papers?q=selective%20looping)——即在每个去噪 (https://huggingface.co/papers?q=denoising)步骤内递归地应用少量早期 Transformer 层 (https://huggingface.co/papers?q=Transformer%20layers)——已被证明能够在等 FLOP 预算下提升 MDLMs 的训练效率。我们在保持训练目标和采样器不变的前提下，研究了 UDLMs 中的循环机制。我们发现循环显著提升了训练效率：循环 UDLMs 在 OpenWebText 上达到与非循环 UDLMs（该模型在约 0.5 万亿 token 上训练）相当的验证 NLL (https://huggingface.co/papers?q=validation%20NLL)，同时训练 FLOP 减少最多达 2.8 倍；在 FineWeb-Edu 上则减少最多达 3.3 倍。我们还发现，在匹配的 NFE 预算下，循环 UDLMs 的生成困惑度 (https://huggingface.co/papers?q=generation%20perplexity)比非循环 UDLMs 最多降低 9.8%，且大部分增益在中等循环次数时即可获得。最后，我们研究了不同的循环次数分布 (https://huggingface.co/papers?q=loop-count%20distributions)，发现训练期间更频繁地采样较小的循环次数可以提升推理效率：在下游任务中，该策略比均匀循环次数采样少使用 12% 的循环，同时准确率不受影响。

[查看 arXiv 页面 (https://arxiv.org/abs/2610.30066)] [查看 PDF (https://arxiv.org/pdf/2610.30066)] [添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.30066)]

引用此论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.30066 即可从本页面关联。

引用此论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.30066 即可从本页面关联。

引用此论文的 Space0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.30066 即可从本页面关联。

收录此论文的收藏集0

暂无收藏集收录此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 即可从本页面关联。

相似文章

非均匀离散扩散：更强、更可扩展

arXiv cs.CL

本文提出 LUDI，一种非均匀扩散语言建模框架，解决了均匀扩散语言模型中训练目标过度均匀以及条件与目标混淆的问题，实现了 7B 规模的均匀离散扩散语言模型（UDLM），在逐步处理速度上比自回归解码快 3 倍，同时在复杂推理任务上具备有竞争力的性能。

扩散语言模型的同策略残差学习

arXiv cs.LG

该论文提出ORL（On-policy Residual Learning）框架，通过熵收缩目标与异步残差捕获等系统级协同设计，使扩散语言模型（DLM）在相近质量下将吞吐量提升至约6.9×，在单请求解码速度上超越自回归模型的推测解码方案。

一个模型，循环万物：语言模型的弹性潜在递归

arXiv cs.CL

NVIDIA 提出弹性潜在循环（Elastic Latent Recurrence，ELR）训练方案，使循环语言模型在单次循环时达到与同规模非循环模型相当的精度，同时每次额外循环都能以更多推理计算换取精度提升，最终产出可在 1–4 次循环间灵活调整的单一检查点 Koi-4B。

循环扩散 Transformer：在每个去噪步骤中重复运行相同的模块，并且可以在采样时调整循环深度 [R]

Reddit r/MachineLearning

介绍 Looped Diffusion Transformer 论文：通过在每个去噪步骤内重复运行共享的 transformer 块，并结合深度监督和自调制注意力，使 260M 模型以 4.9 倍更少的推理计算超越 6.5 倍大的模型，且循环深度可在采样时调节；作者还用 MIT 开源权重在 M5 Pro 上实测了不同深度的效果。