标签
提出离散随机定位（Discrete Stochastic Localization, DSL），一种用于非自回归文本生成的连续状态扩散框架，采用单位球面令牌嵌入和时步不变的降噪器，在OpenWebText上实现了比掩码离散扩散模型更好的分布忠实性。
本文介绍了令牌时间连续扩散（Token Time Continuous Diffusion，简称TTCD），这是一种新型扩散语言模型，它在连续空间中运行，采用每个令牌的时间步，在条件生成和数独求解方面以高加速比优于离散模型。
LangFlow提出了首个可与离散扩散方法相媲美的连续扩散语言模型，挑战了长期以来认为连续扩散在语言建模中劣于离散扩散的观点。该工作引入了基于最优Gumbel噪声调度等关键要素，并展示了与离散扩散基线相比具有竞争力的困惑度和迁移学习性能。