non-autoregressive-generation

介绍了不动点流，一种自条件化流语言模型，将自条件化视为不动点迭代，从而能够蒸馏出几步流映射语言模型 (FMLM⋆)，在OpenWebText上优于先前工作。

本技术报告研究了面向非自回归文本生成的草稿条件潜在精炼，表明良好的潜在几何并不能保证良好的解码，并强调解码器可恢复性作为关键评估指标。

提出离散随机定位（Discrete Stochastic Localization, DSL），一种用于非自回归文本生成的连续状态扩散框架，采用单位球面令牌嵌入和时步不变的降噪器，在OpenWebText上实现了比掩码离散扩散模型更好的分布忠实性。