标签
该论文从电路复杂度视角证明,标准流匹配采样步骤无法超越恒定深度模型的表达能力,而自条件化(self-conditioning)可将表达力提升至与空间受限图灵机等价,从而实现更深的视觉序列推理。
本文介绍了untied self-conditioning以修正流匹配语言模型中的训练-推理不匹配问题,在无需重新训练的情况下,以更低的困惑度改进少步生成质量。
介绍了不动点流,一种自条件化流语言模型,将自条件化视为不动点迭代,从而能够蒸馏出几步流映射语言模型 (FMLM⋆),在OpenWebText上优于先前工作。
本文揭示,ELF等连续扩散语言模型报告的低生成困惑度(Gen-PPL)具有误导性,因为它奖励重复;作者确定了自条件循环中的一维吸引子为根源,并提出了ACE,一种通过减去该方向来减少重复且不牺牲质量的简单修复方法。