self-conditioning

介绍了不动点流，一种自条件化流语言模型，将自条件化视为不动点迭代，从而能够蒸馏出几步流映射语言模型 (FMLM⋆)，在OpenWebText上优于先前工作。

本文揭示，ELF等连续扩散语言模型报告的低生成困惑度（Gen-PPL）具有误导性，因为它奖励重复；作者确定了自条件循环中的一维吸引子为根源，并提出了ACE，一种通过减去该方向来减少重复且不牺牲质量的简单修复方法。