标签
本文介绍了untied self-conditioning以修正流匹配语言模型中的训练-推理不匹配问题,在无需重新训练的情况下,以更低的困惑度改进少步生成质量。
本文提出MeanFlow-Transfer(MF-T)和连续对抗性MeanFlow(CAMF),以统一预训练扩散和流动模型的适配和加速,实现数据有限新领域的高质量少步生成。
本文介绍了潜核离散流映射(LKF),一种用于离散扩散模型的流映射核,通过共享潜变量捕捉位置之间的相关性,无需蒸馏即可实现少步生成,并改善了文本生成的困惑度。
感知流匹配在感知特征空间中对流匹配进行监督,使得仅需4-8步采样而非35-50步即可实现高质量少步生成,且无需教师模型。
论文指出了为何确定性少步生成在文本上失败而在图像上成功:文本解码器中尖锐的类别读出放大了微小误差,导致词元翻转,而连续图像解码器是平滑的。论文提出了诊断指标(DABI, CCI)以及逃逸机制,如类别承诺和随机重注入。
VESFlow 是一种无需训练的安全方法,用于基于流匹配的文本到图像生成,通过编辑速度场来确保安全输出,同时保持提示的完整性。
RTDMD是一个两阶段框架,结合分布匹配蒸馏与奖励引导的强化学习,以改进少步图像生成与人类偏好的一致性。它在仅需4步推理的情况下,在多个模型上取得了最先进的结果。
FlowLM 提出了一种流匹配语言模型,通过高效微调从预训练扩散模型衍生而来,能够实现高质量少步文本生成,其效果可与2000步扩散采样相媲美,而训练轮次更少。