@djjruhe: 介绍 Gumbel Straight Flow:将自回归模型蒸馏为一步流映射。自回归(语言)模型能否……
摘要
介绍 Gumbel Straight Flow,一种将自回归语言模型蒸馏为一步流映射的方法,从而实现并行采样。
介绍 💫 Gumbel Straight Flow 💫:将自回归模型蒸馏为一步流映射 🚀
自回归(语言)模型能否作为流映射并行采样器的教师模型?https://t.co/5Wm6hsf4es
查看缓存全文
缓存时间: 2026/10/03 04:51
介绍 💫 Gumbel Straight Flow 💫:将自回归模型蒸馏为单步流映射 🚀
自回归(语言)模型能否作为流映射并行采样器的教师? https://t.co/5Wm6hsf4es
相似文章
Flow-Map GRPO:基于锚定随机组合的少步流图生成器强化学习
提出了Flow-Map GRPO,一种用于确定性少步流图生成器的在线RL后训练框架,引入了锚定随机流图组合(ASFMC)以在不改变原始模型参数化的情况下实现随机优化。在基于FLUX的MeanFlow和sCM上的实验表明,在基于奖励的、感知的和任务级别的指标上均有改进。
通过不动点流的自条件化流映射语言模型
介绍了不动点流,一种自条件化流语言模型,将自条件化视为不动点迭代,从而能够蒸馏出几步流映射语言模型 (FMLM⋆),在OpenWebText上优于先前工作。
通过非梯度向量流的流图学习
本文介绍了SGFlow,一种为扩散模型学习流图的方法,该方法避免了可逆性约束和通过模型迭代的反向传播,在CIFAR上取得了有竞争力的FID分数,并具有经过证明的稳定点保证。
FlowLM: 基于扩散-流适配的少步语言建模
FlowLM 提出了一种流匹配语言模型,通过高效微调从预训练扩散模型衍生而来,能够实现高质量少步文本生成,其效果可与2000步扩散采样相媲美,而训练轮次更少。
@r_de_santi: 生成模型无法发现它们无法触及的东西。我们很高兴推出 ActFlow:一个持续预训练方案…
本文介绍了 ActFlow,这是一种持续预训练方案,旨在扩展流模型和扩散模型的有效设计空间,从而实现分布外生成建模,并为科学发现提供可进化的搜索空间。