@djjruhe: 介绍 Gumbel Straight Flow:将自回归模型蒸馏为一步流映射。自回归(语言)模型能否……

X AI KOLs Timeline 论文

摘要

介绍 Gumbel Straight Flow,一种将自回归语言模型蒸馏为一步流映射的方法,从而实现并行采样。

介绍 💫 Gumbel Straight Flow 💫:将自回归模型蒸馏为一步流映射 🚀 自回归(语言)模型能否作为流映射并行采样器的教师模型?https://t.co/5Wm6hsf4es
查看原文
查看缓存全文

缓存时间: 2026/10/03 04:51

介绍 💫 Gumbel Straight Flow 💫:将自回归模型蒸馏为单步流映射 🚀

自回归(语言)模型能否作为流映射并行采样器的教师? https://t.co/5Wm6hsf4es

相似文章

Flow-Map GRPO:基于锚定随机组合的少步流图生成器强化学习

arXiv cs.LG

提出了Flow-Map GRPO,一种用于确定性少步流图生成器的在线RL后训练框架,引入了锚定随机流图组合(ASFMC)以在不改变原始模型参数化的情况下实现随机优化。在基于FLUX的MeanFlow和sCM上的实验表明,在基于奖励的、感知的和任务级别的指标上均有改进。

通过非梯度向量流的流图学习

arXiv cs.LG

本文介绍了SGFlow,一种为扩散模型学习流图的方法,该方法避免了可逆性约束和通过模型迭代的反向传播,在CIFAR上取得了有竞争力的FID分数,并具有经过证明的稳定点保证。

FlowLM: 基于扩散-流适配的少步语言建模

arXiv cs.CL

FlowLM 提出了一种流匹配语言模型,通过高效微调从预训练扩散模型衍生而来,能够实现高质量少步文本生成,其效果可与2000步扩散采样相媲美,而训练轮次更少。