标签
该论文指出,少步蒸馏扩散模型会因中间模块的激活方差集中到更少的方向上而出现多样性坍缩,并提出了 ReDiverse——一种适配器微调方法(ReDiverse-FT)和一种免训练的激活引导机制(ReDiverse-TF)——在保持生成质量的同时恢复样本多样性,覆盖图像与视频蒸馏基准测试。
本文介绍了FADE(Focal Advantage with Dynamic Entropy),一种自适应优势函数,能在大型语言模型的强化学习后训练过程中动态调度梯度权重,与静态基线相比,实现了更快的收敛和更好的准确率-多样性平衡。