diversity-collapse

标签

Cards List
#diversity-collapse

@_akhaliq:通过探测激活恢复蒸馏图像与视频生成器的多样性(Restoring Diversity in Distilled Image and Video Generators by Probing Activations)论文:https://huggingface.co/papers…

X AI KOLs Timeline ↗ · 3天前 缓存

该论文指出,少步蒸馏扩散模型会因中间模块的激活方差集中到更少的方向上而出现多样性坍缩,并提出了 ReDiverse——一种适配器微调方法(ReDiverse-FT)和一种免训练的激活引导机制(ReDiverse-TF)——在保持生成质量的同时恢复样本多样性,覆盖图像与视频蒸馏基准测试。

0 人收藏 0 人点赞
#diversity-collapse

不要让收益FADE:解析强化学习中的策略梯度权重

arXiv cs.LG ↗ · 2026-07-03 缓存

本文介绍了FADE(Focal Advantage with Dynamic Entropy),一种自适应优势函数,能在大型语言模型的强化学习后训练过程中动态调度梯度权重,与静态基线相比,实现了更快的收敛和更好的准确率-多样性平衡。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈