@_akhaliq:通过探测激活恢复蒸馏图像与视频生成器的多样性(Restoring Diversity in Distilled Image and Video Generators by Probing Activations)论文:https://huggingface.co/papers…
摘要
该论文指出,少步蒸馏扩散模型会因中间模块的激活方差集中到更少的方向上而出现多样性坍缩,并提出了 ReDiverse——一种适配器微调方法(ReDiverse-FT)和一种免训练的激活引导机制(ReDiverse-TF)——在保持生成质量的同时恢复样本多样性,覆盖图像与视频蒸馏基准测试。
查看缓存全文
缓存时间: 2026/11/16 22:29
论文页面 - 通过探测激活恢复蒸馏图像与视频生成器的多样性
来源: https://huggingface.co/papers/2611.18550
摘要
蒸馏的少步扩散模型会出现多样性坍缩,因为在初始去噪步的一个中间块中,激活方差被集中到了更少的方向上;ReDiverse 通过适配器微调或无训练的激活引导重新引入教师的方差方向,在保持生成质量的同时恢复样本多样性。
将扩散模型 (https://huggingface.co/papers?q=diffusion%20models) 蒸馏为少步学生模型 (https://huggingface.co/papers?q=few-step%20student%20models) 能大幅降低采样延迟,但会引发严重的多样性坍缩 (https://huggingface.co/papers?q=diversity%20collapse):不同随机种子生成的样本几乎毫无差异。在本工作中,我们通过对比学生模型与教师模型的内部表示 (https://huggingface.co/papers?q=internal%20representations) 来探究这一失败的根本原因。我们发现,蒸馏后的学生模型保持了与教师相当的总激活方差 (https://huggingface.co/papers?q=activation%20variance),但将其集中到了远少于教师的方向上。这种方向坍缩 (https://huggingface.co/papers?q=directional%20collapse) 定位于初始去噪步 (https://huggingface.co/papers?q=initial%20denoising%20step) 一个可辨识的中间块 (https://huggingface.co/papers?q=intermediate%20block)。因此,多样性坍缩 (https://huggingface.co/papers?q=diversity%20collapse) 源于激活方差 (https://huggingface.co/papers?q=activation%20variance) 的错配,而非生成能力的固有丧失。基于这一发现,我们提出了 ReDiverse (https://huggingface.co/papers?q=ReDiverse) 来恢复缺失的方差方向。在训练阶段,ReDiverse-FT (https://huggingface.co/papers?q=ReDiverse-FT) 微调一个轻量级适配器 (https://huggingface.co/papers?q=lightweight%20adapter),将学生模型的激活回归到教师模型的激活上,从而恢复教师模型的特征方差 (https://huggingface.co/papers?q=feature%20variance) 特性。在推理阶段,ReDiverse-TF (https://huggingface.co/papers?q=ReDiverse-TF) 引入一种无训练机制 (https://huggingface.co/papers?q=training-free%20mechanism),沿预先计算出的教师主方向 (https://huggingface.co/papers?q=teacher%20principal%20directions) 引导激活。在图像和视频蒸馏基准 (https://huggingface.co/papers?q=image%20and%20video%20distillation%20benchmarks) 上,ReDiverse (https://huggingface.co/papers?q=ReDiverse) 始终能够恢复样本多样性 (https://huggingface.co/papers?q=sample%20diversity) 并保持生成质量 (https://huggingface.co/papers?q=generation%20quality),用户研究也进一步支持了这一结论。
查看 arXiv 页面 (https://arxiv.org/abs/2611.18550) 查看 PDF (https://arxiv.org/pdf/2611.18550) 项目主页 (https://rediverse-distillation.github.io/rediverse-distillation/) GitHub2 (https://github.com/H-furkan/rediverse) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2611.18550)
在你的 agent 中获取这篇论文:
hf papers read 2611.18550
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 6
ReDiverse/ReDiverse-MiniMax-H3 文生视频 • 更新于约 5 小时前 • 1 (https://huggingface.co/ReDiverse/ReDiverse-MiniMax-H3)
ReDiverse/ReDiverse-Pika-H3-Flex 文生视频 • 更新于 38 分钟前 • 1 (https://huggingface.co/ReDiverse/ReDiverse-Pika-H3-Flex)
ReDiverse/ReDiverse 文生图像 • 更新于 37 分钟前 (https://huggingface.co/ReDiverse/ReDiverse)
ReDiverse/ReDiverse-SDXL 文生图像 • 更新于约 5 小时前 (https://huggingface.co/ReDiverse/ReDiverse-SDXL)
浏览 6 个引用本文的模型 (https://huggingface.co/models?other=arxiv:2611.18550)## 引用本文的数据集 0
暂无关联本文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2611.18550 即可从此页面关联。
引用本文的 Spaces 0
暂无关联本文的 Space
在 Space README.md 中引用 arxiv.org/abs/2611.18550 即可从此页面关联。
包含本文的收藏 1
相似文章
Dynamic-in-Few-Step: 统一动态计算与少步蒸馏的高效视频生成
本文提出了一种针对视频扩散模型的后训练加速框架,将动态结构稀疏化与少步蒸馏相结合,在保持生成质量的同时实现了显著加速。
# 遍历文本到图像扩散模型的满意度—多样性前沿
Amazon 与 UCF 的研究人员提出了 SatisDive,这是一种无需训练的推理时方法。该方法将文本到图像的生成建模为“满意化”(satisficing)问题——要求每个候选样本都达到一个奖励下限,同时整个批次还需满足一个多样性阈值。研究表明,通过调节奖励下限,可以描绘出最差候选样本奖励与批次多样性之间的 Pareto 前沿;并且在使用 FLUX.1-dev 和 SANA-1.6B 的 Pick-a-Pic 数据集上,SatisDive 在 Pareto 意义上优于 FK steering。
并行解码蒸馏加速图像与视频生成
并行解码蒸馏(PDD)是一种基于轨迹的蒸馏方法,通过每次网络评估预测多个去噪步骤来加速图像与视频生成,在 LTX-2.3、Wan14B 和 Qwen-Image 等模型上仅需 4-8 次函数评估即可达到最优性能。
PixRestore:通过像素扩散变换器实现统一图像恢复
PixRestore是一种无VAE的像素空间扩散变换器,用于统一图像恢复,通过流匹配和对抗性微调至单步生成器,实现高保真度和效率。
通过分布级奖励优化视觉生成模型
本文提出一种用于视觉生成模型的强化学习框架,该框架使用分布级奖励,并采用子集替换策略以提高效率,在改善图像多样性和质量的同时,解决模式崩溃和奖励破解问题。