像素扩散的对抗训练
摘要
本文首次系统研究了像素扩散模型的对抗后训练,表明它能有效纠正高频内容缺陷,从而提高分布保真度、覆盖范围和感知质量,且不改变模型架构。
查看缓存全文
缓存时间: 2026/09/30 04:17
论文页面 - 像素扩散模型的对抗训练
来源:https://huggingface.co/papers/2609.38170
摘要
像素扩散模型直接生成RGB图像,避免了自动编码器的瓶颈,但其输出在系统性地再现自然图像的细粒度统计特性方面仍然存在不足。我们表明,对抗学习为这一缺陷提供了有效的训练后修正。从预训练模型出发,我们保留其原有的扩散或流匹配目标,并在非高噪声时间步为预测输出添加对抗性损失,同时保持模型架构和采样过程不变。据我们所知,这是首个关于像素扩散模型对抗训练后研究的系统性研究。在两种像素骨干网络上,该方法共同提升了分布保真度、覆盖范围、提示对齐度和感知质量。我们进一步探究了其有效的原因。频带和幂律分析表明,原始模型系统性地低产出自然图像的高频内容,而对抗训练后处理恢复了缺失的频谱功率。相比之下,感知损失虽然也增加了高频内容,但牺牲了分布保真度和提示对齐度。最近邻、召回率和匹配的无GAN微调控制进一步排除了记忆化、模式丢失和额外优化作为简单解释的可能性。最后,我们检验了这一效果的边界。在测试的潜扩散配置下,相同的方法未能产生可比的综合增益,且几乎没有增加解码后的高频功率。这些结果表明,直接访问图像统计特性以进行修正,是决定对抗训练后处理何时成功的关键因素。
查看arXiv页面 (https://arxiv.org/abs/2609.38170) 查看PDF (https://arxiv.org/pdf/2609.38170) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.38170)
通过您的代理获取此论文:
hf papers read 2609\.38170
没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型 0
没有模型链接此论文
在模型README.md中引用arxiv.org/abs/2609.38170,可将此论文链接至该页面。
引用此论文的数据集 0
没有数据集链接此论文
在数据集README.md中引用arxiv.org/abs/2609.38170,可将此论文链接至该页面。
引用此论文的Space 0
没有Space链接此论文
在Space README.md中引用arxiv.org/abs/2609.38170,可将此论文链接至该页面。
包含此论文的收藏 0
没有包含此论文的收藏
将此论文添加到收藏 (https://huggingface.co/new-collection) 以将其链接到此页面。
相似文章
像素空间文本到图像扩散模型的训练实证研究
本文针对像素空间文本到图像扩散模型提出了一种从潜在空间到像素空间的训练策略,加速了收敛并提高了推理速度,同时性能与潜在空间模型相当或更优。
PixelDense:将密集预测视为像素扩散的表征对齐
PixelDense 将密集预测任务重构为像素空间扩散的表征对齐目标,通过独立的投影流分别路由语义教师(DINOv2、SAM2)和几何教师(Depth Anything v2、Metric3D v2),并加入正交性惩罚。该方法提升了 PixelGen 和 DeCo 上的 GenEval、DPG-Bench 与 HPSv2.1 得分,在部分噪声重建中 PQ 提升最高达 53.1%,且训练速度比基线快 1.23 倍。
扩散模型的纠正训练
论文提出一种针对扩散模型的“修正训练”框架,通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距,显著提升无引导/无条件生成的样本质量,并可通过蒸馏将收益无损保留到基模型中。
Abra:扩散图像训练的缩放研究
本文介绍了针对文本到图像扩散模型的系统性缩放律研究,表明它们可以可预测地缩放,但为了达到最佳训练,每个参数所需的数据远多于语言模型。
扩散模型的校正训练
本文提出了一种用于扩散模型的校正训练方法,通过训练校正模块来细化去噪预测、缩小训练与推理之间的差距,从而在无引导条件下显著提升样本质量,并可通过蒸馏将改进效果整合回基础模型,避免额外的推理开销。