像素扩散的对抗训练

Hugging Face Daily Papers 论文

摘要

本文首次系统研究了像素扩散模型的对抗后训练,表明它能有效纠正高频内容缺陷,从而提高分布保真度、覆盖范围和感知质量,且不改变模型架构。

像素扩散模型直接生成RGB图像,避免了自编码器的瓶颈,但其输出仍然系统性地低估了自然图像的细粒度统计特性。我们证明了对抗学习为这种缺陷提供了有效的后训练校正。从预训练模型出发,我们保留其原始的扩散或流匹配目标,并在非高噪声时间步的预测输出中添加对抗损失,模型架构和采样过程保持不变。据我们所知,这是首次对抗后训练的像素扩散系统研究。在两种像素骨干网络上,该方法同时提高了分布保真度、覆盖范围、提示对齐和感知质量。我们进一步探究了其工作原理。频段和幂律分析表明,原始模型系统性地产生了较少的自然图像高频内容,而对抗后训练恢复了缺失的频谱功率。相比之下,感知损失虽然也增加了高频内容,但牺牲了分布保真度和提示对齐。最近邻、召回率和匹配的无GAN SFT控制进一步排除了记忆、模式丢弃和额外优化作为简单解释。最后,我们探讨了这种效应的边界。在测试的潜扩散配置下,相同的程序未产生可比的联合增益,且几乎未增加解码后的高频功率。这些结果表明,对图像统计特性的直接输出访问是决定对抗后训练何时成功的关键因素。
查看原文
查看缓存全文

缓存时间: 2026/09/30 04:17

论文页面 - 像素扩散模型的对抗训练

来源:https://huggingface.co/papers/2609.38170

摘要

像素扩散模型直接生成RGB图像,避免了自动编码器的瓶颈,但其输出在系统性地再现自然图像的细粒度统计特性方面仍然存在不足。我们表明,对抗学习为这一缺陷提供了有效的训练后修正。从预训练模型出发,我们保留其原有的扩散或流匹配目标,并在非高噪声时间步为预测输出添加对抗性损失,同时保持模型架构和采样过程不变。据我们所知,这是首个关于像素扩散模型对抗训练后研究的系统性研究。在两种像素骨干网络上,该方法共同提升了分布保真度、覆盖范围、提示对齐度和感知质量。我们进一步探究了其有效的原因。频带和幂律分析表明,原始模型系统性地低产出自然图像的高频内容,而对抗训练后处理恢复了缺失的频谱功率。相比之下,感知损失虽然也增加了高频内容,但牺牲了分布保真度和提示对齐度。最近邻、召回率和匹配的无GAN微调控制进一步排除了记忆化、模式丢失和额外优化作为简单解释的可能性。最后,我们检验了这一效果的边界。在测试的潜扩散配置下,相同的方法未能产生可比的综合增益,且几乎没有增加解码后的高频功率。这些结果表明,直接访问图像统计特性以进行修正,是决定对抗训练后处理何时成功的关键因素。

查看arXiv页面 (https://arxiv.org/abs/2609.38170) 查看PDF (https://arxiv.org/pdf/2609.38170) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.38170)

通过您的代理获取此论文:

hf papers read 2609\.38170

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2609.38170,可将此论文链接至该页面。

引用此论文的数据集 0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2609.38170,可将此论文链接至该页面。

引用此论文的Space 0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2609.38170,可将此论文链接至该页面。

包含此论文的收藏 0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以将其链接到此页面。

相似文章

PixelDense:将密集预测视为像素扩散的表征对齐

Hugging Face Daily Papers

PixelDense 将密集预测任务重构为像素空间扩散的表征对齐目标,通过独立的投影流分别路由语义教师(DINOv2、SAM2)和几何教师(Depth Anything v2、Metric3D v2),并加入正交性惩罚。该方法提升了 PixelGen 和 DeCo 上的 GenEval、DPG-Bench 与 HPSv2.1 得分,在部分噪声重建中 PQ 提升最高达 53.1%,且训练速度比基线快 1.23 倍。

扩散模型的纠正训练

arXiv cs.AI

论文提出一种针对扩散模型的“修正训练”框架,通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距,显著提升无引导/无条件生成的样本质量,并可通过蒸馏将收益无损保留到基模型中。

Abra:扩散图像训练的缩放研究

Hugging Face Daily Papers

本文介绍了针对文本到图像扩散模型的系统性缩放律研究,表明它们可以可预测地缩放,但为了达到最佳训练,每个参数所需的数据远多于语言模型。

扩散模型的校正训练

Hugging Face Daily Papers

本文提出了一种用于扩散模型的校正训练方法,通过训练校正模块来细化去噪预测、缩小训练与推理之间的差距,从而在无引导条件下显著提升样本质量,并可通过蒸馏将改进效果整合回基础模型,避免额外的推理开销。