论文页面 - 冻结像素空间扩散模型可利用自身样本自我引导

来源：https://huggingface.co/papers/2607.29122

摘要

像素空间扩散模型旨在直接学习从原始像素到输出的端到端生成器。这颇具挑战性，因为单个模型必须同时捕获同一高维空间中的全局结构和局部纹理。尽管近期工作通过替代预测目标、训练目标和架构改进了像素扩散，但这些进展通常需要从头训练新模型。我们证明了存在一种成本更低的互补策略：冻结的预训练像素扩散模型可以进行自我引导。我们的关键观察是，预训练像素扩散 Transformer 的中间层可以被解码为粗略预测，从而捕获主要的低频结构，而最终层则逐步细化局部高频细节。因此，我们将一个轻量级预测头附加到中间层，保持主干网络冻结，并在采样过程中利用中间层预测与最终预测之间的差异作为自我引导方向。进一步地，我们发现训练该预测头并不需要真实图像；相反，模型生成的样本就足够了，甚至在增强像素扩散往往拟合不足的高频成分方面优于真实图像。在 ImageNet 上的多个像素扩散模型中，我们的合成自我引导（SSG）持续改进了生成质量，而适配器训练所需的计算量不到完整模型训练的 1%：在没有无分类器引导（CFG）的情况下，它将所评估的 JiT 变体的 FID 降低了 50% 以上，并进一步改进了使用 CFG 的强基线，例如，JiT-H/16 从 1.86 降至 1.67，PixelREPA-H/16 从 1.81 降至 1.59。我们的代码可在 https://github.com/zfu006/SSG 获取。

查看 arXiv 页面 查看 PDF GitHub2 添加到收藏

在您的 agent 中获取此论文：

hf papers read 2607\.29122

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.29122，即可从本页面链接到该模型。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.29122，即可从本页面链接到该数据集。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.29122，即可从本页面链接到该 Space。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)，即可从本页面链接到该收藏集。