用于减少扩散模型曝光偏差的频谱先验

Hugging Face Daily Papers 论文

摘要

本文提出频谱对齐(SPA),一种轻量级的引导方法,通过校准中间预测的功率谱来减少扩散模型中的曝光偏差,在像素空间、潜在空间和流匹配模型上均展现出持续改进,且计算开销极小。

扩散模型在迭代采样过程中通常会出现误差累积,这通常被称为曝光偏差。我们揭示了训练和推理之间系统性的频率相关差异,可理解为频率相关的信噪比误差。关键在于,这种失配的方向因模型和时间步而异,表明固定的修正规则无法泛化。我们提出频谱对齐(SPA),一种轻量级的引导方法,将中间预测的功率谱校准到预先计算的先验上。我们的方法包括两个阶段:(1)从训练数据离线拟合参数化频谱模型;(2)通过高效的FFT梯度计算在推理时进行引导。SPA引入的计算开销极小(3-4%),并且与无分类器引导(CFG)互补。我们在多种架构上展示了持续改进,从像素空间模型(DDPM、ADM)到潜在扩散模型(SD2.0、SDXL)以及流匹配模型(SD3.5、FLUX)。我们的实现可在 https://github.com/SonyResearch/SPA 获取。
查看原文
查看缓存全文

缓存时间: 2026/07/27 09:43

论文页面 - Spectral Prior for Reducing Exposure Bias in Diffusion Models

来源:https://huggingface.co/papers/2607.22091

摘要

扩散模型在迭代采样过程中通常会遭受误差累积,这通常被称为曝光偏差。我们揭示了训练与推理之间存在系统性的频率依赖差异,可将其解释为频率依赖的信噪比误差。关键在于,这种不匹配的方向随模型和时间步长而变化,表明固定的修正规则无法泛化。我们提出Spectral Alignment (SPA),一种轻量级的、基于引导的方法,它将中间预测结果的功率谱校准到预先计算的先验上。我们的方法包含两个阶段:(1) 从训练数据中离线拟合一个参数化频谱模型,以及(2) 通过高效的FFT梯度计算进行推理时引导。SPA引入的计算开销极小(3-4%),并且与无分类器引导 (CFG) 互补。我们在多种架构上展示了持续的性能提升,从像素空间模型 (DDPM, ADM) 到潜在扩散模型 (SD2.0, SDXL) 以及流匹配模型 (SD3.5, FLUX)。我们的实现可在 https://github.com/SonyResearch/SPA 获取。

查看arXiv页面 (https://arxiv.org/abs/2607.22091) 查看PDF (https://arxiv.org/pdf/2607.22091) GitHub0 (https://github.com/SonyResearch/SPA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.22091)

在你的agent中获取此论文:

hf papers read 2607.22091

没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.22091 以从该页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.22091 以从该页面链接。

引用此论文的Space0

没有Space链接此论文

请在Space README.md中引用 arxiv.org/abs/2607.22091 以从该页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从该页面链接。

相似文章

阐明扩散概率模型的SNR-t偏差

Hugging Face Daily Papers

# 论文页面 - 阐明扩散概率模型的SNR-t偏差 来源:[https://huggingface.co/papers/2604.16044](https://huggingface.co/papers/2604.16044) ## 摘要 扩散概率模型在推理阶段存在SNR-timestep偏差,本文提出一种微分校正方法,对频率分量分别处理,以极低计算代价提升多种模型的生成质量。 [扩散概率模型](https://hugg

学习离散化:基于扩散的自适应网格与谱引导

arXiv cs.LG

本文提出了一种基于扩散的框架,用于学习条件于观测到的偏微分方程动力学的自适应网格离散化,利用谱引导和物理约束在需要的地方分配分辨率。该方法在五种偏微分方程场景中取得了具有竞争力或更优的性能。

显露信号,隐藏噪声:像素空间扩散的频谱强制

Hugging Face Daily Papers

一种名为频谱强制(Spectral Forcing)的新技术,将时间条件化的二维离散余弦变换(2D-DCT)低通算子应用于像素空间扩散模型,通过显式分离信号与噪声提升效率,在ImageNet及文生图任务上超越基线方法。