用于减少扩散模型曝光偏差的频谱先验
摘要
本文提出频谱对齐(SPA),一种轻量级的引导方法,通过校准中间预测的功率谱来减少扩散模型中的曝光偏差,在像素空间、潜在空间和流匹配模型上均展现出持续改进,且计算开销极小。
查看缓存全文
缓存时间: 2026/07/27 09:43
论文页面 - Spectral Prior for Reducing Exposure Bias in Diffusion Models
来源:https://huggingface.co/papers/2607.22091
摘要
扩散模型在迭代采样过程中通常会遭受误差累积,这通常被称为曝光偏差。我们揭示了训练与推理之间存在系统性的频率依赖差异,可将其解释为频率依赖的信噪比误差。关键在于,这种不匹配的方向随模型和时间步长而变化,表明固定的修正规则无法泛化。我们提出Spectral Alignment (SPA),一种轻量级的、基于引导的方法,它将中间预测结果的功率谱校准到预先计算的先验上。我们的方法包含两个阶段:(1) 从训练数据中离线拟合一个参数化频谱模型,以及(2) 通过高效的FFT梯度计算进行推理时引导。SPA引入的计算开销极小(3-4%),并且与无分类器引导 (CFG) 互补。我们在多种架构上展示了持续的性能提升,从像素空间模型 (DDPM, ADM) 到潜在扩散模型 (SD2.0, SDXL) 以及流匹配模型 (SD3.5, FLUX)。我们的实现可在 https://github.com/SonyResearch/SPA 获取。
查看arXiv页面 (https://arxiv.org/abs/2607.22091) 查看PDF (https://arxiv.org/pdf/2607.22091) GitHub0 (https://github.com/SonyResearch/SPA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.22091)
在你的agent中获取此论文:
hf papers read 2607.22091
没有最新的CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2607.22091 以从该页面链接。
引用此论文的数据集0
没有数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2607.22091 以从该页面链接。
引用此论文的Space0
没有Space链接此论文
请在Space README.md中引用 arxiv.org/abs/2607.22091 以从该页面链接。
包含此论文的收藏集0
没有收藏集包含此论文
请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从该页面链接。
相似文章
Spectral Guidance:灵活高效的扩散模型控制方法
介绍了Spectral Guidance,一种通过利用扩散过程的低维表示来控制扩散模型的框架,无需任务特定的重新训练或通过去噪器的反向传播即可实现灵活稳定的控制。
阐明扩散概率模型的SNR-t偏差
# 论文页面 - 阐明扩散概率模型的SNR-t偏差 来源:[https://huggingface.co/papers/2604.16044](https://huggingface.co/papers/2604.16044) ## 摘要 扩散概率模型在推理阶段存在SNR-timestep偏差,本文提出一种微分校正方法,对频率分量分别处理,以极低计算代价提升多种模型的生成质量。 [扩散概率模型](https://hugg
学习离散化:基于扩散的自适应网格与谱引导
本文提出了一种基于扩散的框架,用于学习条件于观测到的偏微分方程动力学的自适应网格离散化,利用谱引导和物理约束在需要的地方分配分辨率。该方法在五种偏微分方程场景中取得了具有竞争力或更优的性能。
显露信号,隐藏噪声:像素空间扩散的频谱强制
一种名为频谱强制(Spectral Forcing)的新技术,将时间条件化的二维离散余弦变换(2D-DCT)低通算子应用于像素空间扩散模型,通过显式分离信号与噪声提升效率,在ImageNet及文生图任务上超越基线方法。
SEGA: 扩散变换器中基于光谱能量引导的注意力机制实现分辨率外推
SEGA是一种无需训练的方法,通过在去噪步骤中根据空间频率结构自适应地缩放RoPE组件的注意力,改善高分辨率文本到图像生成。