Persistence Forcing:利用像素空间扩散中的特征特化
摘要
本文提出了 Persistence Forcing(PerF),该方法为像素空间 Diffusion Transformer 中的特征组分配异构的细化预算,从而产生持久的全局结构特征,用以引导活跃的细节特征。PerF-H 在 ImageNet 256x256 数据集上达到了 FID 1.63,在具备竞争力的效率下超越了 JiT-H。
查看缓存全文
缓存时间: 2026/09/30 12:16
论文页面 - Persistence Forcing:挖掘像素空间扩散模型中的特征特化
来源:https://huggingface.co/papers/2609.36014
摘要
像素空间 DiT(Pixel-space Diffusion Transformers,DiTs)直接在高维视觉数据上操作,但其隐藏表征在不同深度上通常经历均匀的细化。然而,天然图像本身具有不同粒度层次的组织方式。全局结构往往可以被紧凑地表示,而局部纹理和细节则需要更丰富的表征。受此启发,我们在像素空间 DiT 中引入了异构细化(heterogeneous refinement),为不同的特征组在深度方向上分配不同的细化预算。由此产生了一种有序的特征特化:被稀疏细化的特征主要编码全局视觉结构,而被更频繁细化的特征则越来越专注于局部的高频细节。我们将这两组特征分别称为持久特征(persistent features)和活跃特征(active features)。基于这种自发形成的特化现象,我们提出了 Persistence Forcing(PerF),它显式地利用这种“持久—活跃“的特征组织方式进行像素空间图像生成。这使得持久特征能够持续地为活跃细化的特征提供条件,让稳定的全局信息引导对更精细视觉细节的持续细化。在生成采样过程中,这种交互还会产生一个有意义的引导方向,促进连贯的全局结构,并与无分类器引导(classifier-free guidance)自然互补。在 ImageNet 256×256 上,PerF-L 取得 FID 1.91,以仅一半的参数量接近 JiT-H 的 1.86;而 PerF-H 则进一步在 ImageNet 256×256 和 512×512 上分别取得 FID 1.63 和 1.76。
查看 arXiv 页面 (https://arxiv.org/abs/2609.36014) 查看 PDF (https://arxiv.org/pdf/2609.36014) 项目页面 (https://chongwang1024.github.io/PerF/) GitHub10 (https://github.com/ChongWang1024/PerF) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36014)
在你的 agent 中获取这篇论文:
hf papers read 2609.36014
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型1
ChongWang1024/PerF 约 10 小时前更新 • 2 (https://huggingface.co/ChongWang1024/PerF)
引用本文的数据集0
没有关联该论文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2609.36014 即可从本页面链接它。
引用本文的 Spaces0
没有关联该论文的 Space
在 Space README.md 中引用 arxiv.org/abs/2609.36014 即可从本页面链接它。
包含该论文的合集0
没有包含该论文的合集
将该论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接它。
相似文章
显露信号,隐藏噪声:像素空间扩散的频谱强制
一种名为频谱强制(Spectral Forcing)的新技术,将时间条件化的二维离散余弦变换(2D-DCT)低通算子应用于像素空间扩散模型,通过显式分离信号与噪声提升效率,在ImageNet及文生图任务上超越基线方法。
PixelDense:将密集预测视为像素扩散的表征对齐
PixelDense 将密集预测任务重构为像素空间扩散的表征对齐目标,通过独立的投影流分别路由语义教师(DINOv2、SAM2)和几何教师(Depth Anything v2、Metric3D v2),并加入正交性惩罚。该方法提升了 PixelGen 和 DeCo 上的 GenEval、DPG-Bench 与 HPSv2.1 得分,在部分噪声重建中 PQ 提升最高达 53.1%,且训练速度比基线快 1.23 倍。
寄存器对像素空间扩散变换器的重要性
本文探讨了在像素空间扩散变换器(DiTs)中使用寄存器令牌的情况,发现尽管DiTs没有补丁令牌异常值,但寄存器令牌仍能提高特征图质量。作者提出了寄存器引导(Register Guidance)技术,用于放大寄存器贡献,以改善视觉结构。
Steady-Forcing: 在长时域自然视频扩散中平衡空间持久性与运动连续性
Steady-Forcing 提出了一种记忆与训练框架,旨在长时域自然视频生成中平衡空间稳定性与运动连续性,在保持流体动态持续多分钟滚动生成的同时,提升背景一致性。
像素扩散的对抗训练
本文首次系统研究了像素扩散模型的对抗后训练,表明它能有效纠正高频内容缺陷,从而提高分布保真度、覆盖范围和感知质量,且不改变模型架构。