Persistence Forcing:利用像素空间扩散中的特征特化

Hugging Face Daily Papers 论文

摘要

本文提出了 Persistence Forcing(PerF),该方法为像素空间 Diffusion Transformer 中的特征组分配异构的细化预算,从而产生持久的全局结构特征,用以引导活跃的细节特征。PerF-H 在 ImageNet 256x256 数据集上达到了 FID 1.63,在具备竞争力的效率下超越了 JiT-H。

像素空间扩散 Transformer(DiT)直接作用于高维视觉数据,然而其隐藏表征通常在深度维度上经历均匀的精细化处理。但自然图像本身具有不同粒度层次的组织结构:全局结构往往可以被紧凑地表示,而局部纹理和细节则需要更丰富的表征。受此启发,我们在像素空间 DiT 中引入异构精细化(heterogeneous refinement),为不同的特征组在深度维度上分配各不相同的精细化预算。由此,一种有序的特征特化随之涌现:仅经过稀疏精细化的特征主要编码全局视觉结构,而被更频繁精细化的特征则日益向局部、高频的细节特化。我们将这两组特征分别称为持续特征(persistent features)与活跃特征(active features)。在这一自发形成的特化结构基础上,我们提出了 Persistence Forcing(PerF),显式地利用持续—活跃这一特征组织方式来实现像素空间的图像生成。这使得持续特征能够持续地为活跃精细化的特征提供条件,让稳定的全局信息引导对更精细视觉细节的持续细化。在生成采样过程中,这种交互进一步催生出一种有意义的引导方向,从而促进连贯的全局结构,并天然地与无分类器引导(classifier-free guidance)形成互补。在 ImageNet 256×256 上,PerF-L 的 FID 达到 1.91,仅用一半的参数量便接近 JiT-H 的 1.86;而 PerF-H 则进一步在 ImageNet 256×256 和 512×512 上分别取得 FID 1.63 与 1.76。
查看原文
查看缓存全文

缓存时间: 2026/09/30 12:16

论文页面 - Persistence Forcing:挖掘像素空间扩散模型中的特征特化

来源:https://huggingface.co/papers/2609.36014

摘要

像素空间 DiT(Pixel-space Diffusion Transformers,DiTs)直接在高维视觉数据上操作,但其隐藏表征在不同深度上通常经历均匀的细化。然而,天然图像本身具有不同粒度层次的组织方式。全局结构往往可以被紧凑地表示,而局部纹理和细节则需要更丰富的表征。受此启发,我们在像素空间 DiT 中引入了异构细化(heterogeneous refinement),为不同的特征组在深度方向上分配不同的细化预算。由此产生了一种有序的特征特化:被稀疏细化的特征主要编码全局视觉结构,而被更频繁细化的特征则越来越专注于局部的高频细节。我们将这两组特征分别称为持久特征(persistent features)和活跃特征(active features)。基于这种自发形成的特化现象,我们提出了 Persistence Forcing(PerF),它显式地利用这种“持久—活跃“的特征组织方式进行像素空间图像生成。这使得持久特征能够持续地为活跃细化的特征提供条件,让稳定的全局信息引导对更精细视觉细节的持续细化。在生成采样过程中,这种交互还会产生一个有意义的引导方向,促进连贯的全局结构,并与无分类器引导(classifier-free guidance)自然互补。在 ImageNet 256×256 上,PerF-L 取得 FID 1.91,以仅一半的参数量接近 JiT-H 的 1.86;而 PerF-H 则进一步在 ImageNet 256×256 和 512×512 上分别取得 FID 1.63 和 1.76。

查看 arXiv 页面 (https://arxiv.org/abs/2609.36014) 查看 PDF (https://arxiv.org/pdf/2609.36014) 项目页面 (https://chongwang1024.github.io/PerF/) GitHub10 (https://github.com/ChongWang1024/PerF) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36014)

在你的 agent 中获取这篇论文:

hf papers read 2609.36014

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型1

ChongWang1024/PerF  约 10 小时前更新 • 2 (https://huggingface.co/ChongWang1024/PerF)

引用本文的数据集0

没有关联该论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2609.36014 即可从本页面链接它。

引用本文的 Spaces0

没有关联该论文的 Space

在 Space README.md 中引用 arxiv.org/abs/2609.36014 即可从本页面链接它。

包含该论文的合集0

没有包含该论文的合集

将该论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接它。

相似文章

显露信号,隐藏噪声:像素空间扩散的频谱强制

Hugging Face Daily Papers

一种名为频谱强制(Spectral Forcing)的新技术,将时间条件化的二维离散余弦变换(2D-DCT)低通算子应用于像素空间扩散模型,通过显式分离信号与噪声提升效率,在ImageNet及文生图任务上超越基线方法。

PixelDense:将密集预测视为像素扩散的表征对齐

Hugging Face Daily Papers

PixelDense 将密集预测任务重构为像素空间扩散的表征对齐目标,通过独立的投影流分别路由语义教师(DINOv2、SAM2)和几何教师(Depth Anything v2、Metric3D v2),并加入正交性惩罚。该方法提升了 PixelGen 和 DeCo 上的 GenEval、DPG-Bench 与 HPSv2.1 得分,在部分噪声重建中 PQ 提升最高达 53.1%,且训练速度比基线快 1.23 倍。

寄存器对像素空间扩散变换器的重要性

Hugging Face Daily Papers

本文探讨了在像素空间扩散变换器(DiTs)中使用寄存器令牌的情况,发现尽管DiTs没有补丁令牌异常值,但寄存器令牌仍能提高特征图质量。作者提出了寄存器引导(Register Guidance)技术,用于放大寄存器贡献,以改善视觉结构。

像素扩散的对抗训练

Hugging Face Daily Papers

本文首次系统研究了像素扩散模型的对抗后训练,表明它能有效纠正高频内容缺陷,从而提高分布保真度、覆盖范围和感知质量,且不改变模型架构。