论文页面 - PixelDense：将密集预测作为像素扩散的表征对齐

来源：https://huggingface.co/papers/2610.00483 作者：

摘要

表征对齐（Representation Alignment, REPA）能够加速扩散 Transformer 的训练，但其对齐目标几乎完全局限于 DINOv2 和 CLIP 这类语义编码器。近期的分析表明，承载对齐效果的是空间结构而非全局语义；然而，那些被训练来预测这一结构的密集预测基础模型，作为 REPA 的目标却一直被忽视。在像素空间扩散中，SAM2、DepthAnythingv2 和 Metric3Dv2 均优于仅使用 DINOv2 的 GenEval 基线，其中两个几何教师的性能领先于分割教师。然而，将四个教师的输出简单相加后，效果反而低于表现最好的单一几何教师，原因在于语义梯度与几何梯度会竞争同一个去噪器投影空间。我们提出 PixelDense：将 DINOv2 和 SAM2 路由到一个语义投影流，将 DepthAnythingv2 和 Metric3Dv2 路由到一个几何投影流，并引入权重空间的正交性惩罚，使两个流保持在互不相交的子空间中。四个教师在训练期间全部冻结，并在推理阶段被丢弃。在 PixelGen 和 DeCo 上使用同一套配方，PixelDense 在 GenEval、DPG-Bench 和 HPSv2.1 上均取得提升，将 PixelGen-XXL 的 GenEval Overall 从 0.7927 提高到 0.8093，并超越了所有单一教师以及未分解的多教师变体。在部分噪声重建中，使用独立的全景、深度和表面法线探针评估，在 COCO 和 Flickr30K 上、τ=0.5 时，PQ 提升最高达 53.1%，深度 AbsRel 最多降低 36.0%。从随机初始化出发，PixelDense 达到基线峰值 GenEval 的速度快 1.23 倍。在 PIE-Bench 上进行 SDEdit 编辑时，PixelDense 在每种编辑强度下都能保留更多的源图背景与布局，背景 PSNR 最高提升 2.2 dB。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00483) 查看 PDF (https://arxiv.org/pdf/2610.00483) 项目页面 (https://bio.lehanyang.info/PixelDense/) GitHub3 (https://github.com/Hansxsourse/PixelDense) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00483)

引用本文的模型 0

没有模型链接到本文

在模型的 README.md 中引用 arxiv.org/abs/2610.00483，即可从本页面链接到它。

引用本文的数据集 0

没有数据集链接到本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.00483，即可从本页面链接到它。

引用本文的 Spaces 0

没有 Space 链接到本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.00483，即可从本页面链接到它。

包含本文的合集 0

没有合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到它。