论文页面 - PixRestore：基于像素扩散Transformer的统一图像修复

来源：https://huggingface.co/papers/2608.16793

摘要

PixRestore是一款紧凑型、无需VAE的像素空间扩散Transformer，完全从头训练，用于统一图像修复。该模型采用基于分块像素的流匹配、基于DINO的可靠性引导特征融合，并通过对抗性微调实现单步生成器，从而实现高效的高保真推理。

统一图像修复（https://huggingface.co/papers?q=Unified%20image%20restoration）旨在使用单一模型从具有不同退化的低质量图像中恢复高质量内容。大多数近期方法采用大型预训练文本到图像潜在扩散模型，因其强大的能力和生成先验。然而，潜在T2I模型中的变分自编码器可能会丢弃修复敏感细节，而开放式合成先验可能引入内容不一致的伪影。我们提出PixRestore，一种无需VAE的像素空间扩散Transformer，用于统一图像修复。其扩散主干网络完全从头训练，不依赖T2I预训练。PixRestore直接在分块像素上执行流匹配，在保持标记序列易于处理的同时保留细粒度细节。为适应不同退化类型，PixRestore学习通过LHQ-DINO特征相似性来预测层特征的可靠性。更可靠层的特征作为密集条件融合，而较不可靠层则接收更强的高质量特征监督以促进退化去除。我们在大规模多样场景和退化语料库上训练PixRestore，并进一步将其微调为单步生成器，使用基于DINO的对抗目标以实现高效推理。在公开基准测试和真实世界测试集上的实验表明，仅约5000万参数和单步推理，PixRestore在所有竞争的统一图像修复模型中实现了最佳的整体保真度、感知质量和对退化的鲁棒性，同时效率显著更高。更大的PixRestore变体可进一步提升性能，证明了我们像素空间设计的可扩展性。代码和精选基准可在https://github.com/csslc/PixRestore找到。

查看arXiv页面 (https://arxiv.org/abs/2608.16793)查看PDF (https://arxiv.org/pdf/2608.16793)GitHub26 (https://github.com/csslc/PixRestore)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.16793)

在您的智能助手中获取此论文：

hf papers read 2608\.16793

没有最新版CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

无模型链接此论文

在模型README.md中引用arxiv.org/abs/2608.16793以从此页面链接它。

引用本文的数据集0

无数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2608.16793以从此页面链接它。

引用本文的Space0

无Space链接此论文

在Space README.md中引用arxiv.org/abs/2608.16793以从此页面链接它。

包含本文的收藏夹0

无收藏夹包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从此页面链接它。