论文页面 - Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning

来源：https://huggingface.co/papers/2610.09450

摘要

像素空间扩散模型避免了潜在空间模型中有损的 VAE，这暗示其在细粒度细节至关重要的下游任务上可能具有优势。我们沿着通往像素空间主干的两条路线对这一论断进行了检验。我们首先在 256² 分辨率下对预测目标和表征对齐进行消融实验，以决定扩展方向，然后通过 256 → 512 → 1024 的课程学习从零开始预训练 Iris-3B——一个 30 亿参数的像素空间文本到图像 Transformer。我们还将一个预训练的潜在空间模型 FLUX.2 Klein base 4B 转换到像素空间。我们对这两个系列的模型分别进行了单目深度估计和图像修复/超分辨率的微调。我们发现使用像素空间生成式先验并未带来显著的改进。在使用同一种直接回归配方进行深度微调后，Iris-3B 与潜在空间的 FLUX.2 Klein 持平，而转换后的像素空间 FLUX.2 Klein 落后于它；在 4 倍 DIV2K 修复任务上，两个像素空间模型都未能胜过潜在空间 FLUX.2 Klein 的微调版本，转换版本略微落后。我们记录了这些配方、失败模式以及这一负结果背后遗留的干扰因素。尽管如此，Iris-3B 表明：使用 PixelDiT 的像素 Transformer（PiT）头进行像素空间预训练可以扩展到 30 亿参数，其文本到图像质量足以与潜在空间模型竞争——在 OneIG 上使用官方评估器于 1024² 分辨率下与 Qwen-Image 持平。我们发布了其权重和训练代码，希望它们能为像素空间生成的进一步研究铺平道路。

查看 arXiv 页面 (https://arxiv.org/abs/2610.09450)　查看 PDF (https://arxiv.org/pdf/2610.09450)　项目页面 (https://github.com/speridlabs/iris-3b)　GitHub3 (https://github.com/speridlabs/iris-3b)　添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.09450)

在你的 agent 中获取该论文：

hf papers read 2610.09450

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

speridlabs/iris-3b 文本到图像 • 3B • 约 3 小时前更新 • 18 • 3 (https://huggingface.co/speridlabs/iris-3b)

引用本文的数据集 0

无关联数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.09450，即可从此页面链接该数据集。

引用本文的 Spaces 1

包含本文的合集 0

无合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection) 即可从此页面链接该论文。