论文页面 - Realiz3D：通过域感知学习实现逼真的3D生成

来源：https://huggingface.co/papers/2605.13852

摘要

Realiz3D通过残差适配器和层特定去噪策略，将视觉域与控制信号解耦，从而解决了合成渲染与真实图像在3D一致图像生成中的域差距问题。

我们通常希望生成既逼真又3D一致的图像，并遵循精确的几何、材质和视角控制。通常，这是通过使用合成3D资产的渲染图对预训练于数十亿真实图像的图像生成器进行微调来实现的，其中包含控制信号的标注。虽然这种方法可以学习到所需的控制，但由于照片与渲染图之间的域差距，往往牺牲了图像的逼真度。我们观察到，这个问题很大程度上源于模型将控制信号的存在与图像的合成外观之间建立了非预期的关联。为了解决这一问题，我们引入了Realiz3D，一个轻量级的扩散模型训练框架，它将控制信号与视觉域解耦。关键思想是通过引入一个协变量，将其输入到小型残差适配器中，从而实现域的迁移，从而将视觉域（真实或合成）与其他控制信号分开显式学习。这样，生成器可以在不拟合特定视觉域的情况下获得可控性。因此，即使在施加控制时，模型也能被引导生成逼真的图像。我们利用扩散生成器中不同层和去噪步骤作用的见解，增强了控制向真实域的迁移能力，并提出了新的训练和推理策略，进一步缩小差距。我们展示了Realiz3D在文本到多视角生成和基于3D输入的纹理贴图任务中的优势，其输出结果兼具3D一致性和逼真度。

查看arXiv页面 (https://arxiv.org/abs/2605.13852)查看PDF (https://arxiv.org/pdf/2605.13852)项目页面 (https://idosobol.github.io/realiz3d/)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.13852)

在您的智能体中获取此论文：

hf papers read 2605\.13852

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型关联此论文

请在模型的README.md中引用arxiv.org/abs/2605.13852以在此页面建立链接。

引用该论文的数据集0

没有数据集关联此论文

请在数据集的README.md中引用arxiv.org/abs/2605.13852以在此页面建立链接。

引用该论文的Spaces0

没有Space关联此论文

请在Space的README.md中引用arxiv.org/abs/2605.13852以在此页面建立链接。

包含该论文的收藏集0

没有收藏集包含此论文

请将此论文添加至一个收藏集 (https://huggingface.co/new-collection)以在此页面建立链接。