Paper page - Pixal3D: 基于图像的像素对齐 3D 生成

Source: https://huggingface.co/papers/2605.10922

Abstract

Pixal3D 引入了一种像素对齐的 3D 生成方法，通过反向投影条件化（back-projection conditioning）建立直接的像素到 3D 的对应关系，从而解决了 3D 资产创建中的保真度（fidelity）问题。

最近在 3D 生成模型 (https://huggingface.co/papers?q=3D%20generative%20models) 方面的进步迅速提升了图像到 3D 合成 (https://huggingface.co/papers?q=image-to-3D%20synthesis) 的质量，实现了更高分辨率的几何结构和更逼真的外观。然而，保真度 (https://huggingface.co/papers?q=fidelity)——即衡量生成的 3D 资产对输入图像在像素级忠实程度——仍然是一个核心瓶颈。我们认为这源于一个隐式的 2D-3D 对应问题：大多数 3D 原生生成器 (https://huggingface.co/papers?q=3D-native%20generators) 在规范空间 (https://huggingface.co/papers?q=canonical%20space) 中合成形状，并通过注意力机制注入图像线索，导致像素到 3D 的关联存在歧义。为了解决这个问题，我们从 3D 重建中汲取灵感，提出了 Pixal3D，这是一种用于从图像创建高保真度 (https://huggingface.co/papers?q=fidelity) 3D 资产的像素对齐 3D 生成范式。Pixal3D 不是在规范姿态下生成，而是以与输入视图一致的像素对齐方式直接生成 3D。为了实现这一点，我们引入了一种像素反向投影条件化 (https://huggingface.co/papers?q=back-projection%20conditioning) 方案，明确地将多尺度图像特征提升为 3D 特征体积 (https://huggingface.co/papers?q=3D%20feature%20volume)，从而建立无歧义的直接像素到 3D 的对应关系。我们证明 Pixal3D 不仅可扩展且能够生产高质量的 3D 资产，而且显著提高了保真度 (https://huggingface.co/papers?q=fidelity)，接近重建的保真度 (https://huggingface.co/papers?q=fidelity) 水平。此外，Pixal3D 通过聚合跨视图的反向投影特征体积，自然地扩展到多视图生成 (https://huggingface.co/papers?q=multi-view%20generation)。最后，我们展示了像素对齐生成 (https://huggingface.co/papers?q=pixel-aligned%20generation) 对场景合成 (https://huggingface.co/papers?q=scene%20synthesis) 的益处，并提出了一种模块化流程，从图像生成高保真度 (https://huggingface.co/papers?q=fidelity)、对象分离的 3D 场景。Pixal3D 首次展示了大规模 3D 原生像素对齐生成 (https://huggingface.co/papers?q=pixel-aligned%20generation)，并为从单视图或多视图图像生成高保真度 (https://huggingface.co/papers?q=fidelity) 的对象或场景 3D 提供了一种新的启发式方法。Project page: https://ldyang694.github.io/projects/pixal3d/

View arXiv page (https://arxiv.org/abs/2605.10922)View PDF (https://arxiv.org/pdf/2605.10922)Project page (https://ldyang694.github.io/projects/pixal3d/)GitHub16 (https://github.com/TencentARC/Pixal3D)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2605.10922)

Get this paper in your agent:

hf papers read 2605.10922

Don’t have the latest CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 1

TencentARC/Pixal3D Updatedabout 4 hours ago • 9 (https://huggingface.co/TencentARC/Pixal3D)

引用本文的数据集 0

No dataset linking this paper

Cite arxiv.org/abs/2605.10922 in a dataset README.md to link it from this page.

引用本文的 Spaces 1

包含本文的集合 0

No Collection including this paper

Add this paper to a collection (https://huggingface.co/new-collection) to link it from this page.