论文页面 - World Tracing: 超越可见区域的生成式像素对齐几何

来源：https://huggingface.co/papers/2606.13652

摘要

World Tracing 提出了一种生成式像素对齐几何表示，能够预测与输入像素对齐的3D点，同时补全隐藏表面，采用在像素空间流匹配上训练的扩散Transformer。

图像到3D的方法常常在保真度和完整性之间权衡：深度估计器 (https://huggingface.co/papers?q=depth%20estimators) 锚定于输入像素但止步于可见表面，而图像到3D模型 (https://huggingface.co/papers?q=image-to-3D%20models) 则生成完整形状但往往与输入错位。我们引入了World Tracing (https://huggingface.co/papers?q=World%20Tracing) ——一种生成式像素对齐几何表示，既能预测与观测像素对齐的3D点，又能补全可见表面之外的几何。对于每个输入像素，World Tracing (https://huggingface.co/papers?q=World%20Tracing) 预测一个有序的相机空间3D点 (https://huggingface.co/papers?q=camera-space%203D%20points) 堆叠，其中第一层表示可见表面，后续层表示从前到后与遮挡表面的交点。我们通过一个世界追踪扩散Transformer (https://huggingface.co/papers?q=diffusion%20transformer) ——WT-DiT (https://huggingface.co/papers?q=WT-DiT) 来实例化该表示，它将多个几何层视为通过分解和全局注意力 (https://huggingface.co/papers?q=global%20attention) 耦合的独立去噪令牌 (https://huggingface.co/papers?q=denoising%20tokens)。WT-DiT (https://huggingface.co/papers?q=WT-DiT) 采用像素空间流匹配 (https://huggingface.co/papers?q=pixel-space%20flow%20matching) 和一种混合噪声调度进行训练，该调度平衡了可见表面重建与遮挡几何生成。World Tracing (https://huggingface.co/papers?q=World%20Tracing) 在物体、场景和动态基准测试中，在可见表面重建和完整几何生成方面均表现出色，超越了深度预测器和图像到3D生成器。它还保持了2D到3D对应关系 (https://huggingface.co/papers?q=2D-to-3D%20correspondence)，支持文本驱动的3D场景编辑 (https://huggingface.co/papers?q=text-driven%203D%20scene%20editing)、几何条件下的新视角视频合成 (https://huggingface.co/papers?q=novel-view%20video%20synthesis) 以及与纹理网格生成器 (https://huggingface.co/papers?q=textured-mesh%20generators) 的无训练集成。

查看arXiv页面 (https://arxiv.org/abs/2606.13652)查看PDF (https://arxiv.org/pdf/2606.13652)项目页面 (https://haoz19.github.io/world-tracing-page/)GitHub186 (https://github.com/haoz19/world-tracing)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.13652)

在你的智能体中获取此论文：

hf papers read 2606.13652

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型4

haoz19/object-model-6layer 图像到3D•4天前更新•8 (https://huggingface.co/haoz19/object-model-6layer)

haoz19/scene-model-6layer 图像到3D•4天前更新•5 (https://huggingface.co/haoz19/scene-model-6layer)

haoz19/scene-model-6layer-840 图像到3D•1天前更新•4 (https://huggingface.co/haoz19/scene-model-6layer-840)

haoz19/dynamic-model-16frame 图像到3D•4天前更新•3 (https://huggingface.co/haoz19/dynamic-model-16frame)

引用本论文的数据集0

暂无链接本论文的数据集

在数据集的README.md中引用 arxiv.org/abs/2606.13652 以从此页面链接。

引用本论文的Space1

包含本论文的收藏1