Paper page - Scenes as Objects, Not Primitives: Instance-Structured 3D Tokenization from Unposed Views

来源：https://huggingface.co/papers/2606.29513

摘要

一种前馈框架从多视角图像中将3D场景分解为实例结构的 token 组，无需3D标注即可实现直接的对象级重建、分割与操作。

3D场景是通过其中的物体来理解的，而非构成它们的图元。然而，现有的前馈重建方法输出的是稠密、无结构的点集或高斯体，对象级结构需要事后才能恢复。我们提出了一种前馈框架 (https://huggingface.co/papers?q=feed-forward%20framework)，它直接从无位姿的多视角图像 (https://huggingface.co/papers?q=unposed%20multi-view%20images) 中将场景分解为实例结构化的3D token 组——紧凑的对象中心单元，重建、分割和操作均可基于它们进行。每个 token 组将一个捕获实体级身份的实例 token 与多个描述局部几何与外观的锚点 token 配对，这些 token 被解码为一组3D高斯体 (https://huggingface.co/papers?q=3D%20Gaussians)。这种双层分解将对象身份与局部外观解耦，使对象实例成为表示的原生接口，而非衍生产物。这些 token 组通过可微渲染 (https://huggingface.co/papers?q=differentiable%20rendering) 联合重建与分割监督 (https://huggingface.co/papers?q=joint%20reconstruction%20and%20segmentation%20supervision) 学习得到，无需任何3D标注。我们的前馈模型在类别无关的实例分割 (https://huggingface.co/papers?q=class-agnostic%20instance%20segmentation) 上超越了逐场景优化基线，同时在新视角合成 (https://huggingface.co/papers?q=novel%20view%20synthesis) 方面保持了竞争力。除了这些指标外，相同的 token 组还直接支持实例级场景编辑 (https://huggingface.co/papers?q=instance-level%20scene%20editing)——通过操作这些组来删除、平移或插入物体——以及高效的开放词汇3D实例检索 (https://huggingface.co/papers?q=open-vocabulary%203D%20instance%20retrieval)，其中检索复杂度随实例数量而非图元数量增长。

查看 arXiv 页面 (https://arxiv.org/abs/2606.29513)查看 PDF (https://arxiv.org/pdf/2606.29513)项目页面 (https://yoomimi.github.io/instok3d)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.29513)

在你的 agent 中获取这篇论文：

hf papers read 2606\.29513

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.29513 以从此页面链接。

引用此论文的数据集0

暂无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.29513 以从此页面链接。

引用此论文的 Spaces0

暂无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.29513 以从此页面链接。

包含此论文的收藏集0

暂无收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中以从此页面链接。